Resumen Técnico: DiagnosticIQ

Declaración del Problema

El mantenimiento de activos industriales depende de reglas simbólicas redactadas por ingenieros que se activan según condiciones de sensores para impulsar acciones correctivas. Aunque los sistemas de monitoreo automatizado detectan anomalías de manera efectiva al evaluar estas reglas contra datos de sensores, existe un cuello de botella crítico en el paso de regla a acción: traducir una condición simbólica activada en una acción de mantenimiento específica y apropiada para el activo. Esta traducción requiere un conocimiento profundo y específico del activo sobre los modos de falla, obtenido típicamente mediante años de experiencia práctica, lo cual a menudo excede la experiencia de los operadores que reciben las alertas.

El artículo postula que los Modelos de Lenguaje Grandes (LLM) podrían servir como soporte de decisiones para este paso. Sin embargo, la evaluación sistemática se ha visto obstaculizada por la falta de puntos de referencia realistas y estandarizados que distingan entre el razonamiento genuino sobre condiciones industriales y la coincidencia superficial de patrones. Los puntos de referencia existentes se centran a menudo en el reconocimiento de fallas o la asociación de fallas de sensores, en lugar de la decisión posterior de qué acción tomar una vez detectada una falla.

Metodología

El Punto de Referencia DiagnosticIQ

Los autores introducen DiagnosticIQ, una suite de puntos de referencia que comprende 6,690 preguntas de opción múltiple (MCQ) validadas por expertos, derivadas de 118 pares regla-acción redactados por expertos a través de 16 tipos de activos industriales heterogéneos (por ejemplo, Unidades de Manejo de Aire, Enfriadoras, Calderas).

Tubería de Construcción del Conjunto de Datos:

1. Entrada: Documentos de reglas curados por expertos que contienen condiciones lógicas (predicados temporales, umbrales de sensores), acciones de mantenimiento y metadatos.
2. Normalización: Las reglas se convierten en Forma Normal Disyuntiva (DNF). Esto expande una sola regla en múltiples escenarios de activación lógicamente válidos (conjunciones), asegurando la cobertura de estados operativos distintos en lugar de un solo ejemplo abstracto.
3. Generación de Preguntas: Se generan dos tipos de preguntas complementarias:
   • Selección: Identificar la acción de mantenimiento correcta dada una condición activada.
   • Eliminación: Identificar una acción que no está respaldada por la condición.
4. Muestreo de Distractores: Los distractores no son aleatorios; se muestrean utilizando similitud basada en incrustaciones (embedding) de reglas de la misma familia de activos pero con condiciones lógicas diferentes. Esto asegura que los distractores sean "operacionalmente adyacentes" (plausibles pero incorrectos) en lugar de semánticamente distantes.
5. Contexto: Las preguntas incluyen descripciones de activos para anclar el razonamiento en configuraciones específicas (por ejemplo, bombas horizontales vs. verticales).

Variantes para Evaluación Dirigida

Para sondear modos de falla específicos, los autores construyeron cinco variantes:

• DiagnosticIQ Pro: Expande las opciones de 4 a 10 para probar la discriminación entre distractores plausibles.
• DiagnosticIQ Pert: Perturba las formas superficiales (orden, redacción) para probar la robustez contra sesgos de formato.
• DiagnosticIQ Verbose: Parafrasea las condiciones simbólicas en lenguaje natural para medir la brecha simbólico-lingüística.
• DiagnosticIQ Aug: Invierte los operadores lógicos (por ejemplo, < a >) para probar si los modelos dependen de plantillas de reglas en lugar de evaluar el contenido lógico.
• DiagnosticIQ Rationale: Recopila explicaciones de cadena de pensamiento para validación por expertos.

Configuración Experimental

El estudio evalúa 29 LLM (que abarcan 9 familias, incluidos modelos de vanguardia de código cerrado y de pesos abiertos) y 4 líneas base de incrustaciones. La evaluación incluye indicaciones de cero disparos (zero-shot), experimentos de ajuste fino (SFT y GRPO) y una evaluación humana con 9 practicantes de ingeniería para validar la dificultad del punto de referencia.

Resultados Clave

1. Rendimiento de Vanguardia y Fragilidad

• Máximo Rendimiento: El modelo líder, claude-opus-4-6, logra una precisión macro del 73.59% en DiagnosticIQ base. Los tres modelos principales (claude-opus-4-6, gpt-5.4, gemini-3.1-pro-pre) se agrupan dentro de un punto macro entre sí.
• Fragilidad bajo Estrés: El rendimiento disminuye significativamente bajo estrés:
  • DiagnosticIQ Pro: El líder cae 13.8 puntos (al 59.81%) cuando las opciones se expanden a 10.
  • DiagnosticIQ Pert: Los modelos principales muestran solo una consistencia de ~48% cuando se perturba la redacción de la pregunta.
  • DiagnosticIQ Aug (Inversión Lógica): Cuando se invierten los operadores lógicos, el líder selecciona la respuesta original (ahora incorrecta) el 63.4% de las veces, lo que indica una dependencia del reconocimiento de la forma de la regla en lugar de la evaluación lógica.
  • DiagnosticIQ Verbose: Parafrasear condiciones simbólicas en lenguaje natural causa una caída promedio de precisión de 4.2 puntos, revelando una dependencia de la estructura simbólica como andamiaje de razonamiento.

2. Comparación con Puntos de Referencia Generales

Mientras que los modelos de vanguardia han avanzado significativamente en puntos de referencia de ciencias generales como GPQA Diamond (avanzando ~19 puntos), su progreso en DiagnosticIQ se está estancando (avanzando solo ~8 puntos). La brecha entre el razonamiento general y el razonamiento de mantenimiento industrial se ha ampliado, lo que sugiere que las optimizaciones posteriores al entrenamiento para la ciencia general no se transfieren limpiamente a la evaluación de reglas industriales.

3. Modos de Falla y Patrones

• Coincidencia de Patrones vs. Razonamiento: El análisis de la variante DiagnosticIQ Aug revela que los modelos tratan las reglas industriales estructuradas como plantillas para reconocer en lugar de condiciones para evaluar.
• Sensibilidad a Distractores: Bajo la expansión de distractores, muchos modelos (incluidos los ajustados para razonamiento como o1) recurren a la similitud léxica. La línea base de incrustaciones más fuerte (all-mpnet-base-v2) supera a 14 de los 29 LLM en DiagnosticIQ Pro.
• Predictores de Dificultad: La regresión logística muestra que los contados de funciones especiales (operaciones aritméticas/comparación) son el predictor más fuerte de falla, reduciendo las probabilidades de corrección en un 47% por operación. Contra intuitivamente, una mayor complejidad lógica (más cláusulas) ayuda ligeramente a la precisión, probablemente al proporcionar un andamiaje estructural.

4. Evaluación Humana

Un panel de 9 practicantes de ingeniería logró una precisión media del 45.0% en un subconjunto de 40 preguntas. Cabe destacar que los practicantes con experiencia autoinformada en las clases de activos relevantes (AHU, Enfriadoras) no superaron significativamente la media general, confirmando que el punto de referencia requiere conocimiento diagnóstico especializado más allá de la familiaridad operativa. Los LLM de vanguardia superaron la media humana en varias preguntas donde ningún practicante humano pudo identificar la respuesta correcta.

5. Impacto Operacional

A pesar de las clasificaciones de precisión, el modelo con el mayor impacto operativo estimado (basado en ahorros de energía de recomendaciones correctas) fue gemini-3.1-pro-pre, no el líder de precisión claude-opus-4-6. Esto sugiere que, para la implementación, los modelos que son consistentemente correctos en reglas de alto impacto pueden ser preferibles a aquellos con una precisión agregada marginalmente superior.

Significancia y Afirmaciones

El artículo afirma que DiagnosticIQ es el primer punto de referencia que cubre simultáneamente Especificidad de Activos Industriales, Distractores de Opciones, Comprensión de Condiciones y Recomendación de Acciones.

La principal significancia del trabajo es la revelación de un "arco de fragilidad" en los LLM de vanguardia actuales. Si bien los modelos pueden lograr una alta precisión en tareas estándar de mantenimiento industrial, exhiben una fragilidad significativa cuando:

1. Los espacios de distractores se expanden.
2. El contenido lógico se invierte.
3. Las estructuras simbólicas se parafrasean en lenguaje natural.

Los autores concluyen que el cuello de botella para la implementación de LLM en el mantenimiento industrial no es una falta de capacidad, sino una falta de calibración y robustez. Los modelos actuales tratan las reglas estructuradas como plantillas para reconocer en lugar de condiciones para evaluar. El punto de referencia proporciona una herramienta necesaria para distinguir entre el razonamiento genuino y la coincidencia superficial de patrones, destacando que las ganancias en puntos de referencia de conocimiento general no garantizan la preparación para la implementación operativa de alto riesgo donde la consistencia a través de redacciones y variaciones lógicas es innegociable.