Resumen Técnico: Más allá de las respuestas finales: Auditoría de alucinaciones a nivel de trayectoria en flujos de trabajo industriales multiagente

1. Declaración del Problema

La transición de Modelos de Lenguaje Grandes (LLM) estáticos a sistemas de agentes autónomos introduce un modo de fallo crítico: la alucinación a nivel de trayectoria. Mientras que las evaluaciones existentes (por ejemplo, TruthfulQA, AgentBench) evalúan las alucinaciones principalmente como errores factuales de "un solo disparo" en las salidas finales, no logran capturar las desviaciones que ocurren dentro de los ciclos secuenciales y mediados por herramientas Pensamiento-Acción-Observación (TAO) de los flujos de trabajo multiagente.

En entornos industriales como la supervisión de centros de datos (específicamente dentro del marco AssetOpsBench), una alucinación no es meramente una respuesta incorrecta; es una desviación estructural de la evidencia que se propaga a través de un bucle de agente. Estas desviaciones pueden manifestarse como omisiones procedimentales, entidades mal referenciadas de pasos anteriores o violaciones de alcance donde un agente actúa fuera de su mandato. Los paradigmas de evaluación actuales, que tratan las instancias como pares aislados de entrada-salida, no pueden diagnosticar si un sistema falló debido a un malentendido del entorno o a la invención de estados inexistentes. Además, la definición de alucinación en bucles interactivos a menudo se confunde con errores lógicos o fallos en la ejecución de herramientas, careciendo de la granularidad necesaria para el análisis diagnóstico.

2. Metodología

Los autores introducen Trajel, un conjunto de datos y un marco de evaluación diseñados para auditar alucinaciones a nivel de trayectoria en flujos de trabajo industriales multiagente. La metodología se estructura en torno a cuatro componentes principales:

A. Estructura y Formalismo de la Trayectoria

El flujo de trabajo se modela como un sistema de IA compuesto $\Phi = (M, C, T_{tool})$, donde $M$ representa los agentes impulsados por LLM, $C$ es el orquestador y $T_{tool}$ es el conjunto de herramientas. La ejecución procede como una secuencia de pasos $s_t = (a_t, \tau_t, \alpha_t, \omega_t)$, donde $\tau_t$ es el pensamiento, $\alpha_t$ es la acción y $\omega_t$ es la observación. Una trayectoria $T$ es el rastro ordenado de estos pasos.

B. Taxonomía de Alucinaciones Consciente de la Trayectoria

El artículo define la alucinación como un predicado estructural sobre el rastro TAO, categorizado en cinco tipos distintos:

1. Factual ($h_F$): Afirmaciones contradichas por datos de verdad fundamental en el paso actual.
2. Referencial ($h_R$): Referencias a entidades o resultados anteriores ausentes del historial de la trayectoria (el modelo "recuerda" algo que nunca sucedió).
3. Lógica ($h_L$): Razonamiento que no se deriva de sus premisas, incluso si las premisas son correctas.
4. Procedimental ($h_P$): Omisión, reordenamiento o fabricación de pasos requeridos por la especificación de la tarea, o afirmación de la finalización de pasos ausentes.
5. Alcance ($h_S$): Un agente actuando o afirmando fuera de su mandato operativo específico (único en entornos multiagente).

C. Construcción del Conjunto de Datos (Trajel)

El conjunto de datos comprende 225 trayectorias de agentes anotadas por expertos generadas en 6 configuraciones de modelos y 42 tareas industriales de AssetOps.

• Protocolo de Anotación: Un enfoque híbrido mitiga el sesgo. Las trayectorias son primero evaluadas por un LLM como Juez, seguido de una revisión humana ciega de dos instituciones (IBM y la Universidad de Columbia) sin acceso a los juicios del LLM.
• Etiquetas: Las anotaciones incluyen la presencia de alucinación, tipo (multietiqueta), localización dentro del rastro (Pensamiento, Acción, Observación, Respuesta) y justificación en texto libre.
• Estadísticas: La tasa de alucinación identificada por humanos es del 68.3%, con un $\kappa$ de Cohen de 0.456 entre los juicios automatizados y humanos. Cabe destacar, el 48.7% de las trayectorias alucinadas exhiben múltiples tipos simultáneamente.

D. Marco de Modelado de Detección

Los autores comparan tres paradigmas de detección supervisada para abordar diferentes requisitos de contexto:

1. Clasificación a nivel de subtarea (BERT): Opera sobre pasos individuales ($\tau_t, \alpha_t, \omega_t$) para detectar pistas locales (eficaz para alucinaciones factuales).
2. NLI a nivel de trayectoria: Trata la detección como un problema de implicación donde el historial de la trayectoria es la premisa y el paso actual es la hipótesis (dirigido a alucinaciones referenciales y lógicas).
3. Modelado de contexto largo (Longformer): Ingresa la trayectoria completa serializada para detectar violaciones estructurales globales como alucinaciones procedimentales y basadas en el alcance.

E. Análisis de Señales

El estudio investiga señales de calidad de ejecución observables durante o inmediatamente después de la ejecución (Finalización de la Tarea, Precisión en la Recuperación de Datos, Verificación de Resultados, Correctitud de la Secuencia de Agentes, y Claridad y Justificación) para determinar su poder predictivo para la alucinación.

3. Resultados Clave

A. Prevalencia y Taxonomía

• Las alucinaciones procedimentales son el modo de fallo más común, representando el 38.5% de los fallos identificados. Estas son invisibles para la evaluación basada únicamente en la salida.
• Complejidad multietiqueta: Casi la mitad (48.7%) de las trayectorias alucinadas involucran múltiples tipos simultáneamente, validando la necesidad de formulaciones multietiqueta sobre clasificaciones de etiqueta única.
• Variación del Modelo: Las tasas de alucinación varían drásticamente entre modelos, oscilando entre el 52.4% y el 81.0%, lo que indica discrepancias significativas en cómo diferentes arquitecturas mantienen la fundamentación a lo largo de horizontes largos.

B. Rendimiento de Detección

• LLM como Juez: Aunque logra una alta precisión binaria (F1 = 0.855), el juez clasifica sistemáticamente mal tipos sutiles. El acuerdo con los humanos disminuye significativamente para las alucinaciones Lógicas ($\kappa = 0.211$) y Referenciales ($\kappa = 0.176$).
• Modelos Supervisados: Los modelos ajustados (BERT, NLI, Longformer) mejoran sobre las líneas base de clase mayoritaria pero no logran igualar al juez LLM de cero disparos en puntuaciones F1. El mejor modelo supervisado (NLI) logra un ROC-AUC de 0.689, confirmando que la detección de alucinaciones a nivel de trayectoria sigue siendo un desafío sin resolver para los clasificadores actuales.
• Localización: Las alucinaciones se localizan con mayor frecuencia en Acciones (47.5% de las procedimentales) y Respuestas (40.3% de las factuales), lo que sugiere que los fallos a menudo ocurren en la traducción del razonamiento a la invocación de herramientas o afirmaciones de salida.

C. Señales Predictivas

El estudio identifica la Claridad y Justificación (CJ) como el predictor univariado más fuerte de alucinación.

• Las trayectorias que carecen de un razonamiento claro y fundamentado alucinan a una tasa del 94.3%, en comparación con el 9.1% para trayectorias de alta claridad.
• La señal CJ por sí sola logra un AUC de 0.908, superando sustancialmente al mejor clasificador entrenado (NLI, AUC = 0.689).
• Cuando tanto la Claridad como la Verificación de Resultados están ausentes, la tasa de alucinación alcanza el 97.1%, lo que sugiere que estas señales pueden servir como condiciones efectivas de "interruptor de apagado" para los orquestadores de agentes.

4. Significado y Afirmaciones

El artículo afirma que la detección consciente de la trayectoria supera significativamente a la verificación post-hoc estándar, haciendo necesaria una evaluación fundamentada en la taxonomía para un despliegue de agentes más seguro.

• Cambio en la Evaluación: El trabajo argumenta que avanzar más allá de la verificación binaria de "respuesta final" hacia el análisis estructural del rastro del agente es esencial. El paradigma actual de evaluaciones estáticas no logra capturar la dinámica temporal e interactiva de los bucles de agentes.
• Valor Diagnóstico: La taxonomía de cinco tipos desentraña los fallos de fundamentación de los errores de razonamiento y las violaciones del flujo de control, proporcionando la granularidad necesaria para diagnosticar dónde en la trayectoria comenzó una desviación.
• Vía Práctica: Los hallazgos sugieren que los monitores de tiempo de ejecución ligeros basados en señales de calidad de ejecución (específicamente Claridad y Justificación) ofrecen una vía más práctica y efectiva para la detección de alucinaciones en tiempo real que el entrenamiento de clasificadores supervisados complejos en conjuntos de datos de trayectoria limitados.
• Limitaciones: Los autores reconocen que el conjunto de datos se limita a un único dominio industrial (AssetOpsBench) y seis configuraciones de modelos. El acuerdo entre anotadores sigue siendo moderado para los tipos más sutiles (Lógicos y Referenciales), lo que indica la necesidad de protocolos de anotación más ricos. La brecha entre el rendimiento del clasificador supervisado y el del juez LLM motiva trabajos futuros sobre arquitecturas híbridas.

En conclusión, Trajel proporciona el primer marco sistemático para auditar alucinaciones a nivel de trayectoria en flujos de trabajo industriales multiagente, demostrando que los fallos procedimentales y basados en el alcance son prevalentes, a menudo coocurren y requieren métodos de evaluación que respeten la integridad estructural del rastro de ejecución del agente.