Resumen Técnico: FALAT – Rastreando Fallos en Trayectorias de Agentes LLM mediante Búsqueda Guiada por Dependencias

Definición del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) resuelven tareas complejas a través de trayectorias largas que comprenden pasos de razonamiento, llamadas a herramientas y comunicación entre agentes. Cuando estas trayectorias fallan, identificar la causa raíz es difícil debido al "problema de la atribución". Los errores suelen propagarse: un error temprano corrompe el estado de ejecución, haciendo que los pasos subsiguientes parezcan localmente razonables mientras que, en realidad, heredan la falla. En consecuencia, los pasos posteriores pueden ser marcados incorrectamente como la fuente del fallo.

El artículo define la atribución de fallos como la tarea de identificar el agente específico ("quién") y el paso decisivo ("cuándo") cuya corrección recuperaría el resultado final esperado ($o^*$) a partir del resultado incorrecto observado ($\hat{o}$). Un paso decisivo se define como aquel donde, si se corrigiera (permitiendo que los pasos descendentes se adapten), el sistema produce el resultado correcto. Los métodos existentes, como los jueces de LLM de un solo paso o los rastreadores basados en aprendizaje que evalúan los pasos de forma independiente, tienen dificultades con el sesgo de posición, la sensibilidad al orden y la incapacidad de distinguir entre la originación del error y su propagación.

Metodología: Marco de Trabajo FALAT

Los autores proponen FALAT, un marco de diagnóstico que reformula la atribución de fallos como una búsqueda jerárquica guiada por dependencias en lugar de una clasificación de pasos independientes. El marco opera en cuatro etapas:

1. Construcción del Espacio de Búsqueda

FALAT evita depender únicamente del razonamiento interno defectuoso de la trayectoria fallida. En su lugar, construye:

• Prior Condicionado a la Tarea ($\pi$): Una expectativa externa de cómo debe resolverse la tarea, derivada de la especificación de la tarea, los roles de los agentes, los prompts del sistema y las herramientas disponibles. Este prior es independiente de los pasos intermedios de la trayectoria para evitar que los evaluadores sean engañados por la propia lógica defectuosa del agente.
• Representación de Trayectoria Jerárquica ($M$): La trayectoria se abstrae en tres niveles para permitir una búsqueda de grueso a fino:
  • Nivel Alto ($M_{hi}$): Resúmenes de ejecución globales que identifican etapas sospechosas.
  • Nivel Medio ($M_{mid}$): Resúmenes de pasos locales que detallan agentes, acciones y decisiones.
  • Nivel Bajo ($M_{lo}$): Evidencia de ejecución bruta (salidas de herramientas, valores concretos).
    Esta estructura permite que el sistema primero identifique regiones sospechosas y luego se reduzca a pasos específicos.

2. Construcción de Dependencias Tipadas para la Poda de Candidatos

Para distinguir entre los pasos que originan un error y aquellos que simplemente lo propagan, FALAT construye una estructura de dependencia dirigida sobre los pasos candidatos utilizando un vocabulario de transición tipado. Las etiquetas incluyen:

• follow_up (seguimiento): Progresión normal o transporte descendente de un error.
• redundancy (redundancia): Repetición sin nueva evidencia.
• no_influence (sin influencia): Pasos independientes de la salida del candidato.
• error_shift (desplazamiento de error): Pasos que introducen nuevas desviaciones o transforman errores previos.
• correction (corrección): Pasos que corrigen desviaciones anteriores.
• dead_end (callejón sin salida): Pasos que conducen a salidas no utilizadas.

Estas etiquetas permiten al sistema podar los candidatos cuyos efectos no pueden alcanzar el resultado final o que son meramente síntomas de fallos anteriores, reteniendo solo aquellos que podrían ser plausiblemente la fuente.

3. Búsqueda Guiada por Dependencias y Verificación

Los candidatos restantes se clasifican y verifican frente al objetivo de suficiencia contrafáctica. Un candidato se considera decisivo solo si corregirlo recuperaría $o^*$. El proceso de verificación comprueba tres criterios:

1. Independencia del Error: ¿El paso introduce el error o lo hereda? (Rastreado mediante dependencia hacia atrás).
2. Suficiencia Contrafáctica: ¿Corregir este paso recuperaría el resultado esperado?
3. Precedencia Temporal: Entre los candidatos válidos, se selecciona el paso más temprano.

4. Re-búsqueda Local: Verificación Adversaria

Para mitigar el "anclaje" (donde un juez LLM racionaliza un candidato plausible pero incorrecto), FALAT realiza una re-evaluación local. Extrae un vecindario acotado alrededor del paso decisivo predicho y compara el candidato contra sus vecinos inmediatos. El LLM asigna roles (ROOT_CAUSE [CAUSA_RAÍZ], PROPAGATION [PROPAGACIÓN], SYMPTOM [síntoma], CONTRIBUTING [CONTRIBUYENTE]) y re-clasifica los pasos basándose en argumentos comparativos y comprobaciones contrafácticas para asegurar que el paso seleccionado sea verdaderamente decisivo.

Principales Contribuciones

1. Reformulación de la Atribución: El artículo cambia el paradigma de la clasificación plana a nivel de paso a una búsqueda jerárquica guiada por dependencias, modelando explícitamente la distincción entre la originación del error y su propagación.
2. Marco de Trabajo FALAT: Un sistema de diagnóstico de cuatro etapas que integra un prior externo condicionado a la tarea, abstracción jerárquica, poda por dependencias tipadas y verificación contrafáctica.
3. Validación Empírica: Evaluación exhaustiva en el benchmark Who&When (184 ejecuciones fallidas de sistemas multi-agente generados por algoritmos y diseñados a mano) a través de tres diferentes núcleos (backbones) de LLM.

Resultados

FALAT fue evaluado frente a líneas de base especializadas en atribución (CHIEF, AgentTracer) y el uso de prompting directo con LLMs independientes.

• Trayectorias Generadas por Algoritmos: FALAT alcanzó un 46.0% de precisión a nivel de paso (frente al 37.3% de CHIEF con el mismo núcleo) y un 68.0% de precisión a nivel de agente.
• Trayectorias Diseñadas a Mano: FALAT alcanzó un 29.1% de precisión a nivel de paso (frente al 17.0% de CHIEF) y un 73.0% de precisión a nivel de agente.
• Comparación con LLMs Independientes: El prompting directo incluso con modelos grandes (por ejemplo, Claude-Sonnet-4) produjo una precisión a nivel de paso significativamente menor (18.9% en tareas diseñadas a mano), demostando que el escalado de modelos por sí solo es insuficiente para una atribución fiable.
• Estudios de Ablación: Eliminar la representación jerárquica causó la mayor caída de rendimiento (hasta -10.3% en precisión a nivel de paso), seguida por la eliminación del prior externo y la tipificación de transiciones.

Significado y Afirmaciones

El artículo afirma que el razonamiento consciente de las dependencias es esencial para un diagnóstico de fallos fiable en sistemas de agentes LLM. Los autores argumentan que tratar la atribución de fallos como una clasificación de pasos independiente falla porque ignora la estructura causal de las trayectorias. Al enmarcar el problema como una búsqueda guiada por dependencias tipadas y suficiencia contrafáctica, FALAT separa eficazmente la "causa raíz" de los "síntomas".

Los hallazgos sugieren que los procedimientos de búsqueda estructurada proporcionan beneficios significativos más allá de simplemente aumentar la escala del modelo. El marco es particularmente efectivo para identificar el paso decisivo en lugar de solo cualquier paso donde un error sea visible, abordando una brecha crítica para hacer que los sistemas agentes autónomos sean fiables y depurables. Los autores señalan limitaciones, incluyendo la dependencia de la fiabilidad del juicio del LLM y las posibles dificultades para capturar dependencias de muy largo alcance a través de los límites de la ventana, pero mantienen que el enfoque propuesto ofrece una base robusta para la atribución de fallos.