Resumen Técnico: La Consistencia como Propiedad Evaluable

Enunciado del Problema

Aunque los agentes de Modelos de Lenguaje Grandes (LLM) han demostrado capacidades notables en dominios que van desde la ingeniería de software hasta el razonamiento complejo, su despliegue en entornos de alto riesgo se ve obstaculizado por la falta de consistencia conductual. A diferencia del software determinista, los agentes basados en LLM exhiben una variación significativa en la salida cuando se enfrentan a entradas semánticamente equivalentes debido a la estocasticidad del muestreo y la sensibilidad a variaciones superficiales en el prompt. Las metodologías de evaluación actuales se centran principalmente en las tasas de finalización de tareas (por ejemplo, pass@1) y la precisión en benchmarks específicos. Sin embargo, estas métricas no capturan si los agentes producen salidas coherentes y fiables cuando se enfrentan a variaciones en la formulación de la entrada, el contexto o los entornos de ejecución.

El artículo destaca varias limitaciones críticas en la fiabilidad actual de los agentes:

• Fragilidad ante Perturbaciones: Errores tipográficos menores o parafraseos pueden causar caídas significativas en la precisión del razonamiento de cadena de pensamiento.
• Sensibilidad a las Herramientas: Los agentes con acceso a múltiples herramientas exhiben un comportamiento errático cuando se modifican las descripciones de las herramientas o se añaden herramientas irrelevantes, con una precisión que cae cerca de cero bajo condiciones adversas.
• Respuestas Contradictorias: Los agentes a menudo producen respuestas contradictorias a lo largo de los turnos de conversación, particularmente bajo limitaciones de longitud de contexto o consultas mal especificadas.
• Contaminación de Benchmarks: El rendimiento en benchmarks estáticos (por ejemplo, SWE-bench) a menudo no se traduce en variantes continuamente actualizadas (por ejemplo, SWE-bench-Live), lo que sugiere una falta de verdadera robustez.

El trabajo existente carece de un marco estandarizado y riguroso para descomponer y medir la consistencia a nivel de las trayectorias de ejecución del agente, centrándose a menudo solo en las salidas finales.

Metodología

Los autores proponen una ciencia de medición rigurosa para la fiabilidad de los agentes de IA basada en pruebas de hipótesis estadísticas. El marco descompone la fiabilidad en dos dimensiones: observable (a nivel de salida) e interna (a nivel de trayectoria).

1. Consistencia de Salida mediante Estadísticas U

Para medir la consistencia a nivel de salida, los autores formalizan el problema utilizando estadísticas U.

• Configuración: Dado un prompt base $x_0$ y un conjunto de variantes perturbadas semánticamente equivalentes $x_1, \dots, x_n$, el agente produce salidas $y_0, \dots, y_n$.
• Métrica: Una función de núcleo simétrica $k(y_i, y_j)$ mide la similitud entre pares de salidas (por ejemplo, BLEU, ROUGE, implicación o jueces basados en LLM).
• Estimador: La consistencia se estima mediante la estadística U $U_n$, que es un estimador insesgado del parámetro poblacional $\theta = E[k(Y, Y')]$.
• Prueba de Hipótesis: El marco prueba la hipótesis nula $H_0: \theta = 1$ (consistencia perfecta) frente a $H_1: \theta < 1$ (inconsistencia). Los Teoremas 1 y 2 establecen que, bajo supuestos específicos (invarianza distribucional y distribución homogénea de tareas), la estadística de prueba sigue una distribución normal asintóticamente, proporcionando garantías sobre el tamaño (control de falsos positivos) y la potencia (sensibilidad de detección).

2. Consistencia de Trayectoria mediante Métodos de Núcleo

Reconociendo que los agentes ejecutan procesos de toma de decisiones secuenciales, el marco se extiende a las trayectorias de ejecución $\tau = (a_1, \dots, a_T)$.

• Procesos Estocásticos: Las trayectorias se tratan como procesos estocásticos con longitudes variables y dependencias temporales.
• Métrica: Los autores utilizan la Discrepancia de la Media Máxima (MMD) en un Espacio de Hilbert de Núcleo Reproductivo (RKHS) para medir la distancia entre la distribución de las trayectorias base y las trayectorias perturbadas.
• Núcleos: Para manejar secuencias de acciones de longitud variable, el artículo emplea:
  • Distancia Jensen-Shannon (JSD): Mide la deriva de composición (proporciones de herramientas utilizadas).
  • Distancia de Levenshtein (LD): Mide la deriva de orden (estabilidad de la secuencia).
  • Núcleo de Alineación Global (GAK): Un núcleo definido positivo que resuelve el problema de la no definición positiva en las distancias de edición, proporcionando un análogo estadísticamente válido para la MMD.
• Métricas Ponderadas: Para capturar la asimetría de los errores (donde las desviaciones en etapas tardías son más consecuentes que la exploración temprana), los autores introducen distancias de Levenshtein ponderadas, escalando los costos de edición por posición.

3. Manejo de la Multimodalidad

El marco aborda el problema donde existen múltiples estrategias de solución válidas para una sola tarea. Propone un enfoque de dos pasos: (i) identificar modos de solución mediante agrupamiento espectral en la matriz GAK, y (ii) medir la consistencia dentro de cada modo para distinguir entre la diversidad legítima de estrategias y la inestabilidad genuina.

Contribuciones Clave

1. Marco Fundamental: El artículo establece un marco estadístico principista para cuantificar la consistencia del agente, distinguiendo entre la capacidad central y la robustez de la ejecución.
2. Rigor Teórico: Proporciona pruebas formales para la normalidad asintótica de las estadísticas de prueba propuestas (Teoremas 1–3), asegurando tasas conservadoras de falsos positivos y alta potencia para detectar inconsistencias reales.
3. Granularidad Diagnóstica: Al descomponer la inconsistencia en deriva de composición (qué acciones se toman) y deriva de orden (cómo se secuencian), el marco revela debilidades arquitectónicas invisibles para las métricas de solo salida.
4. Diagnósticos Temporales: La introducción de métricas de trayectoria ponderadas permite identificar cuándo se desvían los agentes (errores cargados al frente vs. cargados al final), ofreciendo orientación específica para correcciones arquitectónicas.

Resultados Experimentales

El marco fue validado en tres benchmarks de agentes: SWE-bench Verified (ingeniería de software), Spider2-DBT (transformación de datos) y BFCL (llamada a funciones). Los experimentos implicaron la aplicación de perturbaciones a nivel de prompt (parafraseo, retrotraducción, ruido) y a nivel de tarea (cambios de entorno, desplazamientos de esquema, herramientas de señuelo).

• Alta Precisión Enmascara Fallos de Consistencia: Los agentes mantuvieron una consistencia de salida relativamente alta (0.75–0.90) bajo perturbaciones a nivel de prompt, pero exhibieron una degradación significativa bajo perturbaciones a nivel de tarea.
• Métricas de Trayectoria Revelan Fallos Ocultos:
  • SWE-bench: Bajo una perturbación "MCP lineal" (cambio de mecanismos de recuperación de información), la precisión de OpenHands+Kimi-K2 colapsó a ~25%, sin embargo, la consistencia de salida se mantuvo en 60%. El análisis de la trayectoria reveló que, aunque la selección de herramientas permaneció consistente (alta JSD), el orden de las acciones se degradó significativamente (bajo Levenshtein), lo que indica un fallo en la secuenciación de la ejecución.
  • BFCL: Bajo una perturbación de formato XML, la precisión de OpenHands+Kimi-K2 cayó a casi cero. Las métricas de trayectoria mostraron un colapso completo tanto en la composición como en el orden, revelando una dependencia codificada en el análisis de JSON y una incapacidad para generar XML válido.
  • Spider2-DBT: Codex mostró alta consistencia de composición pero consistencia de orden moderada bajo perturbaciones de esquema, lo que sugiere que el agente produjo consistentemente la respuesta incorrecta para entradas perturbadas.
• Fuerza de la Perturbación: Los estudios de ablación mostraron que aumentar la fuerza de la perturbación (por ejemplo, múltiples pasadas de parafraseo) condujo a declives graduales en la precisión, mientras que cambios estructurales específicos (por ejemplo, inyección de código muerto) mostraron efectos de saturación, lo que sugiere que los agentes pueden ignorar el código claramente no utilizado.

Significado y Afirmaciones

El artículo afirma proporcionar "las herramientas matemáticas para aislar dónde y por qué se desvían los agentes". Su importancia radica en cambiar el paradigma de evaluación de "¿resuelve el agente la tarea?" a "¿resuelve el agente la tarea fiablemente bajo variación?".

• Sensibilidad Diagnóstica: Los autores demuestran que las métricas de consistencia a nivel de trayectoria proporcionan una sensibilidad diagnóstica mucho mayor que las tasas tradicionales pass@1, exponiendo la fragilidad arquitectónica que las métricas de precisión ocultan.
• Preparación para el Despliegue: Al identificar modos de fallo específicos (por ejemplo, errores de secuenciación frente a errores de selección de herramientas), el marco permite la identificación y rectificación de preocupaciones arquitectónicas, lo cual es un prerrequisito para desplegar agentes en entornos del mundo real de alto riesgo.
• Limitaciones: Los autores reconocen que su enfoque se basa en el supuesto de equivalencia semántica en las perturbaciones, lo cual es difícil de validar empíricamente. Además, el análisis de trayectorias actual trata las secuencias de acciones como la unidad de consistencia, ignorando estados de razonamiento intermedios o actualizaciones de creencias, lo que requeriría acceso a estados internos del modelo que actualmente no están expuestos por los marcos estándar de agentes.

En conclusión, este trabajo ofrece una definición rigurosa y evaluable de la fiabilidad del agente, yendo más allá de las tasas de éxito simples hacia una comprensión matizada de cómo se comportan los agentes bajo estrés, proporcionando así una base para construir sistemas de IA más robustos.