🤖 AI

Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses

Este estudio piloto cualitativo demuestra que los modelos de IA agéntica exhiben firmas distintas y específicas de cada canal en sus log-probabilidades al encontrarse con respuestas de herramientas inconsistentes frente a incompletas, revelando que la robustez ante estos diferentes tipos de fallos es asimétrica y requiere mecanismos de detección adaptados en lugar de un enfoque universal.

Autores originales: Jiachen Xu, Torben Bach Pedersen, Zhongming Yao, Xiaoyu Zhang, Yushuai Li

Publicado 2026-08-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jiachen Xu, Torben Bach Pedersen, Zhongming Yao, Xiaoyu Zhang, Yushuai Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el panorama moderno de la inteligencia artificial, ha surgido un nuevo tipo de trabajador digital: el agente de lenguaje. A diferencia de los programas anteriores que simplemente respondían preguntas basadas en una base de datos estática, estos agentes están diseñados para actuar. Pueden navegar por la web, consultar bases de datos y utilizar herramientas de software para resolver problemas complejos, de forma muy parecida a un asistente humano que toma el teléfono para hacer una reserva o consulta una hoja de cálculo para verificar el inventario. Sin embargo, estos trabajadores digitales no son infalibles. Cuando recurren a una herramienta, esperan una respuesta limpia y precisa. En el mundo real, las herramientas a veces fallan, devolviendo mensajes de error, o devuelven datos que parecen perfectos en la superficie pero contienen una mentira sutil. El desafío central para los investigadores no es solo construir agentes que funcionen cuando todo sale bien, sino construir otros que puedan reconocer cuándo algo ha ido mal y responder adecuadamente. Si un agente no puede distinguir entre una herramienta rota y una engañosa, aplicará la solución incorrecta, lo que podría hacer perder tiempo o empeorar la situación.

Un equipo de investigadores de la Universidad de Aalborg y la Universidad de Zhejiang se propuso investigar este momento exacto de decisión. Querían saber si una inteligencia artificial podía distinguir instantáneamente entre una herramienta que ha fallado al no devolver ningún dato y una herramienta que ha devuelto una respuesta bien formada pero falsa. Para probar esto, crearon un entorno controlado que simulaba un escenario de servicio al cliente minorista. En este mundo digital, un agente actúa como un representante de soporte, utilizando un conjunto de dieciséis herramientas diferentes para buscar detalles de pedidos, verificar métodos de pago y actualizar información de usuario. Los investigadores tomaron una secuencia de acciones estándar y exitosa y, en un punto específico, sustituyeron la respuesta normal de la herramienta por una defectuosa. Crearon tres tipos de fallos: un fallo completo donde la herramienta devolvió un mensaje de error, un estado de pedido falsificado que cambió las reglas de lo que el agente tenía permitido hacer a continuación, y un identificador de pago falsificado que parecía correcto pero no pertenecía al cliente.

Los investigadores no se limitaron a observar al agente intentar completar la tarea y ver si tenía éxito. En su lugar, detuvieron el proceso en el instante en que llegaron los datos defectuosos. Examinaron el "proceso de pensamiento" interno del modelo, observando específicamente qué tan probable era que generara la siguiente palabra en su respuesta. Midieron dos cosas distintas. Primero, comprobaron qué tan bien los datos devueltos se ajustaban al formato esperado de la propia herramienta. Segundo, comprobaron qué tan bien esos datos se ajustaban a todo lo que el agente ya había visto en la conversación, incluyendo la solicitud original del usuario y los resultados previos de las herramientas. También observaron el plan del agente para el siguiente paso, midiendo qué tan seguro estaba de qué acción tomar y si esa acción implicaba volver a verificar el estado del sistema o avanzar con un cambio.

Los resultados revelaron una diferencia marcada e inmediata en cómo reaccionó el agente a estos diferentes tipos de errores. Cuando la herramienta devolvió un mensaje de error roto, el agente reconoció inmediatamente que los datos no se ajustaban al formato básico de la herramienta. Esta fue una señal clara de que la herramienta había fallado. En consecuencia, el plan del agente cambió drásticamente; se volvió altamente probable que eligiera una acción que consistiera en volver a leer el estado del sistema, esencialmente decidiendo intentar de nuevo o verificar los hechos. Por el contrario, cuando la herramienta devolvió una respuesta bien formada pero falsa, el agente no vio ningún problema con el formato. Los datos parecían perfectos. Sin embargo, la comparación interna del agente de los nuevos datos frente al historial de la conversación reveló un conflicto. Los datos falsos chocaban con lo que el usuario había declarado previamente o con lo que la política del sistema dictaba.

Crucialmente, los investigadores descubrieron que la reacción del agente a estas respuestas falsas dependía enteramente de la naturaleza de la mentira. Cuando la información falsificada era un simple desajuste, como un ID de pago que no pertenecía al usuario, el plan del agente permaneció prácticamente sin cambios. No se confundió ni mostró incertidumbre; simplemente aceptó los datos falsos y continuó, porque la mentira no alteraba las reglas fundamentales de la interacción. Pero cuando la información falsificada era un estado de pedido que cambiaba las reglas de lo que se permitía hacer, el comportamiento del agente cambió. Se volvió incierto sobre qué hacer a continuación, y su plan cambió para reflejar la nueva y errónea realidad. Esto demostró que el agente podía distinguir entre una herramienta rota y una herramienta mentirosa, pero no siempre podía distinguir entre una mentira inofensiva y una trascendental que descarrilaría la tarea.

El estudio también analizó qué sucedía después del error inicial. Los investigadores encontraron que el tipo de error dejaba una huella duradera en el comportamiento futuro del agente. La herramienta rota hizo que el agente siguiera intentando releer el estado del sistema en los pasos posteriores, una señal de que estaba atrapado en un bucle de verificación. El estado de pedido falsificado, sin embargo, llevó al agente por un camino completamente diferente, llevándolo a realizar acciones que cambiaban el estado del sistema basándose en la información falsa. El ID de pago falsificado, que el agente aceptó inicialmente sin problemas, continuó siendo aceptado en los pasos posteriores, sin señales de que el agente se hubiera dado cuenta de que había sido engañado. Esto demostró que la capacidad del agente para reconocer un error no era una alarma única y universal. En cambio, era una colección de diferentes señales. Una señal le decía al agente que la herramienta estaba rota, otra le decía que los datos eran inconsistentes con el pasado y una tercera le decía que los datos eran inconsistentes con las reglas. Ninguna señal individual podía detectar todos los tipos de error.

Los investigadores concluyeron que la robustez en estos agentes no consiste en tener una métrica única que señale todos los datos malos. En su lugar, requiere leer múltiples canales de información simultáneamente. Un agente debe ser capaz de ver cuando los datos no coinciden con la forma de una herramienta, cuando contradicen el historial de la conversación y cuando contradicen las reglas del dominio. El estudio mostró que estos diferentes tipos de errores producen firmas distintas en los cálculos internos del agente. Una herramienta rota es inmediatamente obvia porque rompe el formato. Una herramienta mentirosa es más difícil de detectar porque encaja en el formato pero rompe la historia. Las mentiras más peligrosas son aquellas que cambian las reglas del juego, ya que pueden enviar al agente por un camino completamente equivocado sin activar ninguna confusión. Al comprender estas firmas específicas, los desarrolladores pueden construir agentes que estén mejor equipados para diagnosticar sus propios errores y elegir el remedio correcto, ya sea reintentar una herramienta, verificar un hecho o detenerse para pedir una aclaración.

Resumen Técnico: Análisis de Robustez de la IA Agéntica ante Respuestas de Herramientas Inconsistentes e Incompletas

Planteamiento del Problema
La robustez en los agentes de lenguaje que utilizan herramientas se define no por la evitación de malos retornos de herramientas, sino por la capacidad de responder apropiadamente a la naturaleza específica del fallo. El artículo postula que una llamada a una herramienta fallida (retorno incompleto) y un retorno bien formado pero fácticamente incorrecto (retorno inconsistente) constituyen problemas distintos que requieren remedios diferentes (por ejemplo, reintentar frente a contrastar información). Las métricas de diagnóstico actuales, como la entropía de razonamiento paso a paso, a menudo no logran distinguir entre estas familias de fallos en el momento en que llega un retorno, limitándose a indicar que "algo ha salido mal" sin especificar qué. La pregunta central de investigación es si un agente puede distinguir cualitativamente entre retornos incompletos e inconsistentes inmediatamente tras su llegada y, de ser así, a través de qué canales observables en el estado interno del modelo.

Metodología
Los autores llevan a cabo un estudio piloto cualitativo dentro del dominio minorista de $\tau^2$ -bench, utilizando un bucle de estilo ReAct con 16 herramientas. El diseño experimental emplea "teacher forcing" para puntuar los puntos de decisión en lugar de ejecutar los agentes hasta su finalización, aislando así la reacción inmediata a un retorno de herramienta.

Inyección de Fallos: El estudio inyecta fallos controlados en la primera llamada a get_order_details (posición 2 o posterior) en una trayectoria. Se establecen cuatro condiciones:
1. Limpio (C): El retorno real.
2. Fallido (F): Un retorno incompleto (cadena de error) que reemplaza la carga útil (payload).
3. Estado Inconsistente ( $N_s$ ): Una carga útil con esquema válido donde el estado del pedido se falsea a un valor legal que contradice la política del dominio o la intención del usuario.
4. Identificador Inconsistente ( $N_m$ ): Una carga útil con esquema válido donde un identificador de método de pago se falsea a un valor bien formado que no pertenece al usuario.
Canales de Medición: Se leen dos canales primarios de las log-probabilidades del modelo en el punto de decisión siguiente a la inyección:
1. Brecha de Verosimilitud ( $G$ ): La diferencia entre la sorpresa del string devuelto bajo el contexto de toda la trayectoria ( $S_1$ ) y bajo el esquema de la herramienta únicamente ( $S_0$ ). $G = S_1 - S_0$ . Esto mide cuánto añade el contexto de la trayectoria a la predictibilidad del retorno.
2. Distribución de Acciones: La distribución de probabilidad sobre las 17 acciones legales (16 herramientas + respuesta). Las métricas incluyen la entropía de esta distribución ( $H$ ), la acción principal ( $a^\star$ ) y la masa asignada a grupos de acciones específicos, particularmente herramientas que vuelven a leer el estado ( $\pi(V)$ ).
Control: Cada medición se empareja contra una línea base limpia para la misma tarea, asegurando que las diferencias ( $\Delta X$ ) sean atribuibles únicamente al fallo inyectado.

Resultos Clave
El estudio revela una asimetría en cómo los diferentes tipos de fallos se manifiestan a través de los canales de medición:

Canal de Verosimilitud ( $G$ ):
- Retornos Incompletos (F): Son legibles de inmediato. Son improbables bajo el esquema de la herramienta por sí solo ( $S_0$ ), causando un cambio positivo agudo en $\Delta S_0$ . Esto los sitúa en una región del espacio de características en la que ningún otro condicionante entra.
- Retornos Inconsistentes ( $N_s, N_m$ ): Dejan el canal del esquema ( $S_0$ ) intacto. Solo se registran en la brecha ( $G$ ) si el valor inyectado colisiona con un token ya presente literalmente en el prefijo (por ejemplo, $N_m$ donde el ID real se había declarado explícitamente). Si la contradicción requiere razonar a través de la política del dominio (por ejemplo, $N_s$ donde el usuario describió el estado en prosa), la brecha permanece plana.
Canal de Distribución de Acciones:
- Retornos Incompletos (F): Estos desplazan consistentemente la masa de probabilidad del agente hacia herramientas que vuelven a leer el estado ( $\pi(V)$ aumenta), señalando efectivamente la necesidad de reintentar o verificar. La distribución a menudo se agudiza y se redirige.
- Retornos Inconsistentes: No exhiben una dirección unificada. $N_s$ (estado falseado) crea incertidumbre (aumentando la entropía) y desplaza la acción principal hacia llamadas de cambio de estado, mientras que $N_m$ (identificador falseado) deja la distribución prácticamente sin cambios.
Traza a Largo Plazo: Cuando el mismo retorno inyectado se transporta a través de llamadas subsecuentes (donde los bytes de la carga útil son idénticos entre brazos pero el contexto difiere), la asimetría persiste. La brecha de verosimilitud ( $G$ ) permanece elevada solo para el retorno fallido (F), mientras que los retornos inconsistentes ( $N_s, N_m$ ) no muestran tal señal. Sin embargo, la acción principal para el estado falseado ( $N_s$ ) diverge de la línea base limpia hacia herramientas de cambio de estado, mientras que la llamada fallida (F) continúa impulsando al agente hacia la relectura del estado.

Contribuciones Clave

Distinción Cualitativa de Familias de Fallos: El artículo demuestra que los retornos incompletos e inconsistentes son legibles en el momento de su llegada, pero requieren diferentes canales de diagnóstico. Ninguna cantidad única captura todos los tipos de fallos.
Firmas Específicas de Canal: Establece que la verosimilitud a nivel de esquema ( $S_0$ ) es el detector primario de la incompletitud, mientras que la verosimilitud a nivel de trayectoria ( $S_1$ ) y los desplazamientos en la distribución de acciones son necesarios para detectar tipos específicos de inconsistencia.
La Distribución de Acciones como Proxy de la Política: El estudio muestra que la distribución de acciones ordena los fallos por su impacto en la siguiente acción (por ejemplo, si el error requiere releer el estado o cambiar el estado) en lugar de por la familia del fallo en sí.
Marco Metodológico: Propone una metodología de puntuación emparejada mediante teacher forcing que aísla la respuesta inmediata del modelo de los efectos de deriva del agente, permitiendo una atribución precisa de las señales al contexto inyectado.

Significancia y Reivindicaciones
El artículo afirma que la robustez depende de la capacidad del agente para distinguir los tipos de fallos inmediatamente, pero que las métricas de curva única actuales (como la entropía general) son insuficientes para ello. Los hallazgos sugieren que "el reconocimiento es asimétrico": cada condición es legible en algún canal, pero ningún canal único es legible para todas las condiciones.

Los autores presentan este trabajo modestamente como un estudio piloto. Reconocen limitaciones, incluyendo el uso de un único dominio, un único modelo y ruido basado en plantillas (no adversarial). No pretenden haber resuelto el problema de la robustez, sino haber mapeado los "puntos ciegos" de los enfoques de diagnóstico actuales. El estudio concluye que separar lo "meramente contradictorio" de lo "consecuente" requiere una cantidad que considere conjuntamente la observación y la política, una brecha que sus canales actuales no logran llenar por completo. El trabajo sirve como un paso fundacional para comprender cómo los agentes procesan la retroalimentación ruidosa de las herramientas, sugiriendo que los futuros mecanismos de robustez deben monitorear múltiples canales distintos simultáneamente para aplicar el remedio correcto.

Más como este