🤖 AI

From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents

Este artículo presenta RUPA, un marco de cuantificación de incertidumbre a nivel de trayectoria que modela los historiales de ejecución como grafos dirigidos para propagar la incertidumbre a través de dependencias relacionales, superando así a los métodos existentes en la detección de la acumulación de errores a largo plazo y mejorando la fiabilidad de los agentes de LLM en entornos interactivos complejos.

Autores originales: Zhengzhao Ma. Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zhengzhao Ma. Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una nueva generación de software que hace más que solo responder preguntas o escribir texto. Estos sistemas, conocidos como agentes autónomos, están diseñados para actuar por su cuenta. Pueden desglosar un objetivo complejo en pasos más pequeños, utilizar herramientas digitales para recopilar información e interactuar con entornos informáticos para resolver problemas que requieren docenas o incluso cientos de decisiones. Piense en ellos como empleados digitales capaces de navegar por internet, escribir código o gestionar datos sin supervisión humana constante. Sin embargo, a medida que estos agentes asumen tareas más difíciles, surge una pregunta crítica: ¿cómo podemos saber si están a punto de cometer un error? A diferencia de un simple generador de texto que podría producir una sola frase incorrecta, el fallo de un agente es a menudo un proceso lento. Un pequeño error cometido al principio de una larga cadena de razonamiento puede propagarse hacia adelante, distorsionando los pasos posteriores y provocando un colapso total en el resultado final. Para que estos sistemas sean fiables en el mundo real, los desarrolladores necesitan una forma de medir el riesgo de fallo a medida que ocurre, no solo después de los hechos.

Los investigadores han intentado durante mucho tiempo construir sistemas que puedan detectar cuándo un modelo tiene dudas. Los métodos tradicionales suelen observar la salida inmediata de la computadora, comprobando qué tan seguro parece el modelo sobre la palabra siguiente que está a punto de generar. Este enfoque funciona bien para tareas cortas, pero falla cuando la tarea se extiende a lo largo de un largo cronograma. El problema es que estos métodos tratan cada paso como un evento aislado, ignorando el historial de cómo el agente llegó allí. Pasan por alto las sutiles conexiones entre una decisión tomada hace diez pasos y la acción actual. Si un agente malinterpreta la solicitud de un usuario al principio, esa confusión inicial podría no parecer un error en el momento, pero puede hacer que todo el proyecto se desvíe más tarde. Las herramientas actuales son como un conductor que solo mira la carretera directamente frente al coche, perdiendo el hecho de que se tomó un giro equivocado hace millas que eventualmente lo llevará a un callejón sin salida.

Para resolver esto, un equipo de investigadores de la Academia China de Ciencias ha desarrollado un nuevo marco llamado RUPA. En lugar de ver el trabajo de un agente como una simple lista de pasos, mapean todo el proceso como una red de eventos conectados. En este sistema, cada acción, uso de herramientas y pieza de retroalimentación es un nodo en un grafo, y las líneas que los conectan representan las relaciones lógicas entre ellos. Los investigadores descubrieron que los errores suelen viajar a lo largo de estas conexiones específicas. Al construir este mapa, el sistema puede rastrear cómo crece y se mueve la incertidumbre a través de la historia del agente. Calcula una puntuación de riesgo para el momento actual mirando no solo la confianza inmediata del modelo, sino también la fiabilidad del camino que lo llevó hasta allí. Si un paso temprano fue inestable, el sistema reconoce que el paso actual está construido sobre una base débil, incluso si el paso actual en sí mismo parece seguro.

El equipo probó este enfoque en una amplia variedad de tareas desafiantes, incluyendo problemas complejos de ingeniería de software, desafíos de computación basados en terminal y escenarios de resolución de problemas abiertos. Realizaron estas pruebas utilizando seis modelos de lenguaje de gran tamaño diferentes, que van desde sistemas más pequeños hasta muy grandes. Los resultados mostraron que este nuevo método era significativamente mejor para detectar problemas que las técnicas existentes. En un conjunto de pruebas, el nuevo sistema mejoró la capacidad de detectar fallos por un margen notable en comparación con los mejores métodos anteriores. Más importante aún, podía identificar fallos potenciales mucho antes en el proceso. Mientras que los métodos antiguos a menudo solo se daban cuenta de que algo estaba mal cerca del final, este nuevo enfoque podía señalar el peligro después de solo unos pocos pasos, dando al sistema la oportunidad de corregir su rumbo antes de que la tarea se arruinara.

Los investigadores también demostraron que esta mejor comprensión del riesgo podría utilizarse para hacer que los agentes funcionen mejor. Cuando el sistema se le daba la opción entre varias acciones posibles, podía utilizar las puntuaciones de riesgo para elegir la opción más segura. En estos ensayos, los agentes guiados por este nuevo método completaron más tareas con éxito que aquellos guiados por las medidas de confianza tradicionales. El estudio sugiere que la clave para una inteligencia artificial fiable no es solo mirar el momento presente, sino comprender la estructura del viaje. Al mapear las relaciones entre cada paso que da un agente, podemos ver cómo las pequeñas incertidumbres se acumulan en grandes problemas. Este enfoque proporciona una forma práctica de construir agentes que no solo sean capaces, sino también confiables, capaces de navegar entornos complejos sin perder el rumbo.

Resumen Técnico: Propagación de Incertidumbre Relacional para Agentes LLM (RUPA)

Declaración del Problema

La cuantificación de la incertidumbre (UQ) fiable es un prerrequisito crítico para el despliegue de agentes de Modelos de Lenguaje Extensos (LLM) en entornos interactivos complejos de largo horizonte. Mientras que los métodos de UQ existentes estiman eficazmente la confianza para predicciones aisladas o generación de contexto corto, tienen dificultades con los agentes autónomos que ejecutan razonamiento de múltiples pasos, uso de herramientas e interacciones con el entorno.

Los enfoques actuales dependen predominantemente de señales locales, como las probabilidades de los tokens, la entropía predictiva o la confianza por paso. Estos métodos pasan por alto en gran medida las dependencias de largo alcance a través de las cuales los errores se acumulan y propagan a lo largo de una trayectoria de ejecución. En consecuencia, a menudo no logran identificar fallos de agentes cuyas causas raíz se originan varios pasos de razonamiento o interacción antes de la respuesta final. Además, los métodos de UQ orientados a agentes que sí incorporan el historial suelen modelar las trayectorias como secuencias lineales, fallando al capturar la naturaleza inherentemente relacional de las dependencias entre los pasos del agente (por ejemplo, cómo un error temprano influye en el uso posterior de herramientas o cómo un bucle de retroalimentación altera la ruta de razonamiento).

Metodología: Marco RUPA

Los autores proponen RUPA (Relational Uncertainty Propagation for Agents), un marco de UQ a nivel de trayectoria que modela la ejecución del agente como un grafo de dependencia estructurado en lugar de una secuencia lineal. La metodología consta de tres componentes principales:

1. Construcción del Grafo de Trayectoria Relacional

RUPA convierte el historial de ejecución de un agente en un grafo dirigido $G = (V, E)$ :

Nodos ( $V$ ): Representan eventos de ejecución, incluyendo instrucciones del usuario, razonamiento/acciones del asistente, invocaciones de herramientas y observaciones del entorno.
Aristas ( $E$ ): Capturan las dependencias lógicas entre eventos históricos y el paso actual. El marco identifica siete tipos específicos de relación:
- Secuencial: Precedente inmediato de la ejecución.
- Último (Latest): Instrucciones más recientes del entorno o del usuario.
- Repetición: Acciones con patrones de razonamiento o uso de herramientas similares.
- Progresión: Pasos de razonamiento que extienden soluciones existentes.
- Paralelo: Ramas de razonamiento alternativas bajo el mismo contexto.
- Retroalimentación (Feedback): Señales que indican fallos de ejecución o salidas inestables.
- Alineación con el Objetivo: Dependencia semántica entre el razonamiento actual y el objetivo de la tarea original.

2. Propagación de Incertidumbre Sensible a las Relaciones

A diferencia de la agregación secuencial, RUPA propaga la incertidumbre a través de las aristas del grafo basándose en su importancia estructural:

Incertidumbre Local ( $U_t$ ): Calculada a partir de la entropía predictiva para los nodos del asistente o señales de interacción observables (por ejemplo, fallos de ejecución, respuestas vacías) para los nodos del entorno.
Pesos de las Aristas ( $w_{i,t}$ ): Pesos de propagación aprendidos determinados por la fiabilidad, la fuerza y la distancia temporal de la relación. Las dependencias estructuralmente importantes ejercen una mayor influencia, mientras que los estados obsoletos se descuentan.
Puntuación de Alineación con el Objetivo ( $Q_{i,t}$ ): Una puntuación específica que estima la alineación semántica entre el paso actual y el objetivo de la tarea.
Mecanismo de Propagación: El riesgo estructural ( $G_t$ ) se calcula agregando la incertidumbre de los nodos históricos vecinos ponderados por sus pesos de arista. Esto se combina con un impulso de incertidumbre de decaimiento exponencial ( $m_t$ ) para preservar las tendencias de largo alcance.
Estimación Final: La incertidumbre a nivel de trayectoria ( $R_t$ ) es una suma ponderada de la incertidumbre local y la incertidumbre histórica propagada ( $H_t$ ):
$R_t = \lambda_u U_t + \lambda_h H_t$

3. Integración con la Ejecución del Agente

La señal propagada se combina con características conductuales a nivel de trayectoria e información de alineación con el objetivo para producir una estimación de confianza para la trayectoria completa del agente. Esta estimación puede utilizarse para la detección de riesgos, el remuestreo adaptativo y la optimización de decisiones.

Contribuciones Clave

Identificación de Dependencias Relacionales: El trabajo identifica que la incertidumbre en los agentes LLM es una propiedad a nivel de trayectoria que evoluciona sobre estructuras relacionales, revelando las limitaciones de los métodos que tratan las trayectorias como predicciones independientes o secuencias lineales.
Marco RUPA: La propuesta de un marco de UQ basado en grafos que representa la ejecución del agente como un grafo relacional dirigido y realiza una propagación de incertidumbre sensible a las relaciones para estimar el riesgo de ejecución.
Validación Empírica: Experimentos extensos en tres benchmarks y seis LLMs demuestran que modelar explícitamente las dependencias estructurales es crucial para una UQ fiable en agentes de largo horizonte.

Resultados Experimentales

Los autores evaluaron RUPA en tres benchmarks representativos: $\tau$ -2, Terminal-Bench-2 y GAIA, utilizando seis LLMs de código abierto que van desde 26B hasta 230B de parámetros (incluyendo Qwen3.5/3.6, Gemma4-26B, Gemma4-31B, GPT-OSS-120B y MiniMax-M2.7).

Estimación de Incertidumbre Superior: RUPA superó consistentemente a los métodos de UQ existentes (incluyendo Entropy, Sequence Probability, SAUP, Tracer y UProp) en todas las familias de modelos. Por ejemplo, en el modelo MiniMax-M2.7, RUPA mejoró el AUROC promedio de 0.694 (el baseline más fuerte) a 0.718.
Detección Temprana de Fallos: En evaluaciones basadas en prefijos, RUPA identificó posibles fallos de ejecución significativamente antes que los métodos existentes. La ventaja fue más pronunciada cuando solo se observaba una pequeña fracción de la trayectoria, indicando que las señales de incertidumbre propagadas emergen temprano en el proceso de ejecución.
Mejora del Rendimiento Aguas Abajo: Al utilizarse para guiar la ejecución del agente (seleccionando acciones con menor incertidumbre predicha durante la decodificación de múltiples muestras), RUPA mejoró consistentemente las tasas de éxito de las tareas. Por ejemplo, en Terminal-Bench-2 con Qwen3.5-27B, la precisión mejoró de 0.105 (selección aleatoria) a 0.213 cuando fue guiada por RUPA.
Información Complementaria: El análisis de emparejamiento de entropía mostró que el modelado basado en grafos proporciona señales de incertidumbre distintas de la confianza a nivel de token, particularmente en regiones de baja entropía donde los métodos tradicionales fallan al distinguir entre trayectorias exitosas y fallidas.

Significado y Reivindicaciones

El artículo argumenta que modelar explícitamente la dependencia relacional es crucial para la cuantificación de la incertidumbre fiable en agentes LLM de largo horizonte. Los autores afirman que RUPA proporciona una base práctica para la ejecución de agentes confiable mediante:

La captura de cómo los riesgos de ejecución se acumulan y transfieren a través de los pasos de interacción, en lugar de tratar los pasos como eventos aislados.
La capacidad de detectar fallos de forma más temprana que se originan en pasos intermedios de razonamiento o interacción.
La mejora de la fiabilidad de los agentes autónomos en diversas tareas, desde la ingeniería de software hasta la toma de decisiones complejas, al proporcionar estimaciones de incertidumbre más precisas que pueden guiar estrategias posteriores como la autocorrección y la mitigación de riesgos.

El trabajo concluye que el fallo de los métodos de UQ tradicionales en entornos de agentes no es meramente una cuestión de volumen de datos, sino una limitación estructural en cómo se representa el historial de ejecución, y que pasar de secuencias lineales a grafos relacionales es un paso necesario hacia agentes autónomos robustos.