ReDAct: Uncertainty-Aware Deferral for LLM Agents

Resumen Técnico: ReDAct

1. El Problema

Los agentes basados en Modelos de Lenguaje Grande (LLM) han ganado popularidad en tareas de toma de decisiones secuenciales complejas, como entornos corporales basados en texto (ej. ALFWorld) y entornos de cuadrícula (ej. MiniGrid). Sin embargo, estos agentes heredan la tendencia de los LLM a alucinar (generar información incorrecta).

En configuraciones secuenciales, un solo error puede degradar irreversiblemente la trayectoria del agente, acumulando fallos a lo largo de todo el episodio (ej. pisar una losa de lava o elegir el objeto incorrecto). Aunque los LLM más grandes reducen las alucinaciones, su costo por token es significativamente mayor, lo que hace inviable su uso exclusivo en cada paso de una tarea larga. Existe una necesidad crítica de un mecanismo que permita a los agentes reconocer cuándo son inseguros y delegar la decisión a un modelo más capaz, optimizando así la relación entre costo computacional y fiabilidad.

2. Metodología: El Marco ReDAct

Los autores proponen ReDAct (Reason-Defer-Act), un marco que equipa al agente con dos LLM:

1. Modelo Pequeño ($M_{small}$): Económico y rápido, utilizado por defecto.
2. Modelo Grande ($M_{large}$): Más fiable y capaz, pero costoso.

El flujo de trabajo en cada paso $t$ es el siguiente:

1. Razonamiento: El modelo pequeño genera un proceso de razonamiento basado en el estado actual.
2. Selección de Acción y Estimación de Incertidumbre: El modelo pequeño propone una acción $\tilde{a}^s_t$ y calcula una puntuación de incertidumbre ($u_t$) basada en la probabilidad de los tokens generados.
3. Decisión de Diferimiento:
   • Si $u_t \leq \tau$ (umbral calibrado): Se acepta la acción del modelo pequeño.
   • Si $u_t > \tau$: La decisión se diferiere al modelo grande, que genera su propia propuesta de acción $\tilde{a}^l_t$ (que se acepta incondicionalmente).

Componentes Clave:

• Métricas de Incertidumbre (UQ): Se evalúan diversas métricas. El estudio concluye que las medidas teórico-informacionales a nivel de acción (calculadas sobre la selección de la acción, no sobre el razonamiento libre) son las más efectivas. Las métricas utilizadas son:
  • Perplejidad (PPL)
  • Probabilidad de Secuencia (SP)
  • Entropía Media de Tokens (MTE)
• Selección de Umbral: El umbral $\tau$ se calibra utilizando un conjunto de episodios de entrenamiento para lograr un objetivo específico (ej. llamar al modelo grande en un promedio de 5 veces por episodio).
• Enfoque en la Acción: A diferencia de trabajos previos que miden la incertidumbre en el razonamiento libre (que es difícil de cuantificar), ReDAct se centra estrictamente en la incertidumbre de la selección de la acción, demostrando una mayor capacidad discriminatoria para identificar pasos erróneos.

3. Contribuciones Clave

1. Propuesta de ReDAct: Un marco novedoso para agentes en entornos secuenciales que permite diferir decisiones individuales de un modelo pequeño a uno grande basándose en la incertidumbre predictiva.
2. Análisis de Niveles de Incertidumbre: Demostración empírica de que las métricas de incertidumbre calculadas en la etapa de selección de acción son superiores a las calculadas en la etapa de razonamiento para la señal de diferimiento.
3. Eficiencia de Costos: Validación de que diferir solo una pequeña fracción de decisiones (aprox. 15%) permite igualar o superar el rendimiento del modelo grande utilizado exclusivamente, reduciendo drásticamente los costos de inferencia.

4. Resultados Experimentales

Los autores evaluaron ReDAct en dos entornos principales: ALFWorld (tareas domésticas complejas) y MiniGrid (navegación y exploración).

• Rendimiento:
  • En ALFWorld, el uso de la métrica de Perplejidad (PPL) para guiar el diferimiento permitió a modelos pequeños (como Qwen3-80B o Llama3.3-70B) alcanzar la misma tasa de éxito que los modelos grandes (GPT-5.2 o Qwen3-480B), llamando al modelo grande solo en el 15% de los pasos.
  • En MiniGrid, se observó una mejora similar, donde el diferimiento guiado por UQ superó consistentemente a las estrategias de diferimiento aleatorio.
• Costo:
  • Aunque el uso del modelo grande incrementa el costo, el enfoque de ReDAct logra un rendimiento cercano al del modelo grande puro con una fracción del costo total.
  • Los gráficos de frontera de Pareto muestran que ReDAct ofrece la mejor relación entre tasa de éxito y costo de inferencia.
• Distribución de Llamadas:
  • A diferencia del diferimiento aleatorio (uniforme), ReDAct concentra las llamadas al modelo grande en los momentos de mayor dificultad (ej. pasos finales de episodios fallidos donde el modelo pequeño se vuelve más incierto), lo que justifica el gasto adicional en esos puntos críticos.

5. Significado e Impacto

El trabajo de ReDAct es significativo por varias razones:

• Viabilidad Económica: Hace viable el despliegue de agentes LLM autónomos en aplicaciones del mundo real donde el costo de inferencia es una barrera, permitiendo el uso de modelos pequeños para la mayoría de las tareas y reservando la capacidad de los modelos grandes solo para situaciones críticas.
• Seguridad en Entornos Secuenciales: Aborda el problema de la acumulación de errores en tareas secuenciales, ofreciendo un mecanismo de "freno de emergencia" automático basado en la incertidumbre del modelo.
• Avance en Métodos de UQ: Establece que, para agentes, la incertidumbre a nivel de acción (basada en probabilidades de tokens) es una señal más robusta y eficiente que las métricas semánticas o de razonamiento libre, que requieren múltiples generaciones o son computacionalmente costosas.

En conclusión, ReDAct demuestra que la conmutación adaptativa entre modelos, guiada por la incertidumbre, es una estrategia poderosa para equilibrar la inteligencia, la fiabilidad y el costo en la próxima generación de agentes de IA.