Resumen Técnico: Descomposición de la Incertidumbre para la Búsqueda de Clarificación en Agentes LLM

1. Planteamiento del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) interactivos operan bajo observabilidad parcial, recibiendo instrucciones de lenguaje natural subespecificadas y navegando en entornos con ruido. Pequeños errores en los pasos iniciales de razonamiento pueden propagarse, conduciendo a resultados incorrectos pero realizados con confianza. Aunque la estimación de la incertidumbre es una herramienta de mitigación estándar, se argumenta que los marcos existentes (específicamente la dicotomía aleatoria/epistémica) son insuficientes para los agentes interactivos. Kirchhof et al. [13] y Kim et al. [14] postulan que los agentes requieren representaciones de incertidumbre conscientes de la subespecificación que estén descompuestas por origen y sean comunicables a los usuarios para permitir capacidades proactivas como la búsqueda de clarificación.

Además, las restricciones de despliegue práctico —como el acceso a APIs de caja negra, presupuestos estrictos de latencia y la ausencia de trayectorias de entrenamiento etiquetadas— hacen que los métodos basados en logprobs, de muestreo múltiple y de entrenamiento sean inviables. Esto deja a los métodos basados en prompts (donde el agente emite la incertidumbre como texto estructurado) como el único enfoque viable para el despliegue en el mundo real. Sin embargo, los métodos basados en prompts existentes suelen emitir un único escalar de puntuación de confianza, de la misma forma que confluyen dos fuentes distintas de incertidumbre:

1. Dificultad de la Tarea: La acción es difícil de ejecutar (por ejemplo, elegir entre muchos productos similares).
2. Ambigüedad del Objetivo: El requerimiento del usuario está subespecificado (por ejemplo, "buscar una camisa" sin especificar color o talla).

La confluencia de estas señales impide que el agente distinga entre "proceder con cautela" y "pedir una clarificación".

2. Metodología

Descomposición Propuesta

El artículo propone una descomposición basada en prompts que separa el escalar de confianza único en dos señales distintas emitidas en cada paso $t$:

• Confianza de la Acción ($c_t$): La confianza del agente en que la acción elegida se mueve hacia la completitud de la tarea, dada la comprensión actual. Esto refleja el escalar de confianza utilizado en los baselines.
• Incertidumbre de la Petición ($u_t$): Una estimación de si el objetivo del usuario está plenamente especificado, que oscila entre 0 (totalmente especificado) y 1 (faltan detalles críticos). Se ancla en una escala de tres puntos:
  • $0$: Exactamente una interpretación correcta.
  • $0.5$: Al menos un parámetro está abierto/no declarado.
  • $1$: Faltan detalles críticos; existen muchas interpretaciones válidas.

Disparador de Clarificación

El método introduce un mecanismo de enrutamiento determinista. Si $u_t \geq \theta$ (donde $\theta = 0.5$ por defecto), se le instruye al agente para que emita la acción especial request_clarification en lugar de una acción de tarea. Esto crea un vínculo directo entre la estimación de la incertidumbre y un comportamiento observable, permitiendo que el sistema sea evaluado como un clasificador binario para la subespecificación.

Propagación de la Historia

Siguiendo el marco de Memoria Consciente de la Incertidumbre (UAM) [21], tanto los valores de incertidumbre ($u_t, c_t$) como sus explicaciones en lenguaje natural se anexan al historial de interacción $H_t$. Esto permite que los pasos subsiguientes razonen sobre la incertidumbre acumulada de la petición y la confianza de la acción.

Baselines

El método propuesto se compara contra dos baselines basados en prompts:

1. ReAct+UE: Un agente ReAct estándar con un sufijo de prompt que solicita una única puntuación de confianza y una explicación. No retiene la incertidumbre en el historial.
2. Uncertainty-Aware Memory (UAM): Similar a ReAct+UE, pero propaga la puntuación de confianza y la explicación a través del historial, permitiendo al agente razonar sobre la incertidumbre pasada.

Benchmarks

Para evaluar la búsqueda de clarificación, los autores construyeron dos benchmarks aumentados de clarificación donde el 50% de las tareas están deliberadamente subespecificadas:

• WebShop-Clarification: Se eliminan atributos (ej. color, material) y cláusulas de opción de las instrucciones.
• ALFWorld-Clarification: Objetos o receptáculos se eliminan aleatoriamente del objetivo (ej. "poner algo en el contenedor").
  En estas variantes, si el agente solicita correctamente la clarificación ante una tarea subespecificada, el objetivo original se revela y el episodio continúa, asegurando una medición justa de la tasa de éxito.

La evaluación también incluye benchmarks estándar (WebShop, ALFWorld, REAL) para la detección de fallos (predecir el fallo de la trayectoria) y la tasa de éxito de la tarea.

3. Contribuciones Clave

1. Análisis Comparativo: Un estudio sistemático que demuestra que las restricciones prácticas dejan a los métodos basados en prompts como la única familia viable para la incertidumbre en agentes de caja negra, motivando un estudio más profundo de sus capacidades.
2. Nuevos Benchmarks: La introducción de WebShop-Clarification y ALFWorld-Clarification, que permiten la evaluación de la búsqueda de clarificación como una tarea de clasificación binaria.
3. Método de Descomposición: Un método basado únicamente en prompts que separa la confianza de la acción de la incertidumbre de la petición, permitiendo la clarificación proactiva sin necesidad de entrenamiento o acceso al modelo.
4. Evaluación Empírica: Una evaluación exhaustiva a través de cinco backbones de LLM (GPT-5.1, DeepSeek-v3.2-exp, GLM-4.7, Qwen3.5-35B, GPT-OSS-120B) tanto en tareas de búsqueda de clarificación como de detección de fallos.

4. Resultados

Búsqueda de Clarificación

La descomposición propuesta supera significativamente a los baselines en la identificación de tareas subespecificadas:

• ALFWorld-Clarification: El método propuesto mejora el F1 de clarificación en un 73% respecto a ReAct+UE y un 36% respecto a UAM, promediado entre los cinco backbones.
• WebShop-Clarification: El método propuesto lidera en F1 de clarificación en cada backbone.
• Generalización: Las mejoras se generalizan a través de diferentes familias de modelos, lo que indica que la descomposición no es específica de una única arquitectura de LLM.

Detección de Fallos

La descomposición no sacrifica la capacidad de detectar fallos (predecir el fallo de la trayectoria):

• En todos los backbones y benchmarks, el método propuesto logra puntuaciones ROC-AUC de detección de fallos comparables a ReAct+UE y UAM.
• En WebShop y REAL, el método propuesto alcanza el ROC-AUC más alto para las agregaciones de último paso y promedio.

Tasa de Éxito de la Tarea y Calibración

• Dilución de Capacidad: Se observó un declive monotónico en la tasa de éxito de la tarea a medida que aumentaba la instrumentación de la incertidumbre: ReAct+UE (28.6%) > UAM (27.8%) > Propuesto (27.0%). Los autores lo atribuyen a la "dilución de capacidad", donde el presupuesto fijo de razonamiento se divide entre la resolución de la tarea y múltiples evaluaciones de incertidumbre.
• Exceso de Confianza: Los diagramas de fiabilidad muestran un exceso de confianza sistemático en todos los métodos; la confianza predicha supera consistentemente las tasas de éxito observadas (el ECE oscila entre 0.24 y 0.66).
• Sensibilidad de la Agregación: La elección de la agregación a nivel de trayectoria (ej. producto, promedio, último paso) impacta significamente en las puntuaciones de detección de fallos. Notablemente, en ALFWorld, la agregación por producto actúa como un proxy de la longitud de la trayectoria en lugar de una verdadera señal de confianza, ya que las trayectorias fallidas son sistemáticamente más largas.

5. Significado y Reivindicaciones

El artículo afirma que la descomposición propuesta operacionaliza con éxito el concepto de "incertidumbre de subespecificación" como una categoría distinta, abordando las llamadas de Kirchhof et al. [13] y Kim et al. [14]. Al proporcionar un canal dedicado para la ambigüedad del objetivo, el agente puede buscar proactivamente la clarificación en lugar de fallar silenciosamente o proceder con interpretaciones arbitrarias.

Sin embargo, los autores son modestos respecto a las limitaciones del paradigma basado en prompts:

• Límites de los Prompts: La dilución de capacidad observada y el exceso de confianza sistemático son inherentes al enfoque basado en prompts, donde el modelo debe resolver la tarea y evaluar su propia confianza simultáneamente dentro de un presupuesto fijo de tokens.
• Dirección Futura: El artículo argumenta que el camino más prometedor es la estimación de la incertidumbre nativa. En lugar de solicitar puntuaciones descompuestas mediante prompts, los modelos deberían ser entrenados (vía RLHF, DPO o GRPO) para distinguir internamente entre la dificultad de la tarea y la ambigüedad del objetivo. Esto eliminaría la necesidad de la elicitación mediante prompts, removería la dilución de capacidad y permitiría una comunicación de la incertidumbre calibrada y en lenguaje natural.

En conclusión, este trabajo sirve como una prueba de concepto de que la descomposición de la incertidumbre permite nuevas capacidades en los agentes, pero postula que el siguiente paso requiere trasladar estos mecanismos del prompt al interior del modelo a través del entrenamiento de alineación.