Resumen Técnico: Pregunta Temprano, Pregunta Tarde, Pregunta Correctamente

Declaración del Problema

Los agentes de IA de horizonte largo ejecutan flujos de trabajo complejos que involucran cientos de acciones secuenciales. Cuando las instrucciones del usuario están subespecificadas, los agentes enfrentan una decisión crítica: proceder bajo incertidumbre o pausar para solicitar aclaración. Si bien las últimas pruebas de referencia confirman que la subespecificación degrada el rendimiento y que los canales de aclaración permiten una recuperación parcial, la investigación existente trata la aclaración como una capacidad binaria (puede/no puede preguntar) en lugar de una capacidad temporal.

Existe una falta de comprensión empírica sobre cuándo la aclaración es más valiosa. La teoría clásica del valor de la información (VOI) y la investigación sobre interrupciones en la interacción humano-computadora (HCI) sugieren que el beneficio de la aclaración debería variar según el momento de la intervención. Sin embargo, ningún trabajo anterior ha medido cómo cambia el valor de la aclaración a lo largo de la trayectoria de ejecución de un agente. El problema central abordado es la ausencia de curvas de demanda cuantitativas para el momento de la aclaración a través de diferentes dimensiones de información (objetivo, entrada, restricción, contexto) y la falta de evidencia sobre si los modelos de vanguardia actuales preguntan naturalmente dentro de ventanas empíricamente óptimas.

Metodología

Los autores introducen un marco de inyección forzada para aislar el efecto puro del momento de la aclaración, independientemente de la capacidad de un agente para detectar ambigüedad.

Configuración Experimental

• Conjuntos de datos: El estudio utiliza 84 variantes de tareas subespecificadas extraídas de la prueba de referencia LHAW, abarcando tres pruebas de referencia de agentes distintas:
  • MCP-Atlas: Competencia en uso de herramientas (36 variantes, 6–20 acciones).
  • TheAgentCompany: Flujos de trabajo empresariales (30 variantes, 6–49 acciones).
  • SWE-Bench Pro: Tareas de reparación de código (18 variantes, 1–121 acciones).
• Modelos: Se evaluaron cuatro modelos de vanguardia (GPT-5.2, Claude Sonnet 4.5, Gemini 3 Flash y DeepSeek V3.2 solo en MCP-Atlas), lo que resultó en más de 6.000 ejecuciones experimentales.
• Protocolo de Inyección Forzada:
  • Las tareas se modificaron para eliminar segmentos específicos de información (verdad fundamental).
  • Las aclaraciones se inyectaron en puntos controlados a lo largo de la trayectoria: 10%, 30%, 50%, 70% y 90% del presupuesto de acciones calibrado por el oráculo.
  • La herramienta ask_user se desactivó durante estas ejecuciones para asegurar que la aclaración llegara solo mediante inyección.
  • El rendimiento se midió utilizando Pass@3 (probabilidad de al menos un éxito en tres ensayos).
• Protocolo de Pregunta Natural: Un estudio complementario de 300 sesiones no scriptadas en tareas de TheAgentCompany permitió que la herramienta ask_user observara comportamientos naturales de aclaración, registrando tasas de pregunta y el momento de la primera consulta.
• Métricas:
  • Pass@3: Métrica principal de éxito.
  • Cálculo Desperdiciado: La fracción de acciones previas a la inyección ausentes en la traza del oráculo (completamente especificada), que sirve como límite superior del trabajo descartado.
  • Punto de No Retorno: El momento de inyección más tardío donde el rendimiento supera significativamente la línea base de no aclaración.
  • Consistencia Transversal entre Modelos: Correlación de rango Kendall's $\tau$ para determinar si los efectos temporales son intrínsecos a la tarea o dependientes del modelo.

Contribuciones Clave

1. Perfiles Temporales Dependientes de la Dimensión: El estudio establece que el valor de la aclaración no es uniformemente "más temprano es mejor", sino que depende agudamente de la dimensión de información:

   • Aclaración de Objetivo: Altamente cargada al inicio. El valor cae precipitadamente después del 10% de la ejecución. En MCP-Atlas, Pass@3 cae de 0.78 (al 10%) a 0.39 (al 70%), perdiendo efectivamente todo beneficio en relación con la línea base.
   • Aclaración de Entrada: Muestra un declive gradual. El valor se mantiene a través de aproximadamente el 50% de la trayectoria, ya que los agentes pueden inferir parcialmente las entradas mediante la exploración del entorno.
   • Aclaración de Restricción: El beneficio depende de la existencia de una brecha en el oráculo. En casos con una brecha, el valor disminuye con el retraso, aunque rara vez cae por debajo de la línea base de no aclaración (lo que sugiere que la información de restricción tardía sigue siendo mejor que ninguna, pero menos efectiva que la temprana).
   • Aclaración de Contexto: La evidencia es mixta debido a tamaños de muestra limitados, pero la inyección temprana muestra fuertes beneficios potenciales.

2. Cuantificación de la Brecha de "Pregunta": El estudio cuantifica la desalineación entre los comportamientos actuales de los modelos y las ventanas empíricamente óptimas.

   • GPT-5.2: Sobre-consulta (52% de tasa de pregunta) pero pregunta demasiado tarde para tareas de objetivo (momento medio 43%, muy lejos de la ventana óptima del 10%).
   • Claude Sonnet 4.5: Pregunta selectivamente (23% de tasa) con un momento medio del 50%, lo cual es subóptimo para objetivos pero razonable para entradas.
   • Gemini 3 Flash: Nunca pregunta (0% de tasa), renunciando a todos los beneficios potenciales de aclaración.
   • Crucialmente, ningún modelo de vanguardia actual pregunta naturalmente dentro de la ventana empíricamente óptima para ninguna dimensión.

3. Efectos Temporales Intrínsecos a la Tarea: Las correlaciones transversales entre modelos (Kendall's $\tau$ que oscila entre 0.78 y 0.87 para modelos que comparten cobertura de tareas) confirman que estos perfiles temporales son sustancialmente intrínsecos a las propias tareas, en lugar de ser artefactos de arquitecturas de modelos específicas.

4. Costo del Retraso: El estudio proporciona una medida cuantitativa de "cálculo desperdiciado", mostrando que el trabajo desperdiciado crece constantemente con el retraso de la inyección. Por ejemplo, en TheAgentCompany, el cálculo desperdiciado aumenta del 0% en la inyección al 10% al 21.7% en la inyección al 90%.

Resumen de Resultados

• Información de Objetivo: Tiene una ventana temprana estrecha ($\le$10%). Retrasar la aclaración más allá de este punto resulta en un rendimiento indistinguible de nunca preguntar.
• Información de Entrada: Sigue siendo recuperable a través de aproximadamente el 50% de la trayectoria.
• Información de Restricción: La inyección tardía puede ser disruptiva si requiere reconciliar acciones ya tomadas que entran en conflicto con la restricción, aunque generalmente se mantiene por encima de la línea base de no aclaración.
• Sin Umbral Agudo: El "punto de no retorno" es generalmente continuo en lugar de un corte abrupto, excepto en variantes de objetivo y restricción críticas para el resultado donde se detectó un punto de recuperación significativo al 30% de la trayectoria.
• Comportamiento del Modelo: Los modelos actuales exhiben estrategias que van desde la sobre-pregunta (ineficiente) hasta nunca preguntar, fallando en alinearse con las curvas de demanda derivadas de los experimentos de inyección forzada.

Significado y Afirmaciones

El artículo afirma proporcionar las primeras curvas empíricas de VOI para el momento de la aclaración en flujos de trabajo de agentes de horizonte largo. Su significado radica en:

• Datos Fundamentales: Proporcionar las "curvas de demanda" cuantitativas que los marcos teóricos existentes (por ejemplo, teoría del valor de la información, metarrazonamiento) requieren pero que anteriormente carecían.
• Objetivos de Diseño: Establecer objetivos de diseño concretos para políticas de aclaración conscientes del tiempo, aconsejando específicamente a los agentes que validen los objetivos dentro de las primeras acciones y pospongan las consultas de entrada solo ligeramente más (dentro de la primera mitad de la trayectoria).
• Generalización Metodológica: La metodología de inyección forzada se presenta como un enfoque generalizable para cualquier prueba de referencia de agentes con tareas subespecificadas para medir el valor temporal de la información.

Los autores notan modestamente que este estudio aborda el lado de la demanda (cuánto se beneficia el rendimiento de la información en momentos específicos) pero no resuelve el lado de la oferta (cómo hacer que los agentes reconozcan la ambigüedad y pregunten en el momento correcto). Posicionan su trabajo como la base empírica necesaria para construir la próxima generación de agentes conscientes del tiempo.