Resumen Técnico: Evaluación de Agentes Generativos con Acciones Ancladas en Entornos de Tareas Socialmente Distribuidos mediante Incognita

Declaración del Problema

Una agencia efectiva en entornos sociales requiere que un agente determine cuándo buscar conocimiento, cuándo actuar y si sus acciones están justificadas por la información adquirida. Los paradigmas de evaluación existentes suelen separar estos requisitos: los benchmarks anclados (p. ej., WebArena, AppWorld) proporcionan acciones ejecutables y resultados verificables pero carecen de una interacción social rica, mientras que los entornos de simulación social (p. ej., Sotopia) ofrecen interacción multiagente pero a menudo carecen de cambios de estado consecuentes y anclados.

El problema central abordado es la evaluación de agentes generativos en entornos de tareas socialmente distribuidos. En estos entornos, el conocimiento relevante para la tarea está particionado entre participantes aislados por roles (p. ej., un cliente, un mostrador de devoluciones, un catálogo de productos), y las acciones consecuentes solo son alcanzables mediante la interacción con estos participantes específicos. Los agentes actuales presentan dificultades ante esta estructura, exhibiendo fallos en la clarificación, el mantenimiento del contexto y la finalización prematura cuando la información de la tarea se revela de forma incremental a lo largo de los turnos.

Metodología: El Marco de Trabajo Incognita

Los autores presentan Incognita, un marco de trabajo ambiental construido sobre el sustrato Concordia para instanciar entornos de tareas socialmente distribuidos. Incognita separa la interacción social de la ejecución anclada, creando un Proceso de Decisión de Markov Parcialmente Observable (POMDP) para el agente de prueba.

1. Arquitectura del Entorno

• Interacción Aislada por Roles: El agente de prueba no tiene acceso directo a herramientas. Interactúa mediante mensajes dirigidos a un USUARIO (que posee el conocimiento de la demanda detrás de una puerta de divulgación) y a Entidades Especialistas (que poseen conocimiento del entorno específico del rol y median operaciones).
• Capa de Ejecución Anclada: Las entidades especialistas proponen operaciones que son validadas y ejecutadas por un subentorno determinista sobre un estado canónico.
  • Lecturas (Reads): Devuelven información sin cambiar el estado.
  • Escrituras (Writes): Mutan el estado, creando consecuencias que se evalúan posteriormente.
• Evaluación Offline: El ensayo termina cuando el agente establece una bandera de finalización ($f_t=1$). Un evaluador offline luego califica el estado final contra la recompensa de la tarea heredada (p. ej., de $\tau$-bench). El evaluador no guía al agente ni inspecciona su estado de creencia interno durante el ensayo.

2. Encuadre Teórico

El marco adapta el paradigma de exploración-explotación a este entorno:

• Exploración: La comunicación funciona como exploración sobre el conocimiento particionado por roles. El agente debe actualizar su estado de creencia implícito respecto a la intención del usuario, el conocimiento disponible y las operaciones factibles.
• Explotación: Las acciones ancladas funcionan como explotación, comprometiendo el estado de creencia del agente a operaciones que cambian el estado.
• Finalización: La acción de finalización representa el compromiso del agente de que el objetivo del usuario se ha cumplido. Una finalización prematura indica un desajuste entre la creencia del agente y el estado canónico del entorno.

3. Configuración Experimental: Incognita-Retail

Para validar el marco, los autores transformaron las tareas de $\tau$-bench retail en un entorno de múltiples entidades (Incognita-Retail).

• Tareas: 18 tareas estratificadas por amplitud social (el número de distintas entidades especialistas requeridas por la solución de referencia, que varía de 1 a 6).
• Modelos: Se evaluaron tres modelos de agentes generativos (gpt-5.2, gpt-5.4, gpt-5.5).
• Ensayos: 540 ensayos totales (18 tareas $\times$ 10 repeticiones $\times$ 3 modelos).
• Restricciones: El agente de prueba no recibe pistas explícitas de objetivos o políticas; debe inferir la estructura de la tarea a través de la interacción.

Resultados Clave

1. Tasas de Éxito de la Tarea

El éxito de la tarea anclada sigue siendo escaso incluso para los modelos más fuertes, aunque se observa progreso:

• gpt-5.2: 0% de tasa de éxito en todas las amplitudes sociales.
• gpt-5.4: 8.9% de éxito general (teniendo éxito solo en amplitud social 3 y 4).
• gpt-5.5: 17.2% de éxito general (éxito no nulo en todos los niveles de amplitud, aunque la amplitud 6 permanece casi sin resolver).

2. Cambios de Comportamiento y Modos de Fallo

El estudio revela que la mejora del modelo se manifiesta en cambios de comportamiento antes de lograr un éxito de tarea fiable:

• Finalización Prematura: La tasa de terminación prematura (afirmar la finalización de la tarea antes de las acciones necesarias) disminuyó significativamente:
  • gpt-5.2: 100%
  • gpt-5.4: 87%
  • gpt-5.5: 58%
• Métricas de Exploración y Explotación: Los modelos más fuertes exhibieron:
  • Mayor Cobertura de Divulgación (fracción de campos bloqueados del usuario revelados): 0.06 $\to$ 0.17 $\to$ 0.45.
  • Mayor Tasa de Escritura (fracción de ensayos con escrituras de cambio de estado aceptadas): 0 $\to$ 0.13 $\to$ 0.36.
  • Mayor Amplitud de Contacto con Entidades: Aumentó de 0.30 (gpt-5.2) a 0.68 (gpt-5.4/5.5).

3. Composición de los Fallos

A medida que los modelos mejoraron, los modos de fallo cambiaron de la terminación inmediata a errores más complejos que involucran creencia-entorno, creencia-objetivo y errores de ejecución. Esto indica que los agentes más fuertes pasan más tiempo dentro del régimen de interacción previsto, pero aún luchan con la fiabilidad de la formación de creencias y el anclaje de acciones.

Contribuciones y Significado

El artículo realiza tres contribuciones primarias:

1. Formalización: Formaliza los entornos de tareas socialmente distribuidos como un entorno de evaluación distinto donde el conocimiento está particionado entre participantes aislados por roles, requiriendo que los agentes naveguen la asimetría de información.
2. Marco de Trabajo: Presenta Incognita, un marco que acopla la interacción aislada por roles con la ejecución de estado determinista y la verificación de recompensa offline, separando la formación de creencias de la verificación de resultados.
3. Análisis Empírico: Proporciona un análisis preliminar que muestra que el progreso de los modelos en estos entornos es observable en las métricas de proceso (elicitación de conocimiento, selección de fuentes, intentos de acciones ancladas) incluso cuando las recompensas finales de la tarea siguen siendo bajas.

Significado:
Los autores argumentan que los entornos de tareas socialmente distribuidos exponen el comportamiento del agente antes del éxito fiable de la tarea. Al medir la comunicación, las acciones de cambio de estado y los compromisos de finalización de la tarea dentro de un único entorno anclado, Incognita ofrece un camino para evaluar la agencia colaborativa que va más allá de la calidad del diálogo abierto o el éxito final de la tarea por sí solo. Los hallazgos sugieren que los modelos actuales están comenzando a participar en una búsqueda de conocimiento sostenida y una selección de fuentes más amplia, pero aún existen brechas significativas en la fiabilidad de la formación de creencias y el tiempo de la finalización.