Resumen Técnico: Proceso de Compromiso (EP)

Declaración del Problema

Los avances recientes en modelos de lenguaje grandes (LLM), inteligencia encarnada y agentes aumentados con herramientas han permitido la operación en entornos digitales y físicos cada vez más realistas. Sin embargo, existe una discrepancia fundamental entre la estructura temporal de las acciones y las observaciones en estos entornos. Los formalismos de interacción tradicionales, como los Procesos de Decisión de Markov Parcialmente Observables (POMDP), dependen de épocas de decisión fijas donde una observación se empareja con una única acción instantánea. En la realidad, los agentes a menudo enfrentan:

• Problemas de temporización en el lado de la acción: Latencia de deliberación (por ejemplo, tiempo de razonamiento de un LLM), acciones persistentes (por ejemplo, comandos de navegación) y llamadas a herramientas con resultados retardados.
• Problemas de temporización en el lado de la observación: Llegadas asíncronas o dispersas de mensajes, alarmas y respuestas de herramientas, junto con retroalimentación de sensores continua o multirritmo.

Los enfoques actuales a menudo tratan estos fenómenos temporales como detalles de implementación o los gestionan mediante parches externos (por ejemplo, intervalos de sondeo fijos o reglas de interrupción diseñadas a mano). Esto oscurece la estructura temporal necesaria para que los agentes adapten su comportamiento a los costos temporales explícitos, lo que conduce a políticas subóptimas que pueden sobredeliberar, perder eventos urgentes o fallar en interrumpir procesos en curso de manera efectiva.

Metodología: El Proceso de Compromiso (EP)

Los autores proponen el Proceso de Compromiso (EP), un nuevo formalismo de interacción que hereda la estructura de decisión teórica de los POMDP pero replantea fundamentalmente la interfaz temporal.

Definición Central

Un EP se define sobre una secuencia discreta de ticks $T = \{0, 1, 2, \dots\}$ (extensible a tiempo continuo) y se especifica mediante $E = (S, A, Y, F, O, U)$:

• Estado ($S$): Resume el entorno, los procesos en curso y las condiciones de la interfaz. Puede codificar efectos de acciones persistentes y acceso a observaciones dependiente del estado.
• Acciones como Intervenciones: A diferencia de los POMDP estándar, donde una acción es un control predeterminado en cada tick, el EP trata las acciones como intervenciones temporizadas. El agente selecciona un conjunto de intervenciones $A_t \subseteq A$ (que puede estar vacío o contener múltiples acciones atómicas simultáneas).
• Observaciones como Eventos: Las observaciones se generan desde el proceso de estado como eventos de información $Y_t \subseteq Y$, independientes de los pasos de decisión. Pueden llegar de forma asíncrona, estar vacías o contener múltiples eventos.
• Dinámica: El estado evoluciona como $s_{t+1} \sim F(\cdot | s_t, A_t)$. Crucialmente, el sistema evoluciona incluso cuando $A_t = \emptyset$, permitiendo la modelización de procesos persistentes.
• Utilidad: La utilidad instantánea $u_t$ puede representar recompensas de tareas, así como costos por la ejecución de acciones, sensado, interrupciones y tiempo de deliberación.

Distinciones Clave

• Desacoplamiento: El EP separa el proceso de decisión interno del agente de la temporización externa de las observaciones y las intervenciones. El agente mantiene un estado de información $w_t$ basado en el historial de conjuntos de intervenciones y conjuntos de eventos de observación, lo que le permite rastrear cálculos pendientes, llamadas a herramientas y plazos.
• Reutilización Composicional: La interfaz soporta una organización jerárquica. Los subsistemas dentro de un agente pueden modelarse ellos mismos como procesos similares a EP, donde las llamadas a módulos son intervenciones y los mensajes devueltos son observaciones, todos compartiendo la misma interfaz abstracta.
• Relación con Modelos Existentes:
  • POMDP: Recuperados como un caso especial sincronizado donde cada tick tiene exactamente una acción y una observación.
  • SMDP/Opciones: Representados como EP restringidos donde las intervenciones crean componentes "activos" en el estado, pero el EP permite que las observaciones entren en la interfaz durante la ejecución de estas opciones, no solo al finalizar.

Contribuciones Clave

1. Interfaz Temporal Explícita: El EP proporciona un lenguaje unificado para fenómenos temporales (latencia de deliberación, retroalimentación retardada, acciones persistentes, interrupciones, observaciones multirritmo) que a menudo se tratan por separado o se ocultan en el diseño del estado.
2. Separación de Preocupaciones: Desacopla la interfaz externa de acción-observación de la organización interna del agente, permitiendo que componentes que operan a diferentes frecuencias (por ejemplo, planificadores de alto nivel frente a controladores de bajo nivel) coordinen en una línea de tiempo compartida.
3. Formalismo Unificado: Ofrece una interfaz homogénea tanto para la interacción agente-entorno como para la interacción interna módulo-módulo, facilitando el diseño composicional sin requerir interfaces separadas para cada límite.

Resultados Experimentales

Los autores evalúan el EP en tres escenarios:

1. Experimentos de Juguetes

• Deliberación Consciente de la Urgencia: En tareas donde la precisión del razonamiento mejora con el tiempo pero consume un plazo, las políticas entrenadas con EP aprenden a equilibrar la profundidad de cálculo contra la urgencia. Por el contrario, las políticas entrenadas por pasos (que tratan la deliberación como instantánea) abusan del modo más lento y preciso, lo que conduce a altas tasas de agotamiento del tiempo (79.0% frente a 0.0% para EP en configuraciones de tarea única).
• Patrulla Jerárquica con Interrupciones: En una tarea de patrulla con alarmas asíncronas, el EP permite que el agente interrumpa rutinas de navegación o manejo en curso inmediatamente al llegar una alarma.
  • Nivel de Módulo: El EP resuelve el 90.9% de las alarmas en comparación con el 51.5% de una línea base que solo decide en los límites del módulo.
  • Nivel de Estado: El EP supera a los parches escritos a mano y a las líneas base basadas en límites al aprender compensaciones entre urgencia, distancia, progreso de fase y costos de interrupción, logrando retornos significativamente más altos y tasas de expiración más bajas.

2. Experimentos Basados en LLM

• Asistente Digital (Correos Electrónicos Asíncronos): Un agente debe completar una tarea principal mientras gestiona correos electrónicos sensibles al tiempo.
  • EP trata la generación de la tarea principal como una acción interrumpible, permitiendo que el agente triaje los correos electrónicos a medida que llegan.
  • Líneas Base: AgentLoop (sincronizado) pierde muchos plazos; Periodic Poll mejora pero está limitado por intervalos fijos.
  • Resultado: EP logra la mayor utilidad y puntuaciones equilibradas, reduciendo las tasas de agotamiento de tiempo de los correos electrónicos en ~40% en relación con AgentLoop y reduciendo la latencia de primera respuesta casi a la mitad.
• Programación Encarnada: Un agente coordina procesos de tutoría y cocina.
  • EP expone las señales de cocina inmediatamente durante la tutoría, permitiendo que el agente decida si interrumpir, diferir o continuar.
  • Resultado: EP logra la mayor utilidad y tasas de éxito de platos críticos, superando a las líneas base basadas en sondeo y de reflejos del lado del motor, particularmente en escenarios de múltiples platos con plazos superpuestos.

3. Entrenamiento de LLM Consciente del Tiempo

• Los autores entrenaron modelos de razonamiento (Qwen3-8B) en problemas matemáticos con presupuestos de tokens explícitos e instrucciones de urgencia.
• Entrenamiento Consciente de EP: Las recompensas se otorgan solo si la respuesta es correcta y está dentro del presupuesto de tokens.
• Resultado: Los modelos conscientes de EP aprenden a adaptar la longitud de generación al presupuesto (por ejemplo, generando ~420 tokens para un presupuesto de 1k frente a ~1400 para un presupuesto de 8k). Por el contrario, los modelos de RL solo de corrección (RLVR) mejoran la precisión pero no respetan los presupuestos, generando a menudo muchos más tokens de los permitidos.

Significado y Afirmaciones

El artículo afirma que el Proceso de Compromiso no busca una mayor expresividad del espacio de estados que los POMDP aumentados. En cambio, su contribución principal es una interfaz temporal explícita que desacopla las acciones y las observaciones en una línea de tiempo compartida.

• Alcance Moderado: El EP se presenta como un formalismo de interacción, no como una arquitectura de agente específica o un algoritmo de aprendizaje. Deja la gestión de memoria, la programación y el aprendizaje de políticas a los sistemas construidos sobre él.
• Valor Central: Al hacer explícito el tiempo en la interfaz, el EP expone estructuras temporales (como la latencia de deliberación y la retroalimentación asíncrona) que a menudo están ocultas en las formulaciones estándar basadas en pasos. Esto permite que los agentes se adapten a costos temporales explícitos, manejen interrupciones con mayor flexibilidad y compongan subsistemas con dinámicas temporales heterogéneas sin depender de parches externos o calendarios de sondeo rígidos.
• Trabajo Futuro: Los autores sugieren que las direcciones futuras incluyen arquitecturas conscientes de EP, formulaciones de tiempo continuo más ricas y evaluaciones a mayor escala en entornos encarnados, jerárquicos y multiagente.