Resumen Técnico: Evolución de Contexto Unificada para Agentes LLM

Declaración del Probleceso

Los agentes de Modelos de Lenguaje Extensos (LLM) sobresalen en la resolución de tareas interactivas de múltiples pasos al intercalar el razonamiento con la retroalimentación del entorno. Sin embargo, persiste una limitación crítica: cada episodio de tarea comienza con un contexto fijo (instrucciones del sistema, demostraciones de pocos disparos o few-shot), lo que hace que cualquier estrategia o conocimiento descubierto durante un episodio específico sea efímero. Una vez que la tarea concluye, estos descubrimientos se pierden.

Los enfoques existentes para este problema de "olvido" se dividen en dos categorías, ambas con desventajas significativas:

1. Aprendizaje por Refuerzo (RL): Métodos que actualizan los pesos del modelo mediante el descenso de gradiente. Aunque son efectivos, requieren acceso a los parámetros del modelo e infraestructura computacional sustancial, lo que los hace inaplicables a los LLM de código cerrado.
2. Adaptación dentro de la Tarea: Métodos como la autocrítica verbal (Reflexion) o el refinamiento iterativo (Self-Refine) que mejoran el rendimiento durante una sola tarea, pero descartan las mejoras una vez que la tarea termina.
3. Bibliotecas de Conocimiento Trans-tarea: Sistemas que acumulan conocimiento a través de diversas tareas, pero que a menudo almacenan el conocimiento en depósitos no tipados (mezclando todos los conocimientos) o se centran en un solo tipo de conocimiento (por ejemplo, solo habilidades o solo flujos de trabajo). Además, estos sistemas suelen depender de una evaluación de un solo disparo para juzgar la calidad del conocimiento en lugar de rastrear su utilidad mediante el uso repetido.

El desafío central abordado es cómo mantener una biblioteca de conocimiento persistente y evolutiva que distinga entre diferentes tipos funcionales de conocimiento, rastree la calidad a través del uso y asigne dinámicamente los recursos de generación a las áreas más débiles de la biblioteca, todo ello sin actualizar los pesos del LLM subyacente.

Metodología: Evolución de Contexto Unificada (UCE)

Los autores proponen la Evolución de Contexto Unificada (UCE), un marco libre de gradientes donde el propio contexto del agente se convierte en el lugar del aprendizaje. UCE externaliza la experiencia del agente en una biblioteca evolutiva de Unidades de Contexto Evolucionables (ECU).

1. Unidades de Contexto Evolucionables (ECUs)

La biblioteca descompone la experiencia en cuatro entradas de conocimiento funcionalmente complementarias y tipadas:

• Memoria (Memory): Afirmaciones fácticas sobre mecanismos del entorno descubiertos mediante ensayo y error dentro de una única instancia de tarea (p. ej., "Un fregadero puede limpiar objetos sin necesidad de activar un grifo").
• Estrategia (Strategy): Reglas de decisión condicionales (SI-ENTONCES) para puntos de ramificación dentro de un tipo de tarea específico (p. ej., "Si 'poner' falla, abre el receptáculo e intenta de nuevo").
• Flujo de Trabajo (Workflow): Secuencias de ejecución canónicas generalizadas para un tipo de tarea específico (p. ej., "Buscar objetivo $\to$ Transformar $\to$ Colocar en el receptáculo").
• Habilidad (Skill): Suboperaciones multi-paso reutilizables aplicables a diferentes tipos de tareas (p. ej., "Buscar receptáculos, abrir contenedores, tomar el objetivo").

Cada ECU es una tupla $(z_e, \tau_e, w_e, c_e, f_e)$, donde $z_e$ es el tipo, $\tau_e$ es el tipo de tarea aplicable, $w_e$ es una condición de recuperación, $c_e$ es el contenido inyectado y $f_e$ es una puntuación de aptitud (fitness score).

2. Ciclo de Vida y Recuperación

El marco opera en ciclos de evolución, cada uno de los cuales consta de cinco fases:

• Evaluar (Evaluate): El agente se ejecuta en un conjunto de evaluación mantenido fuera (held-out) utilizando la biblioteca actual. Se registran las tasas de éxito, pero no se actualizan las puntuaciones de aptitud para evitar la fuga de datos.
• Recolectar (Collect): El agente se ejecuta en un conjunto de recolección disjunto. Las trayectorias se almacenan y las puntuaciones de aptitud se actualizan basadas en los resultados.
• Programar (Schedule - Knowledge Yield Scheduling - KYS): Un módulo analiza el estado de la biblioteca (brechas de cobertura, distribuciones de aptitud) para asignar un presupuesto de generación ($B$) entre los cuatro tipos de ECU. Prioriza los tipos donde la biblioteca es más débil (p. ej., tipos de tareas no cubiertos o baja aptitud promedio).
• Generar (Generate): Generadores específicos de tipo destilan ECUs candidatas a partir de las trayectorias recolectadas. Crucialmente, los generadores utilizan una prueba de reordenamiento (reshuffle test) para filtrar observaciones específicas de la instancia (p. ej., "La patata está en el Mostrador 1") en favor de mecanismos generalizables (p. ej., "La nevera funciona cuando está cerrada"). También utilizan la retroalimentación de calidad de las ECUs de alta y baja aptitud para guiar la generación.
• Limpiar (Cleanup): Las ECUs de bajo valor o redundantes se podan. Una puntuación de aptitud con suavizado de Laplace ($f_e = \frac{s_e + 1}{u_e + 2}$) rastrea la contribución empírica, donde $s_e$ es el crédito de resultado acumulado y $u_e$ es el recuento de uso.

La recuperación ocurre en el momento de la decisión. Un recuperador puntúa las ECUs basándose en la similitud semántica con la descripción de la tarea, un impulso por coincidencia de tipo de tarea y la puntuación de aptitud de la ECU. Las $K$ mejores ECUs por tipo se inyectan en secciones dedicadas del prompt del sistema del agente.

Contribuciones Clave

1. Representación de Conocimiento Tipificado: La introducción de las ECUs, que descomponen la experiencia del agente en cuatro tipos distintos y funcionalmente complementarios (Memoria, Estrategia, Flujo de Trabajo, Habilidad), cada uno con condiciones de generación y límites de recuperación independientes.
2. Marco de Evolución de Contexto Unificada: Un sistema completo de gestión del ciclo de vida que cuenta con la Programación de Rendimiento de Conocimiento (KYS) para asignar dinámicamente los recursos de generación y una puntuación de aptitud basada en el uso para rastrear la calidad mediante la aplicación repetida en lugar de una extracción de un solo disparo.
3. Validación Empírica: Demostración de que UCE mejora significamente el rendimiento de los agentes en pruebas de referencia interactivas y que la biblioteca de conocimiento acumulada es transferible a diferentes arquitecturas de razonamiento (p. ej., ReAct, Plan-and-Act, NoThinking) sin necesidad de reentrenar los modelos.

Resultados Experimentales

El marco fue evaluado en dos entornos de referencia interactivos basados en texto: ALFWorld (tareas domésticas) y WebShop (compras en línea).

• Ganancias de Rendimiento:
  • ALFWorld: UCE aumentó la tasa de éxito general del 75.4% (línea base ReAct) al 96.3% en su punto máximo. Se observaron mejoras significativas en tipos de tareas más débiles, como "Mirar" (50.0% $\to$ 100.0%).
  • WebShop: UCE mejoró la puntuación media de la tarea del 45.1% al 61.3% y la tasa de éxito de compra del 30.0% al 42.0%.
• Transferibilidad: La biblioteca de ECUs generada por UCE se transfirió con éxito a arquitecturas de actor alternativas. Por ejemplo, aplicar la biblioteca UCE al componente base "Plan-and-Act" elevó su tasa de éxito del 73.1% al 97.8%.
• Estudios de Ablación:
  • En ALFWorld, las ECUs de Flujo de Trabajo por sí solas representaron la mayor parte de las ganancias, lo que sugiere que los esqueletos procedimentales son altamente efectivos para este dominio.
  • En WebShop, ningún tipo de ECU por sí solo igualó el rendimiento de la biblioteca completa. La tarea de compra requirió una combinación de Flujo de Trabajo (guía procedimental), Estrategia (recuperación de trampas de navegación) y Memoria (hechos sobre mecanismos de página), resaltando la necesidad del enfoque de múltiples tipos.
• Significancia Estadística: Las mejoras sobre la línea base ReAct fueron estadísticamente significativas ($p < 0.05$) en ambos entornos de prueba.

Significado y Reivindicaciones

El artículo afirma que UCE ofrece una alternativa práctica y libre de gradientes al aprendizaje por refuerzo para mejorar los agentes de LLM, particularmente para modelos de código cerrado donde las actualizaciones de pesos son imposibles. Al tratar el contexto como una entidad aprendible y evolutiva, UCE cierra la brecha entre la ejecución de tareas aisladas y el aprendizaje persistente.

Los autores enfatizan que la capacidad del marco para distinguir tipos de conocimiento y rastrear la calidad a través del uso aborda limitaciones específicas de los sistemas de conocimiento trans-tarea previos, que a menudo tratan todos los conocimientos como iguales o no logran adaptar los recursos de generación basados en la madurez de la biblioteca. Los resultados sugieren que para tareas interactivas, el "qué saber" (contexto recuperado) es tan crítico como el "cómo actuar" (arquitectura de razonamiento), y que una biblioteca estructurada y evolutiva puede capturar y reutilar eficazmente el "cómo saber" derivado de la experiencia.

El artículo mantiene la modestia respecto a las implicaciones futuras, señalando que los tipos actuales de ECU están diseñados a mano y que la escalabilidad del marco a conjuntos de tareas más grandes o espacios de acción continuos (p. ej., AndroidWorld) sigue siendo una cuestión abierta. También reconoce que la evaluación actual depende de pares de modelos específicos y espacios de acción discretos, dejando el desentrelazamiento del diseño del marco frente a la capacidad del generador como un tema de investigación futura.