Resumen Técnico: Memoria Adaptativa al Estado (SAM) para Agentes de Razonamiento de Largo Alcance

Enunciado del Problema

El razonamiento agencial de largo alcance requiere que los Modelos de Lenguaje Grandes (LLM) operen sobre historias de interacción extendidas que contienen pensamientos entrelazados, llamadas a herramientas, observaciones y conclusiones parciales. El desafío principal no es meramente el aumento de la longitud de estas historias, sino el hecho de que la información crítica para una decisión actual puede estar dispersa a través de pasos distantes y solo volverse relevante más adelante en la trayectoria.

Las estrategias existentes de gestión de contexto —como truncar la historia, comprimirla en resúmenes o recuperar partes seleccionadas— a menudo fallan en estos escenarios. Estos métodos dependen típicamente de la recencia o de ventanas de tamaño fijo, lo cual es insuficiente cuando la información útil se distribuye a través de pasos no adyacentes y su importancia solo se hace aparente a medida que la tarea se desarrolla. El artículo argumenta que la dificultad central radica en organizar las trayectorias pasadas de modo que la información correcta permanezca accesible para el estado de decisión actual del agente, en lugar de simplemente mantener todo el pasado a la vista o descartarlo basándose en un presupuesto estático.

Metodología: Memoria Adaptativa al Estado (SAM)

Los autores proponen Memoria Adaptativa al Estado (SAM), un marco independiente diseñado para tratar el razonamiento de largo alcance como un problema de memoria adaptativa al estado. SAM desacopla la columna vertebral de razonamiento del agente de su gestión de memoria, permitiendo que el módulo de memoria se optimice de forma independiente sin reentrenar al agente subyacente.

Arquitectura Central

SAM mantiene dos vistas acopladas de la historia de interacción:

1. Pistas de Memoria Compactas: Resúmenes ligeros que permanecen visibles en el contexto activo del agente. Estas actúan como manejadores persistentes o puntos de entrada al progreso pasado.
2. Páginas de Trayectoria Cruda: Registros detallados de interacción almacenados externamente, preservando la fidelidad completa de la trayectoria original.

El marco opera a través de un proceso de Consolidación Episódica Basada en Páginas y Recuperación Episódica Impulsada por Intención:

• Consolidación (Ruta de Escritura): A medida que el contexto en vivo del agente alcanza un presupuesto de tokens predefinido, la trayectoria reciente se divide en "páginas" contiguas. Un modelo de memoria genera una pista compacta ($m_k$) para cada página, capturando contribuciones relevantes para la continuación (por ejemplo, qué se estableció, qué se descartó, qué permanece sin resolver). Luego, la página cruda se elimina del contexto activo y se almacena externamente, mientras que la pista se retiene en un banco de memoria.
• Recuperación (Ruta de Lectura): Cuando el agente necesita revisar el pasado, emite una solicitud de recuperación con una intención específica ($q_t$). El agente selecciona un subconjunto de pistas relevantes basado en su estado actual. El modelo de memoria luego reconstruye la información relevante para la decisión a partir de las páginas crudas correspondientes, condicionado a la intención de recuperación. Esto permite al agente acceder a información temporalmente distante bajo demanda sin reproducir toda la historia literalmente.

Estrategia de Optimización

SAM se optimiza como una capacidad independiente a través de un proceso de dos etapas, manteniendo la columna vertebral del agente congelada:

1. Ajuste Fino Supervisado Guiado por Expertos (SFT): El modelo de memoria (inicializado como Qwen3.5-9B) se entrena sobre trazas de LLMs líderes (por ejemplo, Claude-4.5-Opus, GPT-5.4) que resolvieron tareas con éxito. Esto proporciona objetivos emparejados tanto para la consolidación (generación de pistas) como para la recuperación impulsada por intención (reconstrucción de información).
2. OAT-GRPO (Tree GRPO Anclado a Oráculo): Para alinear el modelo de memoria con la utilidad a nivel de trayectoria, los autores introducen un objetivo de aprendizaje por refuerzo especializado.
   • Recompensa de Resultado Estructurada en Árbol: A diferencia del GRPO estándar, que asigna una sola recompensa a una ejecución completa, OAT-GRPO estructura las ejecuciones como un árbol de llamadas de memoria. Se ramifica en cada acción de memoria, permitiendo que la asignación de crédito se localice en salidas de memoria específicas basadas en el resultado final de la tarea.
   • Recompensa de Recuperabilidad Anclada a Oráculo: Para abordar la escasez de señales de resultado, se calcula una recompensa de "oráculo" utilizando un comité de modelos de vanguardia. Esta recompensa evalúa qué tan bien un resumen recuperado cubre el espacio objetivo de información útil (relevancia, cobertura, consistencia) en relación con referencias de expertos, densificando la señal de aprendizaje.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Formulación: Replantea la gestión de contexto de largo alcance como un problema de memoria adaptativa al estado, priorizando el acceso impulsado por la demanda a información temporalmente distante sobre la compresión simple basada en recencia.
2. Arquitectura: Introduce una arquitectura de memoria de pista-página que desacopla la consolidación ligera en tiempo de escritura de la reconstrucción en tiempo de lectura condicionada a la intención sobre páginas de trayectoria cruda preservadas.
3. Receta de Optimización: Desarrolla una tubería de entrenamiento para modelos de memoria independientes que combina supervisión guiada por expertos con OAT-GRPO, un objetivo de RL a nivel de acción de memoria que asigna crédito a través de árboles de llamadas de memoria y recompensas de recuperabilidad ancladas a oráculo.

Resultados Experimentales

SAM fue evaluado en cuatro puntos de referencia de agentes de largo alcance: BrowseComp, BrowseComp-ZH, WideSearch y HLE. Los experimentos utilizaron columnas vertebrales de agentes diversas, incluidos modelos propietarios (GLM-4.7) y de código abierto (Qwen3.5-35B-A3B).

• Rendimiento: SAM superó consistentemente a líneas base fuertes, incluidas estrategias de gestión de contexto heurísticas (descartar herramientas, mantener los $k$ pasos recientes, resúmenes deslizantes) y sistemas de agentes de código abierto existentes (WebThinker, WebSailor, ReSum, etc.).
• Generalización: Un único modelo de memoria Qwen3.5-9B, entrenado una vez, logró las puntuaciones más altas en todas las combinaciones de columna vertebral-punto de referencia, demostrando que el mecanismo de memoria es robusto y generalizable en lugar de depender de acoplamientos específicos entre columna vertebral y punto de referencia.
• Estudios de Ablación:
  • Se encontró que ambas etapas, SFT y OAT-GRPO, son complementarias; eliminar cualquiera de ellas resultó en caídas de rendimiento.
  • Las ganancias se atribuyeron principalmente a la recuperación impulsada por intención en lugar de a la consolidación por sí sola. Las variantes que utilizaban solo resúmenes o recuperación basada en recencia funcionaron significativamente peor.
  • SAM mantuvo su ventaja incluso a medida que aumentaban las rondas de interacción (por ejemplo, más allá de 80 rondas), donde los métodos basados en resúmenes comenzaron a perder estado útil.

Significado y Afirmaciones

El artículo afirma que el modelado explícito de memoria proporciona una base simple y efectiva para el razonamiento agencial de largo alcance. Al tratar la memoria como una capacidad externa y reutilizable que consolida la interacción en entradas navegables mientras preserva datos crudos para la reconstrucción, SAM permite a los agentes recuperar información de etapas arbitrarias de su trayectoria sin reentrenar la columna vertebral subyacente.

Los autores posicionan a SAM no como un reemplazo de la política de razonamiento del agente, sino como un componente modular que transforma la historia de largo alcance de una carga pasiva a un espacio de memoria navegable. Los resultados sugieren que la capacidad de acceder a la información pasada correcta para el estado de decisión actual es un factor crítico, aunque a menudo pasado por alto, en la escalabilidad del razonamiento agencial. El trabajo se presenta como un paso hacia sistemas de memoria modulares para agentes cada vez más capaces, con el código disponible para investigación futura.