Memory as Action: Autonomous Context Curation for Long-Horizon Agentic Tasks

El artículo presenta Memoria-como-Acción (MemAct), un marco que trata la gestión de la memoria de trabajo como acciones de política aprendibles optimizadas mediante aprendizaje por refuerzo, permitiendo que un modelo de 14B iguale el rendimiento de modelos mucho más grandes mientras reduce significativamente la longitud del contexto mediante la curación dinámica e in situ del contexto.

Lo esencial

Imagina que estás intentando resolver un misterio masivo y de múltiples pasos. Tienes un detective (la IA) y una pizarra gigante (la memoria del ordenador) donde anotas cada pista, conversación y proceso de pensamiento.

El Problema: La "Pizarra Desordenada"
En la IA tradicional, a medida que el detective trabaja, simplemente sigue añadiendo notas a la pizarra. Eventualmente, la pizarra está tan cubierta de garabatos que el detective ya no puede encontrar las pistas importantes. Se abruma, olvida el inicio del caso y empieza a cometer errores. Esto se llama "dilución de la atención".

Las soluciones actuales intentan arreglar esto haciendo que un "conserje" separado vigile la pizarra. El conserje sigue un manual de instrucciones estricto: "Si la pizarra se llena demasiado, borra las notas más antiguas". Pero el conserje no entiende el misterio. Podría borrar accidentalmente una pista crucial solo porque fue escrita temprano, o podría dejar garabatos inútiles que distraen al detective.

La Solución: "Memoria-como-Acción" (MemAct)
Los autores de este artículo proponen una nueva forma: El detective se convierte en su propio conserje.

En lugar de un robot separado gestionando la pizarra, el detective aprende a decidir cuándo limpiar y qué guardar. Tratan "limpiar la pizarra" como una herramienta específica que pueden usar, igual que usan una lupa o un teléfono para buscar pistas.

Así es como funciona, usando analogías sencillas:

1. La Herramienta "Podar y Escribir"

Imagina que el detective tiene un borrador mágico especial y un rotulador fluorescente.

• La Acción: Cuando el detective siente que la pizarra se está volviendo demasiado desordenada, no espera a una señal. Elige activamente usar su herramienta.
• El Proceso: Mira sus notas antiguas, dice: "Estas tres páginas son solo ruido de fondo", y las borra. Luego, toma los hechos más importantes de esas páginas, los resume en una sola oración clara y escribe ese resumen en la parte superior de la pizarra.
• El Resultado: La pizarra se mantiene pequeña y enfocada, pero el detective nunca pierde los hechos críticos.

2. Aprendiendo Haciendo (El Entrenamiento)

No puedes simplemente decirle a un detective que "sea inteligente al limpiar". Tiene que aprenderlo.

• Los investigadores entrenaron a la IA usando un método llamado Aprendizaje por Refuerzo. Piensa en esto como un videojuego.
• La IA juega al juego (resuelve el misterio).
• Si resuelve el misterio correctamente, obtiene un "punto" (recompensa).
• Si se confunde porque la pizarra estaba demasiado desordenada, recibe una "penalización".
• Tras miles de intentos, la IA aprende: "Oye, resolví el rompecabezas más rápido cuando borré esas notas antiguas y las resumí. Debería hacer eso más a menudo".

3. La Solución "Viaje en el Tiempo" (DCPO)

Había un problema técnico complicado. En el entrenamiento normal de la IA, el ordenador asume que la historia siempre avanza en línea recta. Pero cuando la IA borra notas antiguas, es como cambiar el pasado. Esto confunde el proceso de aprendizaje del ordenador.

Los autores inventaron un truco inteligente llamado Optimización de Política de Contexto Dinámico (DCPO).

• La Analogía: Imagina que estás filmando una película, pero el actor sigue reescribiendo el guion en medio de una escena. El director (el ordenador) se confunde sobre lo que sucedió antes.
• La Solución: En lugar de intentar filmar toda la película de una sola vez, el director corta la película en escenas pequeñas y lógicas. Cada escena comienza con una pizarra limpia (el resumen actual) y desarrolla un nuevo segmento. De esta manera, el actor puede aprender a editar el guion sin romper la lógica de la historia.

Los Resultados: Pequeño pero Poderoso

El artículo probó a este nuevo "Detective Autolimpiable" contra otros modelos.

• El Modelo Grande: Lo compararon con una IA masiva y supercara (como una biblioteca gigante con 235 mil millones de libros).
• El Modelo Pequeño: Utilizaron una IA mucho más pequeña y barata (14 mil millones de libros).
• El Resultado: La IA pequeña con la habilidad de "Autolimpieza" funcionó tan bien como la biblioteca gigante, pero utilizó la mitad del espacio de memoria.
  • Fue más rápida.
  • Fue más barata de ejecutar.
  • No se confundió con sus propias notas.

Por Qué Esto Importa (Según el Artículo)

El artículo afirma que al enseñar a la IA a gestionar su propia memoria, no necesitamos construir ordenadores cada vez más grandes para resolver problemas más difíciles. En su lugar, podemos enseñar a agentes más pequeños e inteligentes a mantener su "memoria de trabajo" enfocada y eficiente, igual que un experto humano que sabe cómo organizar su escritorio para pensar con claridad.

En resumen: El artículo enseña a la IA a dejar de acumular cada pieza de información y empezar a curar sus propios pensamientos, permitiéndole resolver problemas complejos a largo plazo sin perderse en el ruido.

Resumen técnico

Resumen Técnico: Memoria como Acción (MemAct)

1. Declaración del Problema

Las tareas agénticas de largo horizonte (por ejemplo, investigación profunda, ingeniería de software) requieren que los Modelos de Lenguaje Grandes (LLM) mantengan extensos historiales de interacción. Sin embargo, la acumulación de contexto sin gestión conduce a la dilución de la atención y al fenómeno "perdido en el medio", donde señales críticas quedan enterradas por información irrelevante.

Los enfoques actuales para gestionar esta "memoria de trabajo" (el contexto de entrada) sufren dos limitaciones principales:

1. Heurísticas Externas: La mayoría de los métodos dependen de reglas fijas o controladores externos (por ejemplo, ventanas deslizantes, resumen periódico) que desacoplan la gestión de la memoria de la política de razonamiento del agente. Esto impide la optimización de extremo a extremo de la retención de información frente al rendimiento de la tarea.
2. Desajuste de Entrenamiento: Aunque se ha propuesto el Aprendizaje por Refuerzo (RL) para internalizar la memoria, los LLM causales estándar asumen un crecimiento monótono del contexto. Las actualizaciones dinámicas del contexto (borrar o insertar tokens) rompen esta suposición, provocando un desajuste entre los estados de entrenamiento y las trayectorias de inferencia, lo que conduce a una asignación de crédito sesgada y una optimización inestable.

El desafío central es la Curación de Contexto: la selección, integración y poda estratégica de la información para mantener un rastro de razonamiento enfocado sin sacrificar la integridad del proceso de toma de decisiones del agente.

2. Metodología: Memoria como Acción (MemAct)

Los autores proponen MemAct, un marco que reconceptualiza la gestión del contexto como un primitivo intrínseco y aprendible dentro del espacio de políticas del agente.

2.1 Espacio de Políticas Unificado

En lugar de tratar la memoria como un búfer pasivo, MemAct integra la gestión de la memoria directamente en el espacio de acciones $\mathcal{A} = \mathcal{A}_{task} \cup \mathcal{A}_{mem}$.

• Acciones de Tarea ($\mathcal{A}_{task}$): Interacciones estándar (por ejemplo, búsqueda, uso de herramientas).
• Acciones de Memoria ($\mathcal{A}_{mem}$): El operador Prune&Write (Podar y Escribir). Esto permite al agente:
  1. Podar: Eliminar selectivamente giros históricos específicos identificados por IDs únicos ($I_{target}$).
  2. Escribir: Sintetizar una nueva nota de memoria ($c$) que contenga resúmenes, reflexiones o hechos clave para mantener la continuidad del razonamiento.
  3. Anexar: La acción de memoria en sí misma se anexa al contexto, haciendo que el resumen sea direccionable para operaciones futuras.

2.2 Formulación MDP

La interacción se modela como un Proceso de Decisión de Markov (MDP):

• Estado ($s_t$): Una secuencia de registros de interacción direccionables de forma única $H_t = [z_1, \dots, z_k]$, donde cada registro incluye una acción, una observación y un ID único.
• Transición:
  • Acción de Tarea: Anexe nuevos $(a, o)$ al historial.
  • Acción de Memoria: Filtra el historial basado en $I_{target}$ y anexa el contenido de memoria sintetizado.
• Objetivo: Aprender una política $\pi_\theta$ que maximice la recompensa acumulada, equilibrando el éxito de la tarea con la eficiencia del contexto.

2.3 Optimización de Política de Contexto Dinámico (DCPO)

Para abordar la inestabilidad del entrenamiento causada por las actualizaciones de contexto no monótonas, los autores introducen DCPO.

• El Problema: En los LLM causales, las representaciones de tokens dependen de todos los tokens precedentes. Eliminar un token altera físicamente la estructura causal de los tokens subsiguientes, creando un desajuste entre la trayectoria de entrenamiento (que asume un prefijo fijo) y el estado de inferencia editado. El enmascaramiento de atención simple falla porque la caché KV de los tokens subsiguientes ya codifica la información "eliminada".
• La Solución: DCPO segmenta lógicamente la trayectoria de entrenamiento en cada punto de edición de memoria.
  • La trayectoria se divide en segmentos independientes $\{\sigma_i\}$, donde cada segmento tiene un prefijo de contexto fijo $C_i$ y una secuencia generada $y_i$.
  • Durante el entrenamiento, la política se optimiza en estos segmentos lógicamente consistentes utilizando una estrategia round-robin.
  • Esto restaura la estructura causal requerida para un cálculo estable de gradientes sin requerir modificaciones específicas para la infraestructura estándar de RL.

3. Contribuciones Clave

1. Cambio de Paradigma: Mover la gestión de la memoria de trabajo desde mecanismos externos y basados en heurísticas hacia una capacidad de política intrínseca y aprendible. Esto permite que los agentes decidan autónomamente cuándo y cómo curar el contexto.
2. Innovación Técnica:
   • Operador Prune&Write: Un mecanismo de edición direccionable y de grano fino que permite la eliminación quirúrgica del historial y la síntesis de nuevo contexto.
   • Algoritmo DCPO: Un método de segmentación de trayectorias que reconcilia las actualizaciones dinámicas del contexto con el entrenamiento eficiente de RL en LLM causales estándar.
3. Validación Empírica: Demostración de que las estrategias de memoria aprendidas son eficientes, adaptables y generalizables a través de complejidades de tareas y escalas de modelos.

4. Resultados Experimentales

Los autores evaluaron MemAct en puntos de referencia de objetivo único (por ejemplo, 2WikiMultihopQA, HotpotQA) y de múltiples objetivos (hasta 8 subpreguntas).

• Rendimiento vs. Eficiencia: MemAct-RL-14B (14 mil millones de parámetros) alcanza una precisión del 59.1% en tareas de múltiples objetivos. Esto iguala o supera el rendimiento de Qwen3-235B (53.1%) y Tongyi-DeepResearch especializado (56.0%), a pesar de ser 16 veces más pequeño.
• Reducción de Contexto: MemAct-RL-14B reduce la longitud promedio del contexto por paso en un 51% (operando con ~3,500 tokens frente a ~7,000+ para las líneas base) y reduce el consumo total de tokens en un 51% en comparación con Qwen3-235B.
• Latencia: Debido a tamaños de contexto más pequeños y actualizaciones de memoria dispersas, MemAct reduce la latencia de inferencia en un 40% en comparación con Search-R1-14B, principalmente al mejorar las tasas de acierto de la caché de prefijos y reducir la sobrecarga de pre-llenado.
• Generalización: Los modelos entrenados en tareas con hasta 3 objetivos se generalizan efectivamente a tareas con 8 objetivos, superando a las líneas base que sufren saturación de rendimiento a medida que aumenta la complejidad.
• Estrategias Adaptativas:
  • Modelos de 7B: Aprenden a podar de manera más agresiva (eliminando ~6-7 registros por acción) para compensar la capacidad limitada.
  • Modelos de 14B: Desarrollan una estrategia bimodal, realizando poda de grano fino durante el razonamiento y poda de grano grueso después de la finalización de subobjetivos.

5. Significado y Afirmaciones

El artículo postula que la curación de contexto autónoma es una capacidad fundamental, escalable e intrínseca al modelo. Al tratar la gestión de la memoria como una acción, los agentes pueden aprender a equilibrar la eficiencia del contexto con la profundidad del razonamiento, superando las limitaciones de los enfoques basados en ventanas fijas o heurísticas.

Los autores afirman que MemAct establece una nueva frontera de Pareto para el compromiso entre precisión y eficiencia. Crucialmente, el marco demuestra que los modelos pueden descubrir estrategias especializadas y conscientes de la capacidad sin intervención humana, sugiriendo que la gestión de la memoria puede internalizarse como una habilidad aprendible en lugar de una restricción a nivel de sistema.

6. Limitaciones

Los autores reconocen varias restricciones:

• Recompensas Dispersas: La dependencia de recompensas terminales hace difícil la asignación de crédito precisa para acciones de memoria específicas.
• Compresión con Pérdida: El resumen es inherentemente con pérdida; una vez que se podan los detalles, no pueden recuperarse, lo que podría llevar a alucinaciones si la evidencia crítica se descarta prematuramente.
• Eficiencia de Entrenamiento: La optimización actual utiliza muestreo aleatorio de segmentos, lo que puede asignar recursos a partes menos informativas de la trayectoria.
• Infraestructura: El enfoque está diseñado como una interfaz de capa de decisión y es complementario, en lugar de un reemplazo, para la infraestructura a nivel de sistema (por ejemplo, almacenes de vectores externos).

El artículo concluye que, aunque persisten desafíos, el paradigma MemAct ofrece un enfoque principiado para resolver el problema "perdido en el medio" y escalar el comportamiento agéntico en el razonamiento de largo horizonte.