🤖 AI

CoEvo-Mem: Co-Evolving Retrieval Policy and Memory Bank for LLM Agents

CoEvo-Mem es un marco de bucle cerrado que optimiza simultáneamente las políticas de recuperación y la evolución del banco de memoria mediante actualizaciones alternas y retroalimentación condicionada por la trayectoria, logrando un rendimiento de vanguardia en diversos bancos de pruebas al abordar la interdependencia fundamental entre el acceso y el refinamiento de la memoria en agentes de LLM a largo plazo.

Autores originales: Bowen Ye, Yongchao Xu, Zhijian Li, Xiang Yin, Junkai Ma, Wenzhao Li

Publicado 2026-08-04

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bowen Ye, Yongchao Xu, Zhijian Li, Xiang Yin, Junkai Ma, Wenzhao Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot brillante pero olvidadizo a jugar un videojuego complejo. El robot tiene un cerebro masivo (un Modelo de Lenguaje Extenso) que sabe hablar y pensar, pero solo puede retener una cantidad minúscula de información en su "memoria de trabajo" a la vez; es como intentar resolver un rompecabezas viendo solo las últimas tres piezas. Para jugar bien a largo plazo, el robot necesita una biblioteca de experiencias pasadas para consultar. Aquí es donde entra en juego la Generación Aumentada por Recuperación (RAG): es como si el robot le preguntara al bibliotecario: "Oye, ¿hemos visto un rompecabezas como este antes?".

Pero aquí está la parte difícil: el robot necesita dos cosas para funcionar perfectamente. Primero, necesita un Bibliotecario (la política de recuperación) que sea realmente bueno encontrando las notas correctas para la pregunta actual. Segundo, necesita un Tomador de Notas (el banco de memoria) que sea bueno organizando esas notas, decidiendo cuáles son realmente útiles y actualizándolas a medida que el juego se vuelve más difícil. Durante mucho tiempo, los científicos intentaron hacer al Bibliotecario más inteligente manteniendo al Tomador de Notas estático, o hicieron al Tomador de Notas mejor manteniendo al Bibliotecario igual. Pero, ¿qué pasaría si el Bibliotecario necesita saber cómo están organizadas las notas para encontrarlas, y el Tomador de Notas necesita saber qué está buscando el Bibliotecario para organizarlas mejor? Necesitan aprender juntos, en un bucle.

Esto es exactamente lo que explora el artículo CoEvo-Mem. Los autores proponen un sistema donde el "Bibliotecario" y el "Tomador de Notas" evolucionan juntos, enseñándose constantemente el uno al otro cómo hacer mejor su trabajo. Probaron esta idea en siete tipos diferentes de tareas desafiantes, que van desde escribir código de computadora hasta resolver preguntas científicas o controlar el sistema operativo de una computadora. Los resultados sugieren que cuando estas dos partes aprenden en sincronía, el robot se vuelve significativamente mejor para resolver problemas largos y complejos que cuando aprenden por separado.

El Problema: El Bucle de Retroalimentación Roto

Imagina que estás estudiando para un examen de historia enorme. Tienes una pila de tarjetas de estudio (tu memoria) y una guía de estudio (tu política de recuperación). Si tu guía de estudio es mala, podrías elegir las tarjetas equivocadas para repasar. Pero si tus tarjetas están desordenadas y desorganizadas, incluso una buena guía de estudio podría tener dificultades para encontrar la correcta.

En el mundo de los agentes de IA, los métodos existentes suelen arreglar un lado del problema ignorando el otro. Algunos métodos intentan hacer que la IA sea mejor pidiendo memorias (recuperación), mientras que otros intentan que la IA sea mejor almacenando y organizando memorias (evolución). Los autores de este artículo argumentan que esta separación es un error. Señalan un "bucle de retroalimentación fundamental" que estaba siendo ignorado:

La recuperación decide qué se usa: Si la IA elige las memorias incorrectas, esas memorias no reciben ningún "crédito" por ayudar (o perjudicar) la tarea.
Las actualizaciones de memoria cambian el futuro: Si la IA actualiza sus memorias basándose en lo que sucedió, la forma en que esas memorias se organizan cambia, lo que hace que sea más difícil o fácil encontrarlas la próxima vez.

Si solo arreglas el método de recuperación sin dejar que la memoria cambie, o viceversa, pierdes la oportunidad de que ambos mejoren juntos. Es como intentar afinar una guitarra mientras las cuerdas están cambiando constantemente de grosor; no puedes obtener un sonido perfecto a menos que ajustes ambos al mismo tiempo.

La Solución: CoEvo-Mem

Los autores construyeron un marco llamado CoEvo-Mem (Memoria de Co-Evolución). Piensa en esto como una danza entre dos compañeros: el Router (el Bibliotecario) y el Banco de Memoria (el Tomador de Notas).

Así es como funciona la danza:

1. El Cerebro Congelado y el Router Inteligente
El "cerebro" principal de la IA (el Modelo de Lenguaje Extenso) permanece congelado: no aprende nada nuevo. En su lugar, el sistema utiliza un "Router" diminuto y ligero para decidir cómo pedir ayuda.

Cuando llega una pregunta, el cerebro congelado sugiere algunas formas de reescribir la pregunta (algunas centradas en el significado, otras en palabras clave específicas).
El Router luego aprende a retocar estas sugerencias basándose en si la IA obtuvo la respuesta correcta o incorrecta. Es como un entrenador que susurra: "Intenta preguntar de esta manera la próxima vez", basándose en el resultado del juego.

2. El Banco de Memoria como un Mapa Vivo
Las memorias no son solo una lista de notas; son un Grafo Relacional. Imagina un mapa donde cada memoria es una ciudad y las carreteras entre ellas muestran cómo están relacionadas.

Carreteras densas conectan memorias que significan lo mismo (semántica).
Carreteras dispersas conectan memorias que comparten palabras o nombres específicos (léxica).
Carreteras temporales conectan memorias que ocurrieron en una secuencia (temporal).

Cuando la IA resuelve una tarea, no solo guarda la respuesta. Actualiza el "valor" de las ciudades que visitó. Si una memoria ayudó a la IA a ganar, esa ciudad obtiene una puntuación más alta. Si ayudó, pero solo un poco, la puntuación sube un poco. Crucialmente, este crédito no se queda solo en esa memoria; viaja a lo largo de las carreteras hacia las ciudades vecinas, ayudando a todo el vecindario a volverse más inteligente.

3. La Danza Alternante (El Ingrediente Secreto)
Podrías pensar: "¿Por qué no actualizar el Router y la Memoria al mismo tiempo?". Los autores descubrieron que esto causa caos. Si ambos cambian a la vez, es como intentar aprender a montar en bicicleta mientras la bicicleta también está cambiando de forma. El sistema se confunde y se vuelve inestable.

En su lugar, CoEvo-Mem utiliza un programa alternante:

Fase 1: El Banco de Memoria está congelado (bloqueado en su lugar). El Router practica encontrando las mejores memorias usando este mapa fijo.
Fase 2: El Router está congelado (bloqueado en su lugar). El Banco de Memoria actualiza su organización y valores basándose en lo que el Router acaba de encontrar.
Alternan entre ambos. Esto permite que cada compañero aprenda del estado actual del otro sin la confusión de que ambos cambien simultáneamente.

Lo que Encontraron

El equipo probó CoEvo-Mem en siete desafíos muy diferentes:

Interacción con el Sistema Operativo: Controlar una computadora para realizar tareas.
Generación de Código: Escribir programas de computadora funcionales.
Razonamiento Multimodal: Resolver acertijos que involucran tanto texto como imágenes.
Preguntas Científicas: Responder preguntas difíciles sobre física, química y biología.
Llamada de Funciones (Function Calling): Enseñar a la IA a usar herramientas y APIs correctamente.
Conversación a Largo Plazo: Recordar detalles de chats largos.

En cada una de estas pruebas, CoEvo-Mem funcionó mejor que los mejores métodos existentes.

En el GPQA Diamond (preguntas científicas difíciles), mejoró la puntuación en 7.50 puntos porcentuales sobre la base de referencia más fuerte.
En LiveCodeBench (programación), mejoró en 3.81 puntos porcentuales.
En Memoria Conversacional de Largo Plazo (LoCoMo), alcanzó una puntuación de 81.71, superando al siguiente mejor método por casi 5 puntos.

Los autores también realizaron "estudios de ablación" (experimentos donde eliminaron partes del sistema) para demostrar por qué funcionó.

Cuando eliminaron la reescritura de consultas (la parte que cambia cómo se hace la pregunta), el rendimiento cayó significamente.
Cuando eliminaron la evolución de la memoria (la parte que actualiza el grafo y los valores), el rendimiento también cayó, especialmente en tareas complejas como programación y ciencia.
Cuando intentaron actualizar tanto el Router como la Memoria al mismo tiempo (en lugar de alternar), el sistema funcionó peor que el método alternante.

La Conclusión

El artículo sugiere que para que los agentes de IA dominen realmente las tareas a largo plazo, no podemos simplemente construir un mejor motor de búsqueda o una mejor base de datos. Tenemos que construir un sistema donde el motor de búsqueda y la base de datos aprendan a adaptarse el uno al otro. Al dejar que el "Bibliotecario" y el "Tomador de Notas" se turnen para aprender mientras el otro permanece quieto, CoEvo-Mem crea un bucle estable y de mejora continua que ayuda a los agentes de IA a recordar mejor, pensar con más claridad y resolver problemas más difíciles.

Los autores señalan cuidadosamente que, aunque los resultados son sólidos en estos siete parámetros, este es un marco específico para la co-evolución. No afirman que resuelva todos los problemas de la IA, pero demuestran que esta forma específica de vincular la recuperación y la memoria es un paso poderoso hacia adelante para construir agentes que puedan aprender y adaptarse con el tiempo.

Resumen Técnico: CoEvo-Mem

Planteamiento del Problema

Los agentes de Modelos de Lenguaje de Gran Escala (LLM) de largo plazo enfrentan un desafío crítico: a medida que las interacciones se acumulan a través de tareas y sesiones, retener toda la información histórica dentro de una única ventana de contexto resulta ineficiente y, a menudo, inviable. Los agentes efectivos requieren mecanismos de memoria para preservar la experiencia útil y recuperarla cuando sea relevante. Sin embargo, los enfoques existentes suelen optimizar el acceso a la memoria (recuperación) y la evolución de la memoria (almacenamiento/refinamiento) de forma aislada.

Los métodos centrados en la recuperación (por ejemplo, RAG, reformulación de consultas) optimizan cómo acceder a una colección fija o mantenida de forma independiente, pero no adaptan la colección misma basándose en su uso.
Los métodos centrados en la memoria (por ejemplo, evolución basada en valores, grafos estructurados) mejoran la forma en que las experiencias se actualizan u organizan, pero a menudo dependen de políticas de recuperación predefinidas o optimizadas por separado.

Esta separación pasa por alto un bucle de retroalimentación fundamental: las decisiones de recuperación determinan qué memorias reciben señales de uso y crédito, mientras que las actualizaciones de la base de memoria (valores y relaciones) remodelan el panorama para la futura recuperación. Optimizar un componente contra una contraparte permanentemente fija provoca un desajuste con el estado evolutivo del otro.

Metodología: CoEvo-Mem

CoEvo-Mem es un marco de trabajo de bucle cerrado diseñado para la coevolución de la política de recuperación y la base de memoria mediante la retroalimentación de la interacción. El marco mantiene un LLM de respuesta congelado ( $F_{ans}$ ) y se enfoca en aprender una política de recuperación ligera y un grafo de memoria relacional tipado y persistente.

1. Componentes Principales

LLM Congelado y Reescritura de Consultas Especializada en Rutas (SR-QR): Para cada consulta, un LLM congelado genera reescrituras de consultas específicas de la ruta (densas para la intención semántica, dispersas para pistas léxicas exactas) y un prior de enrutamiento inicial.
Enrutador Residual Guiado por Prior: Un módulo entrenable y ligero aprende una corrección residual al prior de enrutamiento inicial del LLM. Produce pesos de fusión ( $w_t$ ) que controlan un recuperador híbrido.
Recuperador Híbrido Ponderado por Q: Este recuperador integra similitud densa, coincidencia dispersa (BM25) y utilidad de memoria aprendida. Utiliza la Fusión de Clasificación Recíproca Ponderada (WRRF) para combinar las clasificaciones de diferentes reescrituras y rutas, ponderadas por la salida del enrutador.
Grafo de Memoria Relacional Tipado: Las memorias se almacenan como nodos en un grafo que contiene contenido, descripciones, palabras clave y metadatos temporales. Las aristas codifican relaciones semánticas (densas), léxicas (dispersas) y temporales. Cada nodo posee un valor de utilidad aprendido ( $Q_t(m)$ ) que representa su utilidad de recuperación descendente con descuento.

2. El Mecanismo de Coevolución

El marco aborda la no estacionariedad causada por la dependencia mutua entre la recuperación y la memoria mediante fases de entrenamiento alternas:

Fase del Enrutador: El grafo de memoria permanece fijo (solo lectura). El enrutador se actualiza utilizando una política de gradiente basada en recompensas (estimador de función de puntuación) basada en los resultados de la tarea. El enrutador explora mezclas continuas de rutas de recuperación densas y dispersas.
Fase de la Memoria: El enrutador está congelado (utilizando su política media determinista). El grafo de memoria evoluciona secuencialmente. Las nuevas memorias se destilan de las trayectorias de interacción, y los valores de utilidad se actualizan mediante un mecanismo de tipo Diferencia Temporal (TD).
- Actualización de Utilidad: $Q_t(m)$ se actualiza basándose en la recompensa inmediata de la tarea, la utilidad atribuida de la memoria y un término de bootstrap de las experiencias recién destiladas.
- Propagación de Crédito Relacional: La retroalimentación se propaga a las memorias relacionadas (vecinos semánticos, léxicos o temporales) basándose en la fuerza del camino y factores de atenuación específicos de la relación.

3. Objetivo de Entrenamiento

El sistema optimiza la recompensa esperada de la tarea $J_{tr}$ sobre las trayectorias inducidas por el enrutador, el grafo evolutivo y el esquema de fases. Al alternar las actualizaciones, cada componente se adapta al último estado del otro sin la inestabilidad de una optimización conjunta simultánea.

Contribuciones Clave

Identificación de un Bucle de Retroalimentación: El artículo identifica y formaliza el bucle de retroalimentación, poco explorado, entre la recuperación y la evolución de la memoria en agentes de LLM de largo plazo, donde la recuperación determina la asignación de crédito y las actualizaciones de memoria remodelan la recuperación futura.
Marco CoEvo-Mem: Un nuevo marco que coordina la adaptación de la política de recuperación con la evolución de la memoria relacional manteniendo congelado el LLM de respuesta. Características clave incluyen:
- Reescritura de consultas especializada en rutas y adaptación residual de un prior de enrutamiento de LLM.
- Actualizaciones de memoria que propagan la retroalimentación a través de relaciones semánticas, léxicas y temporales.
- Un esquema de entrenamiento alterno para mitigar la no estacionariedad.
Validación Empírica: Experimentos extensos en siete benchmarks diversos (que abarcan seis configuraciones de evaluación, ya que BFCL incluye configuraciones de pensamiento y no pensamiento) demuestran que CoEvo-Mem alcanza el estado del arte, validando la importancia de la optimización conjunta.

Resultados Experimentales

CoEvo-Mem fue evaluado en siete benchmarks que abarcan interacción con sistemas operativos (LLAB), generación de código (LiveCodeBench), razonamiento multimodal (MMMU Pro), QA científico (GPQA Diamond), llamada a funciones (BFCL) y memoria conversacional de largo plazo (LoCoMo, LongMemEval).

Rendimiento: CoEvo-Mem logró la puntuación media más alta en los seis entornos evaluados (LLAB, LiveCodeBench, MMMU Pro, GPQA Diamond, BFCL no-pensamiento y BFCL pensamiento). Comparado con la base más fuerte en cada fila, la mejora promedio fue de 3.72 puntos porcentuales, con ganancias individuales que oscilaron entre 1.06 y 7.50 puntos.
- Se observaron ganancias notables en GPQA Diamond (+7.50) y BFCL no-pensamiento (+6.33).
Estudios de Ablación:
- Eliminar SR-QR (reescritura específica de ruta) redujo el rendimiento en 4.24 puntos en promedio, resaltando la importancia de la reformulación de consultas.
- Eliminar la Evolución de la Memoria (actualizaciones relacionales) redujo el rendimiento en 4.80 puntos, confirmando que las relaciones tipadas y la propagación de valores mejoran la reutilización de la memoria más allá de las actualizaciones independientes por ítem.
- La Co-adaptación Alterna superó tanto a las actualizaciones simultáneas como al entrenamiento en dos etapas, demostando la necesidad del esquema alterno para gestionar la no estacionariedad.
Transferibilidad: En protocolos de memoria fija (LoCoMo-MC, LongMemEval-MC), CoEvo-Mem logró resultados sólidos, y cuando el backbone de respuesta se cambió a GPT-4 sin reentrenar el sistema de memoria, el rendimiento aumentó significamente, indicando que la interfaz de recuperación aprendida se transfiere bien entre diferentes backbones.

Significado y Reivindicaciones

El artículo afirma que CoEvo-Mem hace avanzar el estado del arte al demostrar que el acceso a la recuperación y la evolución de la memoria se refuerzan mutuamente y deben optimizarse conjuntamente. Los autores argumentan que:

La Adaptación Conjunta es Crítica: Aislar la optimización de la recuperación o de la memoria impide que la contraparte fija se adapte a los cambios inducidos por la otra, limitando el rendimiento general del agente.
Bucles de Retroalimentación Estructurados: Al modelar explícitamente el bucle de retroalimentación donde la recuperación determina la asignación de crédito y las actualizaciones de memoria guían la recuperación futura, los agentes pueden mantener mejoras a lo largo de horizontes extensos.
Generalizabilidad: El éxito del marco en tareas heterogéneas (desde la generación de código hasta el razonamiento científico) y tipos de memoria sugiere que la co-adaptación de la ruta de recuperación y la evolución de la memoria es una estrategia generalizable para los agentes de LLM de largo plazo.

Los autores concluyen que el trabajo futuro debería explorar el intercambio de memoria entre múltiples agentes y las garantías teóricas para la optimización acoplada de recuperación-memoria, pero el presente trabajo establece la base empírica para este enfoque de coevolución.