Resumen Técnico: Rosetta Memory (RoMem)

1. Definición del Problema: Desajuste de Memoria entre Diferentes LLM (Cross-LLM Memory Mismatch)

El artículo aborda una brecha crítica en el despliegue de agentes basados en Modelos de Lenguaje de Gran Escala (LLM): la suposición de que los sistemas de memoria están diseñados para un único núcleo estático. En la práctica, los agentes cambian frecuentemente entre diferentes LLM (por ejemplo, usando Claude para programar y GPT para escribir, o dirigiendo pasos a diferentes modelos para optimizar costos). Los autores identifican que la memoria escrita por un modelo a menudo no es consumida eficazmente por otro debido a dos fuentes primarias de desajuste:

1. Divergencia en la Escritura (Write-Side Divergence): Diferentes LLM de origen, ante un mismo estado, producen diferentes acciones y, por lo tanto, almacenan contenido distinto en la memoria.
2. Sensibilidad en la Lectura (Read-Side Sensitivity): Incluso las entradas de memoria semánticamente equivalentes pueden conducir a resultados de agentes distintos cuando son leídas por diferentes LLM de destino, debido a variaciones en la sensibilidad al prompt y la interpretación del contexto.

Los autores formalizan el Problema de Adaptación de Memoria Cross-LLM: ¿Cómo puede el sistema de memoria de un agente adaptarse para que la memoria escrita por un LLM ascendente active efectivamente a un LLM descendente, independientemente de los modelos específicos involucrados en la trayectoria? El objetivo es maximizar el retorno esperado en todas las posibles asignaciones de modelos en un grupo heterogéneo, en lugar de optimizar para un único núcleo fijo.

2. Metodología: Rosetta Memory (RoMem)

RoMem cambia la perspectiva de un "diseño de memoria centrado en el LLM" a una "adaptación de LLM centrada en la memoria". Trata la memoria como una interfaz transferible entre los escritores ascendentes y los lectores descendentes.

Arquitectura Central

El sistema introduce dos operadores aprendibles y conscientes del LLM:

• Operador de Escritura ($f_{write}$): Toma el identificador (perfil) del LLM de origen, la observación y la acción, y genera una entrada de memoria destilada y normalizada.
• Operador de Lectura ($f_{read}$): Toma el identificador (perfil) del LLM de destino, la observación actual y el banco de memoria, y genera un contexto listo para el prompt, adaptado para el lector específico.

Condicionamiento por Perfil (Profile Conditioning)

Para manejar diversos modelos sin necesidad de realizar un ajuste fino (fine-tuning) de los operadores para cada modelo específico, RoMem utiliza embeddings de perfil. Cada LLM está asociado con un registro de perfil ligero (ID del modelo, descripción textual, metadatos como el backend, familia, escala). Una función de mapeo aprendible $g$ convierte estos perfiles en vectores continuos (tokens de prefijo suaves o soft prefix tokens) que condicionan tanto a $f_{write}$ como a $f_{read}$. Esto permite que los operadores se generalicen a LLM no vistos mediante la comprensión de su "estilo" y capacidades.

Estrategia de Entrenamiento

Los operadores se entrenan utilizando un bucle de Iteración de Expertos con dos innovaciones específicas para asegurar la robustez en todo el grupo de modelos heterogéneos:

1. Recompensa de Ganancia Contrafactual (Counterfactual Gain Reward): Para aislar la contribación de los operadores aprendidos de la capacidad intrínseca de los LLM, el sistema calcula una brecha de rendimiento ($\Delta R$). Esta es la diferencia entre la recompensa lograda con los operadores aprendidos y una línea base ingenua (concatenación de memoria bruta). Esto asegura que el modelo aprenda a mejorar el rendimiento específicamente a través de la adaptación, no solo aprovechando un núcleo fuerte.
2. Currículo de Muestreo de Ganancia Mínima (Minimum-Gain Sampling Curriculum): Durante el entrenamiento, el sistema prioriza los LLM "desatendidos", aquellos con la ganancia contrafactual más baja. La probabilidad de muestreo para un modelo en el paso $t$ está sesgada hacia los modelos con bajo $\Delta R$ y también se diversifica por distancia de embedding para asegurar la diversidad de comportamiento dentro de una sola trayectoria. Esto evita que el modelo se sobreajuste a pares de alto rendimiento y asegura la cobertura para combinaciones de modelos difíciles.

3. Contribuciones Clave

1. Formalización del Problema: El artículo demuestra empíricamente (mediante estudios piloto en HotpotQA, 2WikiMultihopQA y MuSiQue) que el desajuste de memoria es un problema significativo en entornos cross-LLM y define formalmente el problema de adaptación de memoria cross-LLM.
2. Rosetta Memory (RoMem): Un marco novedoso que aprende conjuntamente operadores de escritura y lectura condicionados por perfil para adaptar la memoria para agentes heterogéneos.
3. Innovaciones de Entrenamiento: La introducción de un currículo de muestreo de ganancia mínima para mejorar la cobertura de pares de modelos con bajo rendimiento y una recompensa de brecha de rendimiento para desvincular la utilidad del operador de la fuerza del núcleo (backbone).
4. Validación Empírica: Experimentos extensos que muestran que RoMem supera a las líneas base sin memoria (CoT, Self-Ask), a las líneas base de buffer bruto (Step-Accumulate) y a las líneas base de memoria estructurada (Mem0, Memento).

4. Resultados Experimentales

Los autores evaluaron RoMem en tres conjuntos de datos de preguntas de múltiples saltos (multi-hop QA): HotpotQA, 2WikiMultihopQA y MuSiQue.

• Rendimiento General: RoMem alcanzó consistentemente los puntajes más altos en Exact Match (EM), F1 y precisión semántica (AccLLM) en todos los conjuntos de datos. Notablemente, en el difícil conjunto de datos MuSiQue, mostró márgenes claros en F1 y AccLLM, sugiriendo una preservación efectiva de la evidencia parcial a través de cadenas complejas.
• Estudios de Ablación: Eliminar el condicionamiento por perfil o el operador de escritura degradó significamente el rendimiento, confirmando que tanto la adaptación del contenido de la memoria como la adaptación de la presentación al modelo de destino son necesarias.
• Generalización a Modelos No Vistos: Al ser probado con seis LLM retenidos (ej. gpt-5-mini, deepseek-reasoner) no vistos durante el entrenamiento, RoMem mantuvo un rendimiento robusto, superando a menudo a las líneas base incluso a medida que aumentaba el número de modelos no vistos en la trayectoria.
• Muestreo de Ganancia Mínima: El análisis de sensibilidad mostró que un reponderado moderado (ej. $\eta \approx 1.2$ a $1.6$) mejora el rendimiento, mientras que un reponderado excesivamente fuerte puede ser perjudicial.
• Análisis Cualitativo: Las inspecciones revelaron que el operador de escritura elimina con éxito la incertidumbre del modelo de origen y las instrucciones de búsqueda, mientras que el operador de lectura adapta el orden y la explicidad de los hechos para coincidir con las preferencias del modelo de destino (ej. formato de tabla para Gemini frente a cadena de pensamiento para Claude).

5. Significado y Reivindicaciones

El artículo sostiene que almacenar evidencia es insuficiente; la memoria debe escribirse y leerse en una forma adaptada al LLM específico que la consume. Al tratar la memoria como una interfaz transferible, RoMem permite que los agentes de LLM heterogéneos compartan la memoria de los episodios de manera efectiva, reduciendo la necesidad de computación redundante y mejorando la robustez cuando los modelos se intercambian debido a restricciones de costo, latencia o disponibilidad.

Los autores posicionan este trabajo como un "primer paso" hacia la adaptación centrada en la memoria. Reconocen limitaciones, señalando que su evaluación se restringe a episodios controlados de multi-hop QA con cadenas de evidencia fijas y aún no cubre la navegación web de horizonte abierto o la planificación de largo horizonte. También advierten que las interfaces de memoria aprendidas podrían propagar sesgos o errores si no se auditan cuidadosamente, sugiriendo la necesidad de minimización de datos e inspección humana en despliegues de alto riesgo.