🤖 machine learning

Continual Self-Improvement with Lightweight Experiential Latent Memories

Este artículo propone un método en línea eficiente que convierte trazas de razonamiento transitorias en memorias latentes compactas y modulares mediante un entrenamiento autosupervisado ligero, permitiendo que los modelos de lenguaje de gran tamaño logren una mejora continua y un rendimiento de razonamiento superior sin olvido catastrófico.

Autores originales: Vaggelis Dorovatas, Nancy Kalaj, Rahaf Aljundi

Publicado 2026-06-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vaggelis Dorovatas, Nancy Kalaj, Rahaf Aljundi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un estudiante brillante, superinteligente (un Modelo de Lenguaje Extenso) que es increíblemente bueno resolviendo problemas matemáticos. Sin embargo, tiene una peculiaridad extraña: no tiene memoria de lo que acaba de aprender.

Cada vez que le das un nuevo problema, comienza desde cero. Incluso si pasa horas pensando, cometiendo errores, corrigiéndose a sí mismo y finalmente encontrando la respuesta correcta, una vez que entrega la solución, todo ese "proceso de pensamiento" se desvanece. No se vuelve más inteligente para el siguiente problema. Es como un genio que olvida su propia tarea en el momento en que la entrega.

Este artículo presenta un sistema llamado ELM (Memoria Latente Experiencial) para solucionar esto. Es una forma de que la IA conserve una "hoja de trucos" de su propio pensamiento para que pueda mejorar con el tiempo, sin necesidad de un profesor que califique su trabajo.

Así es como funciona, desglosado en conceptos simples:

1. El Problema: Por qué "leer notas" no funciona

Los investigadores primero probaron un enfoque simple: Aprendizaje en Contexto (ICL).

La Analogía: Imagina que el estudiante intenta aprender leyendo una transcripción de sus propios pensamientos anteriores. "La última vez que resolví un problema de geometría, escribí: 'Paso 1: Encontrar el ángulo. Paso 2: Usar la fórmula'" .
El Resultado: Esto no funcionó bien. El artículo encontró que simplemente leer el texto de la solución es como leer una receta sin haber cocinado nunca la comida. Se pierde el "sabor" del proceso de pensamiento real: los callejones sin salida, los niveles de confianza y la lógica oculta que ocurrió dentro del cerebro del modelo pero que nunca llegó al texto. Es demasiado superficial para ayudar con problemas nuevos y complicos.

2. La Solución: El sistema de "Fichas de Estudio"

En lugar de escribir toda la historia, los investigadores crearon un sistema donde la IA crea pequeñas "Fichas de Estudio" invisibles para cada problema que resuelve.

El Proceso:
1. La Prueba: La IA intenta resolver un problema matemático.
2. La Autoverificación: Dado que no hay un profesor, la IA genera muchas respuestas diferentes al mismo problema. Luego las observa y dice: "Bien, 7 de cada 10 dicen que la respuesta es 42. Así que, 42 probablemente sea la correcta". Esto se llama Votación por Mayoría. Actúa como un sistema de autocalificación.
3. La Lección: La IA toma ese problema específico y su respuesta autocalificada y entrena una "Ficha de Estudio" diminuta y ligera (llamada Prompt Blando o Soft Prompt).
4. El Almacenamiento: Esta Ficha de Estudio se guarda en un "Depósito de Memoria". Es increíblemente pequeña (solo el 0.001% del tamaño del modelo) para que no ralentice nada.

3. Usando las Fichas de Estudio: El "Bibliotecario"

Cuando llega un nuevo problema matemático, el sistema actúa como un bibliotecario:

Búsqueda: Mira el nuevo problema y pregunta: "¿Tenemos alguna Ficha de Estudio en nuestro depósito que sea similar a esto?".
Recuperación: Si encuentra una coincidencia, extrae esa diminuta Fía de Estudio y la adjunta al nuevo problema.
La Doble Verificación: La IA resuelve el problema dos veces: una sin la Ficha de Estudio (Zero-Shot) y otra con la Ficha de Estudio.
El Veredicto: Un "Verificador" (un guardián de seguridad) compara las dos respuestas. Si la versión con la Ficha de Estudio es mejor, utiliza esa. Si la Ficha de Estudio empeora las cosas (porque a veces la autocalificación es errónea), el Veredicto elige la respuesta original.

4. Por qué esto es importante

Sin Olvido: Debido a que la IA no reescribe todo su cerebro (lo que causaría que olvidara habilidades antiguas), simplemente añade estas pequeñas y aisladas Fichas de Estudio. Es como añadir un nuevo capítulo a un libro sin borrar los anteriores.
Eficiencia: No necesita una supercomputadora para aprender. Aprende sobre la marcha, un problema a la vez, utilizando muy pocos pasos.
Mejor que el Entrenamiento Offline: Sorprendentemente, el artículo encontró que aprender de un solo problema a la vez usando este método suele funcionar mejor que entrenar todo el modelo en un conjunto masivo de datos de miles de problemas a la vez. Parece que la IA aprende la "esencia" del razonamiento mejor cuando se enfoca en una experiencia específica a la vez.

Resumen

Piensa en ELM como darle a un genio olvidadizo una libreta de bolsillo personalizada y autoactualizable.

En lugar de escribir toda la historia de un problema, escribe una pequeña "pista" invisible basada en lo que aprendió.
Revisa su propio trabajo para asegurarse de que la pista sea buena.
Cuando llega un nuevo problema, busca en su libreta una pista similar.
Si la pista ayuda, la usa; si estorba, la ignora.

El resultado es un sistema que se vuelve más inteligente cada vez que resuelve un problema, convirtiendo su propio "tiempo de pensamiento" en conocimiento permanente y reutilizable, todo sin necesidad de un profesor humano.

Resumen Técnico: Mejora Continua mediante Memorias Latentes Experienciales Ligeras

Declaración del Problema

Los Modelos de Lenguaje Grande (LLMs) actualmente logran capacidades de razonamiento sólidas mediante el escalado del cómputo en tiempo de inferencia (por ejemplo, Cadena de Pensamiento o Chain-of-Thought, y pensamiento extendido). Sin embargo, estos modelos siguen siendo fundamentalmente estáticos (stateless) tras su despliegue. Descartan las ricas trazas de razonamiento producidas por ellos mismos durante la inferencia, fallando al no acumular experiencia ni convertir el esfuerzo computacional en conocimiento reutilizable para problemas futuros.

Los enfoques existentes para abordar esto enfrentan limitaciones significativas:

Aprendizaje en Contexto (ICL) Libre de Entrenamiento: Los métodos que almacenan trazas de razonamiento textual bruto sufren de un "cuello de botella textual". Almacenan salidas superficiales en lugar de la estructura de razonamiento subyacente o los estados intermedios, lo que conduce a una generalización superficial y al fracaso en la transferencia efectiva entre tareas.
Aprendizaje por Refuerzo (RL) Fuera de Línea (Offline): Aunque los métodos de RL no supervisado utilizando recompensas internas (por ejemplo, votación por mayoría) muestran potencial, típicamente operan en un régimen fuera de línea, requiriendo acceso previo a todo el conjunto de datos de prueba. Además, dependen de actualizaciones de todo el modelo, lo que conlleva riesgos de olvido catastrófico, inestabilidad de optimización y no escala bien a medida que el dato de tiempo de prueba se acumula debido a señales de supervisión propia interferentes.

El desafío central es permitir una mejora continua y verdaderamente en línea donde un LLM aprenda de un flujo de problemas uno por uno, sin supervisión externa, sin acceso previo a datos futuros y sin olvidar sus capacidades iniciales.

Metodología: Memoria Latente Experiencial (ELM)

Los autores proponen ELM, un método en línea que destila el cómputo en tiempo de inferencia en memorias latentes compactas y modulares. El enfoque consta de tres componentes principales:

1. Creación de Memoria (Aprendizaje por Muestra)

En lugar de actualizar el modelo principal, el sistema aprende una memoria ligera y específica para cada problema encontrado.

Señal de Recompensa Interna: Ante la ausencia de etiquetas de verdad absoluta (ground-truth), el modelo genera múltiples respuestas candidatas ( $N$ ) para una entrada dada. Una respuesta de consenso se deriva mediante votación por mayoría, sirviendo como una etiqueta de aproximación (proxy).
Objetivo de Entrenamiento: El modelo se entrena utilizando Optimización de Política Relativa de Grupo (GRPO). La ventaja se calcula normalizando las recompensas dentro del grupo de salidas muestreadas en relación con el consenso.
Parametrización: La memoria se parametriza como un Prompt Blando (Soft Prompt) (una secuencia de vectores continuos entrenables que se anteponen a la entrada).
- Eficiencia: Estos soft prompts constituyen solo $\sim 0.001\%$ de los parámetros totales del modelo.
- Aislamiento: El modelo base permanece congelado. Cada memoria se entrena de forma independiente durante unos pocos pasos de gradiente (por ejemplo, 10 pasos) utilizando la señal de recompensa interna. Este diseño modular evita la interferencia entre muestras y evita el olvido catastrófico.

2. Recuperación de Memoria

Cuando llega una nueva muestra de prueba, el sistema recupera la memoria más relevante del conjunto.

Construcción de Claves: Las claves se derivan ya sea de las incrustaciones (embeddings) del soft prompt (Recuperación de Entrada) o mediante la agrupación de activaciones de las proyecciones de Clave-Valor (KV) internas del modelo (Recuperación KV).
Coincidencia: La recuperación se realiza computando la similitud de coseno entre el vector de consulta de la nueva entrada y las claves de la memoria almacenada.

3. Enrutamiento de Respuesta (Verificación)

Dado que las memorias se aprenden mediante autosupervisión, pueden ser ruidosas y ocasionalmente degradar el rendimiento (convirtiendo una respuesta correcta de zero-shot en una incorrecta).

Generación Dual: Para una entrada dada, el sistema genera tanto una respuesta de zero-shot como una respuesta aumentada por memoria.
Verificación: Si las respuestas coinciden, se devuelve la respuesta. Si no coinciden, un Verificador (un Modelo de Recompensa de Proceso o Process Reward Model) selecciona la respuesta con mayor puntuación. Este mecanismo de enrutamiento garantiza la fiabilidad y mitiga las regresiones inducidas por la memoria.

Contribuciones Clave

Memorias Experienciales Latentes: Introducción de un método para aprender representaciones latentes modulares a nivel de instancia (soft prompts) directamente desde el cómputo en tiempo de prueba, capturando estructuras de razonamiento abstractas en lugar de texto superficial.
Protocolo Continuo en Línea: Un marco estrictamente en línea donde los modelos mejoran continuamente a medida que se acumula la experiencia, sin requerir acceso previo al conjunto de datos completo o etiquetas externas.
Eficiencia y Modularidad: Un diseño que aísla la experiencia en unidades ligeras ( $\sim 0.001\%$ de parámetros), permitiendo un aprendizaje estable sin actualizaciones de todo el modelo o de olvido catastrófico.
Validación Empírica: Demostración de que el aprendizaje de muestras individuales con recompensas internas puede generar ganancias de generalización que rivalizan o superan el entrenamiento fuera de línea de todo el conjunto de datos.

Resultados Experimentales

Los autores evaluaron ELM en desafíos de razonamiento matemático (MATH500, AMC23, AIME24) utilizando Llama-3.1-8B-Instruct y Qwen2.5-Math-7B.

Rendimiento vs. Baselines:
- ELM supera significativamente a los baselines de zero-shot e ICL de datos brutos.
- En MATH500, ELM (entrenado enteramente en línea sin acceso previo al conjunto de datos) superó tanto al GRPO fuera de línea de conjunto de datos completo como a los baselines de TTRL.
- En AMC23 y AIME24, ELM mejoró sustancialmente el rendimiento base (por ejemplo, +12.5 puntos en Qwen para AMC23), igualando o superando a menudo los resultados del entrenamiento fuera de línea de todo el conjunto de datos.
Generalización: Se demostró que las memorias latentes individuales generalizan eficazmente a través de todo el conjunto de datos de prueba, y que los soft prompts superan a las parametrizaciones basadas en LoRA en capacidad de generalización.
Transferencia entre Datasets: Las memorias entrenadas en un conjunto de datos (por ejemplo, AIME24) se transfirieron eficazmente a otro (por ejemplo, AMC23), demostrando que las representaciones aprendidas capturan estructuras de razonamiento generalizables.
Comparación con el Entrenamiento Fuera de Línea: Sorprendentemente, el entrenamiento en muestras individuales con recompensas internas a menudo produjo una mejor generalización que el entrenamiento del modelo completo en todo el conjunto de datos, lo que sugiere que las actualizaciones de todo el modelo pueden sufrir desajustes de capacidad o interferencia en regímenes de pocos datos.

Significado y Reivindicaciones

El artículo posiciona a ELM como un paso fundacional hacia modelos capaces de mejora continua autónoma. Su importancia radica en:

Cerrar la Brecha: Logra convertir el cómputo transitorio y costoso del tiempo de inferencia en conocimiento persistente y reutilizable sin supervisión externa.
Escalabilidad: Al utilizar memorias modulares y ligeras, el método escala con la experiencia acumulada sin la sobrecarga computacional o los problemas de estabilidad asociados con el ajuste fino (fine-tuning) de todo el modelo.
Superación de Limitaciones: Aborda el "cuello de botella textual" del ICL operando en el espacio latente, y resuelve la "restricción fuera de línea" del RL al funcionar en un entorno de flujo real (streaming).

Los autores reconocen las limitaciones, señalando que la calidad de la memoria varía (algunas son ruidosas) y que la dependencia actual de un verificador es una mitigación necesaria. Dejan el trabajo futuro para explorar la composición de memorias, estrategias de expulsión (eviction) y métodos para identificar muestras de alta calidad para la creación de memoria. Sin embargo, afirman que ELM proporciona un camino viable y eficiente para que los LLM internalicen sus exploraciones de razonamiento y mejoren de manera constante.