🤖 machine learning

Memory as a Markov Matrix: Sample Efficient Knowledge Expansion via Token-to-Dictionary Mapping

Este artículo propone un marco eficiente en muestras para la expansión continua de conocimientos en modelos de lenguaje grandes, representando la memoria como una matriz de transición de Markov y utilizando una estrategia de mapeo de tokens a diccionario con actualizaciones mínimas de incrustaciones para lograr un olvido catastrófico nulo.

Autores originales: Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

Publicado 2026-05-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje Grande (LLM) como una biblioteca gigante y altamente organizada de historias. Cada vez que el modelo lee una oración, es como un bibliotecario que mira la última palabra y adivina qué palabra sigue.

Por lo general, si quieres enseñarle a este bibliotecario una palabra completamente nueva (como un nuevo término científico o una jerga), tienes que reentrenar toda la biblioteca. Pero aquí está el problema: cuando reentrenas toda la biblioteca para aprender la palabra nueva, el bibliotecario a menudo olvida cómo contar las historias antiguas correctamente. Esto se llama "olvido catastrófico".

Este artículo propone una forma inteligente y de bajo esfuerzo para agregar nuevas palabras sin romper las antiguas. Aquí está el desglose usando analogías simples:

1. La biblioteca como un "mapa de tráfico" (La idea de Markov)

Los autores ven el modelo de lenguaje no como un cerebro complejo, sino como un mapa de tráfico.

Los nodos: Cada palabra en el diccionario es una ciudad en el mapa.
Las carreteras: Las conexiones entre palabras son carreteras. Si estás en la ciudad "El", hay carreteras específicas que llevan a "gato", "perro" o "sol".
La memoria: La "memoria" del modelo es simplemente el mapa de estas carreteras. Sabe que "El" generalmente lleva a "gato" con cierta probabilidad.

2. El problema: agregar una nueva ciudad

Cuando quieres enseñarle al modelo una palabra nueva (llamémosla "Zorp"), esencialmente estás agregando una nueva ciudad al mapa.

La vieja forma (Ajuste fino completo): Intentas redibujar todo el mapa para incluir "Zorp". Al hacerlo, borras o cambias accidentalmente las carreteras entre las ciudades antiguas. El bibliotecario olvida que "El" lleva a "gato" y empieza a decir que "El" lleva a "Zorp" en su lugar.
La forma del artículo: En lugar de redibujar todo el mapa, solo agregas un letrero para "Zorp". Dices: "Oye, si ves 'Zorp', trátalo exactamente igual que tratas 'El' o 'Gato'".

3. La solución: el mapa "Token-a-Diccionario"

El artículo sugiere una estrategia llamada Mapeo de Token a Diccionario.

Imagina que tienes una palabra nueva y extraña "Zorp". En lugar de enseñarle al modelo el significado de "Zorp" desde cero, le dices al modelo: "Cuando veas 'Zorp', finge que es la palabra 'Estrella'".
El modelo no necesita aprender nuevas carreteras para "Zorp". Solo necesita saber que "Zorp" apunta al mismo destino que "Estrella".
Como el modelo no tiene que cambiar las carreteras existentes (las probabilidades de transición entre palabras antiguas), nunca olvida las historias antiguas.

4. La "eficiencia de muestra" (Por qué es rápido)

Los autores demuestran matemáticamente que esto es increíblemente eficiente.

La analogía: Si quieres aprender una palabra nueva, no necesitas leer toda la biblioteca de nuevo. Solo necesitas leer algunos ejemplos de cómo se usa esa palabra nueva en oraciones.
Las matemáticas: La cantidad de ejemplos que necesitas depende de cuántas palabras existentes mapees la palabra nueva. Si mapeas "Zorp" a solo 5 palabras comunes, solo necesitas una cantidad mínima de datos para aprenderla. No necesitas preocuparte por el tamaño de toda la biblioteca (que podría tener 100,000 palabras).

5. El experimento: enseñar matemáticas y palabras falsas

Los investigadores probaron esto con dos escenarios:

El operador mágico: Enseñaron a un modelo un símbolo especial (como ⟨spec⟩) que significaba "multiplicar".
- Resultado: El modelo aprendió a multiplicar usando el nuevo símbolo muy rápidamente.
- La victoria: Crucialmente, el modelo todavía sabía cómo sumar números. En otros métodos, aprender el nuevo símbolo hacía que el modelo olvidara cómo sumar. Este método mantuvo las habilidades de suma perfectas.
Palabras falsas: Inventaron 100 palabras sin sentido (como "glor" y "zorp") y las pusieron en oraciones.
- Resultado: El modelo aprendió a usar estas palabras falsas correctamente sin olvidar cómo hablar inglés.
- Comparación: Otros métodos (como el ajuste fino estándar o LoRA) hicieron que el modelo olvidara el inglés mientras aprendía las palabras falsas. El nuevo método causó olvido cero.

Resumen

Piensa en este método como agregar una nueva habitación a una casa sin derribar las paredes de las habitaciones existentes.

Vieja forma: Para agregar una nueva habitación, reconstruyes toda la cimentación. Las habitaciones antiguas se agrietan y se desmoronan.
Nueva forma: Construyes la nueva habitación y le adjuntas una puerta que lleva directamente a un pasillo existente. El pasillo antiguo permanece exactamente igual, y la nueva habitación encaja perfectamente.

El artículo afirma que esta es una forma matemáticamente probada de expandir el vocabulario de un modelo de lenguaje con muy pocos datos y absolutamente ninguna pérdida de su conocimiento previo.

Resumen Técnico: Memoria como Matriz de Markov

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) enfrentan un desafío crítico en el aprendizaje continuo: incorporar nuevos conocimientos (por ejemplo, nuevo vocabulario, entidades o dominios) sin sufrir olvido catastrófico. Los enfoques existentes, como el ajuste fino completo, la regularización o los métodos basados en replay, a menudo degradan los comportamientos previamente aprendidos a medida que se inyecta nuevo conocimiento. Además, estos métodos suelen depender de actualizaciones de pesos a gran escala que a menudo son irreversibles y computacionalmente costosas. La pregunta central abordada por este trabajo es: ¿Cómo pueden los LLM incorporar una pequeña cantidad de nuevo conocimiento sin olvido catastrófico?

Metodología

1. Formulación Markoviana de la Generación de Lenguaje

Los autores proponen un marco principiado que modela la generación de lenguaje autoregresiva como un proceso de Markov sobre tokens.

Espacio de Estados: Los tokens corresponden a los estados de la cadena de Markov.
Matriz de Transición: La memoria del modelo se representa mediante una matriz de transición de Markov, donde la probabilidad del siguiente token $p_\theta(v | u)$ define la dinámica de transición del token $u$ al token $v$ .
Expansión del Conocimiento como Expansión del Estado: Incorporar nuevos tokens ( $U$ ) se formaliza como la expansión del espacio de estados de $V$ a $V \cup U$ .
Condición de Olvido Cero: Para prevenir el olvido, las probabilidades de transición entre los tokens preexistentes ( $V \times V$ ) deben permanecer invariantes. Los nuevos tokens se integran definiendo sus distribuciones de transición ( $q(u)$ ) sobre el vocabulario existente $V$ , sin alterar las transiciones originales $V \to V$ .

2. Mapeo de Token a Diccionario

Para realizar esta expansión sin modificar la estructura de transición original, los autores introducen una estrategia de mapeo de token a diccionario:

Concepto: Los nuevos tokens no se aprenden como entidades independientes con dinámicas de transición únicas. En su lugar, cada nuevo token $u \in U$ se mapea a una combinación dispersa de tokens existentes en $V$ .
Ajuste de Embebidos: Este mapeo se implementa mediante un algoritmo de ajuste de embebidos. Solo se actualizan (o expanden) los vectores de embebido correspondientes a los tokens recién introducidos. Los embebidos de los tokens originales y el grafo de computación de transiciones del modelo permanecen congelados.
Mecanismo: Al actualizar únicamente el embebido del nuevo token, el modelo aprende a representar el nuevo token como una combinación lineal de estructuras semánticas existentes (embebidos), reutilizando efectivamente las dinámicas de transición aprendidas del vocabulario base.

3. Análisis Teórico

El artículo establece límites de complejidad de muestra para aprender estos nuevos tokens bajo la estrategia de mapeo:

Mapeo Uno a Uno: Si un nuevo token se comporta idénticamente a un solo token existente, la complejidad de muestra escala con el margen de separación KL ( $\gamma$ ) entre las distribuciones de los tokens, independientemente del tamaño total del vocabulario $T$ .
Combinación Dispersa: En el caso más general donde un nuevo token es una combinación dispersa de $s$ tokens existentes, el número requerido de muestras escala como $\tilde{O}(s)$ . Crucialmente, esta complejidad depende de la dispersión de la representación ( $s$ ) y no del tamaño completo del vocabulario ( $T$ ) ni de la dimensionalidad del modelo.
Cadenas de Orden Superior: El marco se extiende a cadenas de Markov de orden superior (generación dependiente del contexto) mediante la reconstrucción del espacio de estados, donde la complejidad de muestra depende del factor de ramificación efectivo del lenguaje natural en lugar del crecimiento exponencial del vocabulario.

Contribuciones Clave

Formulación Markoviana: El artículo formaliza la generación de lenguaje como un proceso de Markov, interpretando la memoria del modelo como una matriz de transición. Plantea la expansión del vocabulario como un problema de expansión del espacio de estados donde el olvido se elimina preservando las dinámicas de transición originales.
Garantías Teóricas: Proporciona garantías de complejidad de muestra que demuestran que aprender nuevo vocabulario es eficiente si los nuevos tokens pueden mapearse de forma dispersa a tokens existentes. El costo escala linealmente con el número de tokens mapeados ( $s$ ), no con el tamaño total del vocabulario.
Algoritmo de Ajuste de Embebidos: Los autores proponen un algoritmo práctico que actualiza únicamente los embebidos de los nuevos tokens. Este método induce olvido cero por construcción, ya que deja intactas las probabilidades de transición originales de token a token.
Validación Empírica: Extensos experimentos validan la teoría en tres escenarios:
- Operadores Aritméticos: Aprender un nuevo token para la multiplicación mostró que el ajuste de embebidos logró alta precisión con datos mínimos mientras preservaba las capacidades de suma (olvido cero), whereas el ajuste fino completo causó olvido catastrófico de la suma.
- Vocabulario Sintético: En palabras sin sentido sintéticas, el ajuste de embebidos logró un rendimiento sólido con olvido cero en la prueba WikiText, mientras que LoRA y el ajuste fino completo incurrieron en un olvido significativo.
- Expansión Multilingüe: Al expandir el vocabulario para español, alemán y árabe, el ajuste de embebidos mantuvo un olvido cercano a cero en inglés mientras lograba la mejor adaptación al idioma objetivo.

Resultados y Significancia

El artículo demuestra que las actualizaciones de pesos a gran escala son innecesarias para adquirir pequeñas cantidades de nuevo conocimiento. Al tratar los nuevos tokens como extensiones dispersas del diccionario de embebidos existente, el método propuesto logra:

Eficiencia de Muestra: Alto rendimiento con significativamente menos muestras de entrenamiento en comparación con el ajuste fino completo.
Olvido Cero: La evidencia teórica y empírica confirma que actualizar únicamente los embebidos de los nuevos tokens preserva completamente las capacidades originales del modelo.
Escalabilidad: El enfoque es computacionalmente eficiente, requiriendo actualizaciones solo en una fracción diminuta de los parámetros (los embebidos de los nuevos tokens).

Los autores afirman que este trabajo cierra la brecha entre la complejidad de muestra teórica y el aprendizaje continuo práctico. Al modelar los LLM como procesos de Markov, proporcionan una justificación formal de por qué el ajuste de embebidos previene el olvido, ofreciendo una alternativa principada a los métodos de ajuste fino eficientes en parámetros basados en heurísticas. El marco sugiere que el "costo" de aprender nuevo conocimiento está gobernado por la dispersión semántica de los nuevos conceptos en relación con el vocabulario existente, y no por el mero tamaño del modelo.