🤖 machine learning

Memory as a Markov Matrix: Sample Efficient Knowledge Expansion via Token-to-Dictionary Mapping

Este artigo propõe um framework eficiente em amostras para expansão contínua de conhecimento em modelos de linguagem de grande escala, representando a memória como uma matriz de transição de Markov e utilizando uma estratégia de mapeamento de token para dicionário com atualizações mínimas de embeddings para alcançar zero esquecimento catastrófico.

Autores originais: Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

Publicado 2026-05-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Linguagem de Grande Escala (LLM) como uma biblioteca gigante e altamente organizada de histórias. Toda vez que o modelo lê uma frase, é como se um bibliotecário olhasse para a última palavra e adivinhasse qual palavra vem a seguir.

Geralmente, se você quiser ensinar a esse bibliotecário uma palavra totalmente nova (como um novo termo científico ou uma gíria), você precisa retreinar toda a biblioteca. Mas aqui está o problema: quando você retreina toda a biblioteca para aprender a nova palavra, o bibliotecário frequentemente esquece como contar as histórias antigas corretamente. Isso é chamado de "esquecimento catastrófico".

Este artigo propõe uma maneira inteligente e de baixo esforço de adicionar novas palavras sem quebrar as antigas. Aqui está a explicação usando analogias simples:

1. A Biblioteca como um "Mapa de Tráfego" (A Ideia de Markov)

Os autores veem o modelo de linguagem não como um cérebro complexo, mas como um mapa de tráfego.

Os Nós: Cada palavra no dicionário é uma cidade no mapa.
As Estradas: As conexões entre as palavras são estradas. Se você está na cidade "O", há estradas específicas levando para "gato", "cachorro" ou "sol".
A Memória: A "memória" do modelo é apenas o mapa dessas estradas. Ele sabe que "O" geralmente leva a "gato" com uma certa probabilidade.

2. O Problema: Adicionar uma Nova Cidade

Quando você quer ensinar ao modelo uma nova palavra (vamos chamá-la de "Zorp"), você está essencialmente adicionando uma nova cidade ao mapa.

O Jeito Antigo (Ajuste Fino Completo): Você tenta redesenhar todo o mapa para incluir "Zorp". Ao fazer isso, você acidentalmente apaga ou altera as estradas entre as cidades antigas. O bibliotecário esquece que "O" leva a "gato" e começa a dizer que "O" leva a "Zorp" em vez disso.
O Jeito do Artigo: Em vez de redesenhar todo o mapa, você apenas adiciona um poste de sinalização para "Zorp". Você diz: "Ei, se você ver 'Zorp', trate-o exatamente como você trata 'O' ou 'Gato'".

3. A Solução: O Mapa "Token para Dicionário"

O artigo sugere uma estratégia chamada Mapeamento Token para Dicionário.

Imagine que você tem uma nova palavra estranha "Zorp". Em vez de ensinar ao modelo o significado de "Zorp" do zero, você diz ao modelo: "Quando você ver 'Zorp', finja apenas que é a palavra 'Estrela'".
O modelo não precisa aprender novas estradas para "Zorp". Ele só precisa saber que "Zorp" aponta para o mesmo destino que "Estrela".
Como o modelo não precisa alterar as estradas existentes (as probabilidades de transição entre palavras antigas), ele nunca esquece as histórias antigas.

4. A "Eficiência de Amostra" (Por que é rápido)

Os autores provam matematicamente que isso é incrivelmente eficiente.

A Analogia: Se você quer aprender uma nova palavra, não precisa reler toda a biblioteca novamente. Você só precisa ler alguns exemplos de como essa nova palavra é usada em frases.
A Matemática: O número de exemplos que você precisa depende de quantas palavras existentes você mapeia a nova palavra. Se você mapear "Zorp" para apenas 5 palavras comuns, você precisará apenas de uma quantidade ínfima de dados para aprendê-la. Você não precisa se preocupar com o tamanho de toda a biblioteca (que pode ter 100.000 palavras).

5. O Experimento: Ensinar Matemática e Palavras Fictícias

Os pesquisadores testaram isso com dois cenários:

O Operador Mágico: Eles ensinaram a um modelo um símbolo especial (como ⟨spec⟩) que significava "multiplicar".
- Resultado: O modelo aprendeu a multiplicar usando o novo símbolo muito rapidamente.
- A Vitória: Crucialmente, o modelo ainda sabia como somar números. Em outros métodos, aprender o novo símbolo fez o modelo esquecer como somar. Este método manteve as habilidades de adição perfeitas.
Palavras Fictícias: Eles inventaram 100 palavras sem sentido (como "glor" e "zorp") e as colocaram em frases.
- Resultado: O modelo aprendeu a usar essas palavras fictícias corretamente sem esquecer como falar inglês.
- Comparação: Outros métodos (como ajuste fino padrão ou LoRA) fizeram o modelo esquecer o inglês enquanto aprendia as palavras fictícias. O novo método causou zero esquecimento.

Resumo

Pense neste método como adicionar um novo cômodo a uma casa sem derrubar as paredes dos cômodos existentes.

Jeito Antigo: Para adicionar um novo cômodo, você reconstrói toda a fundação. Os cômodos antigos racham e desmoronam.
Jeito Novo: Você constrói o novo cômodo e anexa uma porta que leva diretamente a um corredor existente. O corredor antigo permanece exatamente o mesmo, e o novo cômodo se encaixa perfeitamente.

O artigo afirma que esta é uma forma matematicamente comprovada de expandir o vocabulário de um modelo de linguagem com muito poucos dados e absolutamente nenhuma perda de seu conhecimento anterior.

Resumo Técnico: Memória como uma Matriz de Markov

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) enfrentam um desafio crítico na aprendizagem contínua: incorporar novos conhecimentos (por exemplo, novo vocabulário, entidades ou domínios) sem sofrer de esquecimento catastrófico. Abordagens existentes, como ajuste fino completo, regularização ou métodos baseados em replay, frequentemente degradam comportamentos previamente aprendidos à medida que novos conhecimentos são injetados. Além disso, esses métodos geralmente dependem de atualizações de pesos em grande escala que são frequentemente irreversíveis e computacionalmente caras. A questão central abordada por este trabalho é: Como os LLMs podem incorporar uma pequena quantidade de novo conhecimento sem esquecimento catastrófico?

Metodologia

1. Formulação Markoviana da Geração de Linguagem

Os autores propõem um framework principial que modela a geração de linguagem autoregressiva como um processo de Markov sobre tokens.

Espaço de Estados: Os tokens correspondem aos estados da cadeia de Markov.
Matriz de Transição: A memória do modelo é representada por uma matriz de transição de Markov, onde a probabilidade do próximo token $p_\theta(v | u)$ define a dinâmica de transição do token $u$ para $v$ .
Expansão de Conhecimento como Expansão de Estado: Incorporar novos tokens ( $U$ ) é formalizado como expandir o espaço de estados de $V$ para $V \cup U$ .
Condição de Esquecimento Zero: Para prevenir o esquecimento, as probabilidades de transição entre tokens preexistentes ( $V \times V$ ) devem permanecer invariantes. Novos tokens são integrados definindo suas distribuições de transição ( $q(u)$ ) sobre o vocabulário existente $V$ , sem alterar as transições originais $V \to V$ .

2. Mapeamento Token-Dicionário

Para realizar essa expansão sem modificar a estrutura de transição original, os autores introduzem uma estratégia de mapeamento token-dicionário:

Conceito: Novos tokens não são aprendidos como entidades independentes com dinâmicas de transição únicas. Em vez disso, cada novo token $u \in U$ é mapeado para uma combinação esparsa de tokens existentes em $V$ .
Ajuste de Embedding: Esse mapeamento é implementado via um algoritmo de ajuste de embedding. Apenas os vetores de embedding correspondentes aos tokens recém-introduzidos são atualizados (ou expandidos). Os embeddings de tokens originais e o grafo de computação de transição do modelo permanecem congelados.
Mecanismo: Ao atualizar apenas o embedding do novo token, o modelo aprende a representar o novo token como uma combinação linear de estruturas semânticas existentes (embeddings), reutilizando efetivamente as dinâmicas de transição aprendidas do vocabulário base.

3. Análise Teórica

O artigo estabelece limites de complexidade de amostra para aprender esses novos tokens sob a estratégia de mapeamento:

Mapeamento Um-para-Um: Se um novo token se comporta identicamente a um único token existente, a complexidade de amostra escala com a margem de separação KL ( $\gamma$ ) entre as distribuições de tokens, independente do tamanho total do vocabulário $T$ .
Combinação Esparsa: No caso mais geral onde um novo token é uma combinação esparsa de $s$ tokens existentes, o número necessário de amostras escala como $\tilde{O}(s)$ . Crucialmente, essa complexidade depende da esparsidade da representação ( $s$ ) e não do tamanho total do vocabulário ( $T$ ) ou da dimensionalidade do modelo.
Cadeias de Ordem Superior: O framework estende-se a cadeias de Markov de ordem superior (geração dependente de contexto) reconstituindo o espaço de estados, onde a complexidade de amostra depende do fator de ramificação efetivo da linguagem natural e não do crescimento exponencial do vocabulário.

Principais Contribuições

Formulação Markoviana: O artigo formaliza a geração de linguagem como um processo de Markov, interpretando a memória do modelo como uma matriz de transição. Ele enquadra a expansão de vocabulário como um problema de expansão de espaço de estados onde o esquecimento é eliminado preservando as dinâmicas de transição originais.
Garantias Teóricas: Fornece garantias de complexidade de amostra mostrando que aprender novo vocabulário é eficiente se os novos tokens puderem ser mapeados esparsamente para tokens existentes. O custo escala linearmente com o número de tokens mapeados ( $s$ ), e não com o tamanho total do vocabulário.
Algoritmo de Ajuste de Embedding: Os autores propõem um algoritmo prático que atualiza apenas os embeddings de novos tokens. Esse método induz esquecimento zero por construção, pois deixa as probabilidades de transição token-a-token originais intocadas.
Validação Empírica: Experimentos extensivos validam a teoria em três cenários:
- Operadores Aritméticos: Aprender um novo token para multiplicação mostrou que o ajuste de embedding alcançou alta precisão com dados mínimos enquanto preservava capacidades de adição (esquecimento zero), whereas o ajuste fino completo causou esquecimento catastrófico da adição.
- Vocabulário Sintético: Em palavras sem sentido sintéticas, o ajuste de embedding alcançou desempenho forte com esquecimento zero no benchmark WikiText, enquanto LoRA e ajuste fino completo incorreram em esquecimento significativo.
- Expansão Cross-lingual: Ao expandir vocabulário para espanhol, alemão e árabe, o ajuste de embedding manteve esquecimento próximo de zero em inglês enquanto alcançou a melhor adaptação ao idioma-alvo.

Resultados e Significância

O artigo demonstra que atualizações de pesos em grande escala são desnecessárias para adquirir pequenas quantidades de novo conhecimento. Ao tratar novos tokens como extensões esparsas do dicionário de embeddings existente, o método proposto alcança:

Eficiência de Amostra: Alto desempenho com significativamente menos amostras de treinamento comparado ao ajuste fino completo.
Esquecimento Zero: Evidências teóricas e empíricas confirmam que atualizar apenas embeddings de novos tokens preserva totalmente as capacidades originais do modelo.
Escalabilidade: A abordagem é computacionalmente eficiente, exigindo atualizações apenas de uma fração minúscula dos parâmetros (os embeddings dos novos tokens).

Os autores afirmam que este trabalho preenche a lacuna entre complexidade de amostra teórica e aprendizagem contínua prática. Ao modelar LLMs como processos de Markov, eles fornecem uma justificação formal para por que o ajuste de embedding previne o esquecimento, oferecendo uma alternativa principial a métodos de ajuste fino eficiente em parâmetros baseados em heurísticas. O framework sugere que o "custo" de aprender novo conhecimento é governado pela esparsidade semântica dos novos conceitos em relação ao vocabulário existente, e não pelo tamanho puro do modelo.