🤖 machine learning

Continual Self-Improvement with Lightweight Experiential Latent Memories

Este artigo propõe um método online eficiente que converte traços de raciocínio transitórios em memórias latentes compactas e modulares por meio de treinamento autossupervisionado leve, permitindo que grandes modelos de linguagem alcancem autoaperfeiçoamento contínuo e desempenho de raciocínio superior sem esquecimento catastrófico.

Autores originais: Vaggelis Dorovatas, Nancy Kalaj, Rahaf Aljundi

Publicado 2026-06-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vaggelis Dorovatas, Nancy Kalaj, Rahaf Aljundi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aluno brilhante, super inteligente (um Modelo de Linguagem Grande) que é incrivelmente bom em resolver problemas de matemática. No entanto, esse aluno tem uma peculiaridade estranha: ele não tem memória do que acabou de aprender.

Toda vez que você lhe dá um novo problema, ele começa do zero. Mesmo que passe horas pensando, cometendo erros, corrigindo a si mesmo e, finalmente, encontrando a resposta certa, assim que ele entrega a solução, todo esse "processo de pensamento" desaparece. Ele não fica mais inteligente para o próximo problema. Ele é como um gênio que esquece o próprio dever de casa no momento em que o entrega.

Este artigo apresenta um sistema chamado ELM (Experiential Latent Memory - Memória Latente Experiencial) para corrigir isso. É uma forma de a IA manter uma "folha de cola" de seu próprio pensamento para que possa melhorar ao longo do tempo, sem precisar de um professor para corrigir seu trabalho.

Veja como funciona, dividido em conceitos simples:

1. O Problema: Por que "Ler Notas" Não Funciona

Os pesquisadores primeiro tentaram uma abordagem simples: Aprendizado em Contexto (In-Context Learning - ICL).

A Analogia: Imagine que o aluno tenta aprender lendo uma transcrição de seus próprios pensamentos anteriores. "Da última vez que resolvi um problema de geometria, escrevi: 'Passo 1: Encontre o ângulo. Passo 2: Use a fórmula.'"
O Resultado: Isso não funcionou bem. O artigo descobriu que apenas ler o texto da solução é como ler uma receita sem nunca cozinhar a refeição. Isso perde o "sabor" do processo de pensamento real — os becos sem saída, os níveis de confiança e a lógica oculta que aconteceu dentro do céreã do modelo, mas que nunca chegou ao texto. É superficial demais para ajudar com novos problemas complexos.

2. A Solução: O Sistema de "Flashcards"

Em vez de escrever toda a história, os pesquisadores criaram um sistema onde a IA cria "Flashcards" minúsculos e invisíveis para cada problema que resolve.

O Processo:
1. O Teste: A IA tenta resolver um problema de matemática.
2. A Autoverificação: Como não há um professor, a IA gera muitas respostas diferentes para o mesmo problema. Ela então olha para elas e diz: "Ok, 7 de 10 dizem que a resposta é 42. Então, 42 provavelmente está certa". Isso é chamado de Votação por Maioria (Majority Voting). Funciona como um sistema de autocrítica.
3. A Lição: A IA pega esse problema específico e sua resposta autocrítica e treina um "Flashcard" minúsculo e leve (chamado de Soft Prompt).
4. O Armazenamento: Este Flashcard é armazenado em um "Pool de Memória". Ele é incrivelmente pequeno (apenas 0,001% do tamanho do modelo) para não diminuir a velocidade de nada.

3. Usando os Flashcards: O "Bibliotecário"

Quando um novo problema de matemática chega, o sistema age como um bibliotecário:

Busca: Ele olha para o novo problema e pergunta: "Temos algum Flashcard em nosso pool que seja semelhante a este?"
Recuperação: Se encontrar uma correspondência, ele retira esse Flashcard minúsculo e o anexa ao novo problema.
A Dupla Verificação: A IA resolve o problema duas vezes: uma sem o Flashcard (Zero-Shot) e uma com o Flashcard.
O Veredito: Um "Verificador" (um guarda de segurança) compara as duas respostas. Se a versão com o Flashcard for melhor, ele usa essa. Se o Flashcard piorar as coisas (porque às vezes a autocrítica estava errada), o Veredito escolhe a resposta original.

4. Por que Isso é Importante

Sem Esquecimento: Como a IA não reescreve todo o seu cérebro (o que causaria o esquecimento de habilidades antigas), ela apenas adiciona esses Flashcards pequenos e isolados. É como adicionar um novo capítulo a um livro sem apagar os antigos.
Eficiência: Não precisa de um supercomputador para aprender. Ela aprende sobre a marcha, um problema de cada vez, usando pouquíssimos passos.
Melhor que o Treinamento Offline: Surpreendentemente, o artigo descobriu que aprender com um problema de cada vez usando este método muitas vezes funciona melhor do que treinar o modelo inteiro em um conjunto massivo de dados de milhares de problemas de uma só vez. Parece que a IA aprende a "essência" do raciocínio melhor quando se concentra em uma experiência específica por vez.

Resumo

Pense no ELM como dar a um gênio esquecido um caderno de bolso personalizado e autoatualizável.

Em vez de escrever toda a história de um problema, ele escreve uma "dica" minúscula e invisível baseada no que aprendeu.
Ele verifica seu próprio trabalho para garantir que a dica seja boa.
Quando um novo problema chega, ele verifica seu caderno em busca de uma dica semelhante.
Se a dica ajudar, ele a utiliza; se ela atrapalhar, ele a ignora.

O resultado é um sistema que fica mais inteligente cada vez que resolve um problema, transformando seu próprio "tempo de pensamento" em conhecimento permanente e reutilizável, tudo isso sem precisar de um professor humano.

Resumo Técnico: Melhoria Contínua de Si Mesmo com Memórias Latentes Experienciais Leves

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) atualmente alcançam capacidades de raciocínio robustas por meio da escala de computação em tempo de inferência (ex: Cadeia de Pensamento/Chain-of-Thought, pensamento estendido). No entanto, esses modelos permanecem fundamentalmente estáticos (stateless) após o implante. Eles descartam traços de raciocínio ricos e autogerados durante a inferência, falhando em acumular experiência ou em converter o esforço computacional em conhecimento reutilizável para problemas futuros.

Abordagens existentes para resolver isso enfrentam limitações significativas:

Aprendizado em Contexto (ICL) Livre de Treinamento: Métodos que armazenam traços de raciocínio textuais brutos sofrem de um "gargalo textual". Eles armazenam saídas superficiais em vez da estrutura de raciocínio subjacente ou estados intermediários, levando a uma generalização rasa e à falha de transferência eficaz entre tarefas.
Aprendizado por Reforço (RL) Offline: Embora métodos de RL não supervisionado usando recompensas internas (ex: votação majoritária) mostrem promessa, eles operam tipicamente em um regime offline, exigindo acesso ao conjunto de dados de teste completo antecipadamente. Além disso, dependem de atualizações do modelo completo, o que acarreta risco de esquecimento catastrófico, instabilidade de otimização e não escala bem conforme os dados de tempo de teste se acumulam devido a sinais de supervisão próprios interferentes.

O desafio central é permitir uma melhoria contínua de si mesmo verdadeiramente online, onde um LLM aprenda de um fluxo de problemas um por um, sem supervisão externa, sem acesso prévio a dados futuros e sem esquecer suas capacidades iniciais.

Metodologia: Memória Latente Experiencial (ELM)

Os autores propõem o ELM, um método online que destila a computação em tempo de inferência em memórias latentes compactas e modulares. A abordagem consiste em três componentes principais:

1. Criação de Memória (Aprendizado por Amostra)

Em vez de atualizar o modelo principal, o sistema aprende uma memória leve e específica para cada problema encontrado.

Sinal de Recompensa Interno: Na ausência de rótulos de verdade fundamental (ground-truth), o modelo gera múltiplas respostas candidatas ( $N$ ) para uma determinada entrada. Uma resposta de consenso é derivada via votação majoritária, servindo como um rótulo substituto (proxy).
Objetivo de Treinamento: O modelo é treinado usando Otimização de Política Relativa de Grupo (GRPO). A vantagem é calculada normalizando as recompensas dentro do grupo de saídas amostradas em relação ao consenso.
Parametrização: A memória é parametrizada como um Soft Prompt (uma sequência de vetores contínuos treináveis prefixados à entrada).
- Eficiência: Esses soft prompts constituem apenas $\sim 0,001\%$ dos parâmetros totais do modelo.
- Isolamento: O modelo base permanece congelado. Cada memória é treinada independentemente por alguns passos de gradiente (ex: 10 passos) usando o sinal de recompensa interno. Este design modular evita a interferência entre amostras e evita o esquecimento catastrófico.

2. Recuperação de Memória

Quando uma nova amostra de teste chega, o sistema recupera a memória mais relevante do pool.

Construção de Chave: As chaves são derivadas ou do embedding do soft prompt (Recuperação de Entrada) ou pelo agrupamento de ativações das projeções internas de Chave-Valor (KV) do modelo (Recuperação de KV).
Correspondência (Matching): A recuperação é realizada computando a similaridade de cosseno entre o vetor de consulta da nova entrada e as chaves de memória armazenadas.

3. Roteamento de Resposta (Verificação)

Como as memórias são aprendidas via autossupervisão, elas podem ser ruidosas e ocasionalmente degradar o desempenho (transformando uma resposta zero-shot correta em uma incorreta).

Geração Dupla: Para uma dada entrada, o sistema gera tanto uma resposta zero-shot quanto uma resposta aumentada por memória.
Verificação: Se as respostas concordarem, a resposta é retornada. Se discordarem, um Verificador (um Modelo de Recompensa de Processo/Process Reward Model) seleciona a resposta de maior pontuação. Este mecanismo de roteamento garante confiabilidade e mitiga regressões induzidas pela memória.

Principais Contribuições

Memórias Experienciais Latentes: Introdução de um método para aprender representações latentes modulares e de nível de instância (soft prompts) diretamente da computação em tempo de teste, capturando estruturas de raciocínio abstratas em vez de texto superficial.
Protocolo Contínuo Online: Um framework estritamente online onde os modelos melhoram continuamente conforme a experiência se acumula, sem necessidade de acesso prévio ao conjunto de dados completo ou rótulos externos.
Eficiência e Modularidade: Um design que isola a experiência em unidades leves ( $\sim 0,001\%$ de parâmetros), permitindo um aprendizado estável sem atualizações completas do modelo ou esquecimento catastrófico.
Validação Empírica: Demonstração de que o aprendizado de amostras individuais com recompensas internas pode gerar ganhos de generalização que rivalizam ou superam o treinamento offline de conjunto de dados completo.

Resultados Experimentais

Os autores avaliaram o ELM em benchmarks desafiadores de raciocínio matemático (MATH500, AMC23, AIME24) utilizando Llama-3.1-8B-Instruct e Qwen2.5-Math-7B.

Desempenho vs. Baselines:
- O ELM supera significativamente as baselines de zero-shot e ICL de dados brutos.
- No MATH500, o ELM (treinado inteiramente online sem acesso prévio ao dataset) superou tanto o GRPO offline de conjunto de dados completo quanto as baselines de TTRL.
- No AMC23 e AIME24, o ELM melhorou substancialmente o desempenho base (ex: +12,5 pontos no Qwen para o AMC23), frequentemente igualando ou excedendo os resultados de treinamento offline de conjunto de dados completo.
Generalização: Demonstrou-se que as memórias latentes individuais generalizam efetivamente através de todo o conjunto de teste, com os soft prompts superando as parametrizações baseadas em LoRA em capacidade de generalização.
Transferência entre Datasets: Memórias treinadas em um dataset (ex: AIME24) transferiram-se efetivamente para outro (ex: AMC23), demonstrando que as representações aprendidas capturam estruturas de raciocínio generalizáveis.
Comparação com Treinamento Offline: Surpreendentemente, o treinamento em amostras individuais com recompensas internas frequentemente rendeu melhor generalização do que o treinamento do modelo completo no conjunto de dados inteiro, sugerindo que atualizações de modelo completo podem sofrer de incompatibilidade de capacidade ou interferência em regimes de poucos dados.

Significância e Alegações

O artigo posiciona o ELM como um passo fundamental em direção a modelos capazes de auto-melhoria contínua. Sua significância reside em:

Preencher a Lacuna: Ele converte com sucesso a computação transitória e cara de tempo de inferência em conhecimento persistente e reutilizável sem supervisão externa.
Escalabilidade: Ao utilizar memórias modulares e leves, o método escala com o acúmulo de experiência sem o overhead computacional ou os problemas de estabilidade associados ao ajuste fino (fine-tuning) completo do modelo.
Superação de Limitações: Aborda o "gargalo textual" do ICL ao operar no espaço latente e resolve a "restrição offline" do RL ao funcionar em um cenário de streaming real.

Os autores reconhecem limitações, observando que a qualidade da memória varia (algumas são ruidosas) e que a dependência atual de um verificador é uma mitigação necessária. Eles deixam o trabalho futuro para explorar a composicionalidade de memória, estratégias de expulsão (eviction) e métodos para identificar amostras de alta qualidade para a criação de memória. No entanto, afirmam que o ELM fornece um caminho viável e eficiente para que os LLMs internalizem suas explorações de raciocínio e melhorem constantemente.