🤖 machine learning

When Does Continual Learning Require Learning

Este artigo argumenta que o aprendizado contínuo para grandes modelos de linguagem deve ser reestruturado em torno do aumento da competência diante de mudanças espaciais e temporais, demonstrando, por meio de um protocolo de avaliação unificado, que nenhum método único se destaca em todos os cenários e que a estratégia ideal — seja atualizando os pesos do modelo ou utilizando andaimes externos — depende fundamentalmente do padrão específico de mudança ambiental.

Autores originais: Anne Harrington, Nayan Saxena, Michael Murphy, Anastasia Borovykh, Zeyu Yun, Sridhar Kamath, Ara Eindra Kyi, Trevor Darrell, Jitendra Malik, Yutong Bai

Publicado 2026-07-10

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Anne Harrington, Nayan Saxena, Michael Murphy, Anastasia Borovykh, Zeyu Yun, Sridhar Kamath, Ara Eindra Kyi, Trevor Darrell, Jitendra Malik, Yutong Bai

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo robô superinteligente que sabe tudo até uma certa data. Você quer continuar ensinando coisas novas a ele conforme o mundo muda, sem que ele esqueça o que já sabia ou fique confuso. Por muito tempo, os cientistas pensaram que o maior problema era apenas o "esquecimento" — como um aluno que estuda para uma prova de história e depois esquece instantaneamente como fazer matemática. Mas este artigo, intitulado "Quando o Aprendizado Contínuo Requer Aprender" (When Does Continual Learning Require Learning), argumenta que o verdadeiro desafio é muito mais interessante: trata-se de descobrir como o robô deve aprender quando o mundo muda de diferentes maneiras.

Os autores criaram um parquinho gigante com quatro tipos diferentes de "mudanças no mundo" para testar oito estratégias de aprendizado distintas. Eles não apenas adivinharam; eles realizaram experimentos reais usando um cérebro de robô específico (Qwen3-8B) e observaram exatamente o que acontecia. Aqui está o que eles descobriram, dividido pelas quatro formas como o mundo pode mudar.

1. O Desafio do "Novo Assunto" (Espaço)

Imagine que seu amigo robô é ótimo em consertar carros, mas de repente você pede que ele cozinhe comida italiana e, depois, que realize uma cirurgia. Estas são habilidades totalmente diferentes.

O Teste: Eles ensinaram ao robô três tarefas totalmente não relacionadas: usar ferramentas, fazer matemática financeira e biologia.
O Resultado: Alguns métodos, como a Otimização de Prompt (dar novas instruções ao robô via mensagem de chat), foram como um velocista. Eles aprenderam a nova tarefa super rápido. Mas assim que passavam para a próxima tarefa, degradavam pesadamente nas anteriores. Era como um velocista que corre os 100 metros rasos em tempo recorde, mas tropeça e cai imediatamente depois.
O Vencedor: Métodos que realmente reescreviam o cérebro do robô (chamados de métodos baseados em "Destilação", como SDFT e SDPO) eram mais lentos, porém muito mais constantes. Eles consegravam acumular conhecimento ao longo do tempo. Notavelmente, o SDFT foi o único método que terminou com pontuações em todas as três tarefas que estavam no nível ou acima de onde o robô começou do zero, conseguindo manter as habilidades antigas enquanto adicionava as novas.

2. O Desafio da "Atualização de Fato" (Tempo: Discreto)

Agora imagine que o robô sabe que "A capital da França é Paris". Mas então, em uma reviravolta estranha do destino, a capital realmente muda para Lyon (vamos fingir!). O robô precisa atualizar apenas esse fato sem esquecer que Paris costumava ser a capital, ou que Londres é a capital do Reino Unido.

O Teste: Eles deram ao robô um fluxo de atualizações da Wikipedia onde fatos específicos mudavam mês a mês.
O Resultado: Os "velocistas" (Otimização de Prompt) foram ótimos em aprender o novo fato imediatamente. Eles escreveram "Lyon" em suas instruções e pronto. Mas, ao fazer isso, acabaram bagunçando outros fatos que não tinham mudado, como a capital da Alemanha. Eles estavam ansiosos demais para atualizar.
A Surpresa: Os métodos que reescreviam o cérebro (SDFT e SDPO) na verdade tiveram dificuldades aqui. Eles tentaram misturar o novo fato com o antigo e acabaram degradando a precisão de fatos que deveriam permanecer estáveis.
O Verdadeiro Herói: Um método específico usando Aprendizado por Reforço (GRPO) foi o único método de "atualização de pesos" que conseguiu atualizar o fato para "Lyon" sem que seus fatos estáveis se movessem na direção oposta. No entanto, vale notar que os métodos de Compressão de Contexto (como Cartridges) foram os que preservaram os fatos estáveis de forma mais limpa de todos, mesmo que não tenham aprendido os novos fatos tão bem.

3. O Desafio da "Tendência Ruidosa" (Tempo: Drift)

Imagine que você está tentando prever se uma ação vai subir ou descer com base em um relatório financeiro de 10.000 palavras. As regras do mercado mudam lentamente ao longo dos anos. Às vezes, uma frase significa "comprar" e, cinco anos depois, a mesma frase significa "vender". O sinal é fraco e ruidoso.

O Testo: Eles alimentaram o robô com relatórios financeiros de 2015 a 2020, um ano de cada vez, e pediram para ele prever o futuro.
O Resultado: Os "velocistas" (Otimização de Prompt) tentaram encontrar regras simples, como "se a palavra 'risco' aparecer, venda". Mas essas regras eram apenas palpites de sorte para aquele ano específico. Quando o mercado mudava, o robô falhava completamente.
O Vencedor: Os métodos de Destilação (SDFT) foram muito bons nisso, mantendo sua capacidade de prever anos futuros enquanto mantinham o desempenho passado estável. No entanto, o método de Compressão de Contexto (Cartridges) foi, na verdade, o método mais estável testado, pairando em torno da mesma precisão durante toda a cadeia, sem degradar ou sofrer overfitting. Era como um velho marinheiro experiente que sabe que o oceano muda lentamente, em vez de um marinheiro que entra em pânico a cada onda.

4. O Desafio do "Agente" (Tempo: Acúmulo)

Finalmente, imagine que o robô está jogando um jogo onde ele tem que realizar uma série de etapas, como "Criar um rótulo, renomeá-lo, depois enviar um e-mail". A questão é que as próprias ações do robô mudam o estado do jogo para a próxima etapa. Se ele errar a etapa 1, a etapa 2 torna-se impossível.

O Testo: Eles fizeram o robô jogar uma cadeia de tarefas web (como gerenciar e-mails) onde o comprimento da cadeia crescia de 1 etapa para 10 etapas.
O Resultado: Sem aprendizado, o robô colapsaria e falharia após apenas algumas etapas. Mas quando deixaram o robô aprender com suas tentativas passadas (seja atualizando seu cérebro ou mantendo um "manual de instruções"), ele melhorou muito.
A Armadilha: Mesmo com o aprendizado, o robô ainda piorava à medida que as cadeias ficavam mais longas. Quando chegavam às 10 etapas, as taxas de sucesso caíam significamente. Isso sugere que, embora o aprendizado ajude, existe um limite para o quanto um robô pode manter em sua memória quando o jogo se torna complicado.

A Grande Conclusão

O artigo sugere que não existe uma única "solução mágica" para ensinar robôs a aprender para sempre.

Se o mundo muda fornecendo novas habilidades, você precisa reconfigurar o cérebro de forma lenta e constante (especificamente usando métodos como o SDFT).
Se o mundo muda atualizando um fato específico, você precisa de um método que possa editar o cérebro cirurgicamente (como o GRPO) ou usar memória externa para evitar quebrar outras coisas.
Se o mundo muda através de tendências lentas e ruidosas, você precisa de um método que ignore o ruído e encontre o padrão estável (como o Cartridges ou o SDFT).
Se o mundo muda através do acúmulo de estado (como um jogo longo), você precisa de experiência, mas mesmo assim, fica mais difícil quanto mais longa a jornada.

Os autores não apenas adivinharam isso; eles mediram através de milhares de exemplos. Eles descobriram que diferentes tipos de mudança exigem fundamentalmente diferentes formas de aprender. Não se trata apenas de "aprender mais"; trata-se de saber como aprender quando as regras do jogo mudam.

Resumo Técnico: Quando o Aprendizado Contínuo Requer Aprender

Definição do Problema

O artigo argumenta que o enquadramento atual do aprendizado contínuo (CL - Continual Learning) em Grandes Modelos de Linguagem (LLMs) está incompleto. Tradicionalmente, o CL é definido como o problema de mitigar o esquecimento catastrófico — aprender a tarefa B sem perder a tarefa A. Os autores sustentam que essa visão é insuficiente para a implantação moderna de LLMs, onde os modelos devem aumentar sua competência conforme o mundo muda. Eles propõem uma redefinição: o aprendizado contínuo é o problema de aumentar a competência do modelo conforme o mundo muda.

Para analisar isso, os autores disparam a mudança ambiental ao longo de dois eixos:

Espaço (Mudança de Domínio): O modelo encontra novos domínios ou tarefas (ex: passar do uso de ferramentas para finanças).
Tempo (Deriva Temporal): A tarefa permanece fixa, mas a distribuição subjacente dos dados muda. Isso é subdividido em:
- Tendências Lentas: Mudanças graduais (ex: relatórios financeiros anuais) que exigem alinhamento com estruturas persistentes.
- Mudanças de Fatos Discretos: Atualizações súbitas de conhecimentos específicos (ex: revisões da Wikipedia) que exigem a reescrita de crenças específicas sem corromper o conhecimento estável.
- Acúmulo Agêntico: O estado do ambiente deriva como uma consequência direta das próprias ações prévias do agente (ex: navegação web de múltiplos passos), criando um "problema de quadro" (frame problem) onde o modelo deve decidir quais crenças estão obsoletas.

Metodologia

Os autores introduzem um protocolo unificado e agnóstico ao mecanismo para avaliar métodos de CL em pé de igualdade. Em vez de adaptar os benchmarks para mecanismos de atualização específicos, eles reestruturam benchmarks amplamente utilizados de LLMs como problemas sequenciais.

O Protocolo:

Um aprendiz processa estágios $T_1, \dots, T_K$ em ordem fixa.
Entre os estágios, um operador de atualização $\theta_k = U_k(\theta_{k-1}, D^{\text{tr}}_k)$ é aplicado.
$U_k$ é irrestrito: pode modificar pesos, editar prompts de sistema, escrever em memória externa ou não realizar nenhuma atualização.
Avaliação: Uma "matriz de esquecimento" é gerada avaliando o modelo no estágio $i$ $i$ nos conjuntos de teste de todos os estágios $j$ $j$ . Isso gera duas métricas:
- Transferência Retroativa (BWT - Backward Transfer): Mede se estágios posteriores prejudicam os anteriores.
- Transferência Avante (FWT - Forward Transfer): Mede se estágios anteriores preparam o modelo para futuros estágios não vistos.

Métodos Avaliados:
Oito métodos de quatro famílias foram testados em uma base Qwen3-8B:

Otimização de Prompt: GEPA (refletir-e-mutar) e ACE (manual de diretrizes em markdown).
Aprendizado Supervisionado Offline: SFT (ajuste fino total) e SDFT (autodestilação).
Aprendizado por Reforço Online: GRPO (otimização de política relativa de grupo) e SDPO (DPO sequencial).
Compressão de Contexto: Cartridges (adaptadores de cache KV aprendidos) e In-place TTT (treinamento em tempo de teste).

Configurações Experimentais:

Mudança de Domínio: Treinamento sequencial em ToolUse, FinQA e SciKE-Bio.
Atualização de Fato Discreto (TempWiki): Aprender novos fatos a partir de diffs da Wikipedia enquanto monitora fatos estáveis para detectar "memorização catastrófica".
Deriva Temporal Ruidosa: Prever movimentos de ações a partir de relatórios 10-K (2015–2020), onde os sinais são fracos e os regimes mudam.
Tarefas Agênticas: Cadeias sequenciais no WebArena-Infinity (ex: Gmail) onde o estado persiste através dos passos.

Principais Resultados

O estudo revela trocas consistentes (trade-offs) entre as famílias de métodos, sugerindo que nenhum único método lida com todos os regimes:

Métodos Baseados em Prompt (GEPA, ACE):
- Pontos Fortes: Ajustam-se rapidamente a novos estágios e alcançam forte acurácia retroativa.
- Pontos Fracos: Sofrem de esquecimento catastrófico severo em tarefas futuras. No cenário TempWiki, eles sobrescrevem o conhecimento estável para se ajustar a novos fatos. Na tarefa 10-K, eles sofrem overfitting a heurísticas transitórias, falhando em generalizar para frente.
- Agêntico: O ACE melhora em relação às bases de zero-shot ao acumular orientação procedimental.
Métodos Baseados em Destilação (SDFT, SDPO):
- Pontos Fortes: Acumulam conhecimento de forma estável ao longo do tempo com degradação mínima das capacidades passadas. O SDFT é o único método que mantém ou excede as bases de zero-shot em todas as tarefas de mudança de domínio.
- Pontos Fracos: Têm dificuldade em incorporar rapidamente novas informações ou atualizar fatos obsoletos. No cenário TempWiki, eles degradam fatos estáveis ao tentar interpolar novos dados. Mostram forte transferência avante na deriva temporal ruidosa (10-K), mas falham em aprender atualizações de fatos discretos de forma eficaz.
Compressão de Contexto (Cartridges, In-place TTT):
- Pontos Fortes: Melhoram a eficiência e o gerenciamento de memória. São menos sensíveis a mudanças de domínio do que os métodos de prompt.
- Pontos Fracos: Não melhoram substancialmente a capacidade de aprender novas tarefas ou acumular capacidades. Na tarefa 10-K, eles nem adquirem nem degradam, falhando em absorver tendências de movimento lento.
Aprendizado por Reforço Online (GRPO, SDPO):
- Pontos Fortes: Adaptam-se mais efetivamente a atualizações de conhecimento discreto (TempWiki), com o GRPO mostrando os ganhos mais nítidos no aprendizado de novos fatos enquanto preserva o conhecimento estável melhor do que outros métodos de atualização de pesos.
- Pontos Fracos: Altamente sensíveis a sinais de recompensa ruidosos. Na tarefa 10-K, o GRPO degrada significativamente tanto em anos passados quanto futuros devido a recompensas fracas e ruidosas.
Acúmulo Agêntico:
- Tanto os métodos baseados em prompt (ACE) quanto os baseados em peso (SFT) acumulam experiência e superam as bases de zero-shot em cada comprimento de cadeia. No entanto, o sucesso absoluto ainda decai conforme a cadeia se alonga, indicando que o estado acumulado eventualmente sobrecarrega a capacidade do modelo de fundamentar ações.

Principais Contribuições

Estrutura Unificada: Formaliza o aprendizado contínuo como o aumento da competência ao longo do tempo, definindo a mudança ao longo dos eixos de espaço (domínio) e tempo (deriva, fatos, estado agêntico).
Protocolo Agnóstico ao Mecanismo: Introduz um protocolo que permite a comparação justa de atualizações de prompt, peso e arquitetura em uma base comum.
Suíte de Benchmarks Sequenciais: Adapta benchmarks padrão (FinQA, 10-K, TempWiki, WebArena) em tarefas sequenciais para avaliar o CL sob condições realistas.
Análise de Trocas Empíricas: Demonstra que diferentes padrões de mudança ambiental exigem fundamentalmente diferentes comportamentos de atualização. O prompting é rápido, mas instável; a destilação é estável, mas lenta para atualizar; o RL adapta-se bem a fatos, mas falha no ruído; a compressão auxilia na eficiência, mas não no aprendizado.

Significância e Alegações

O artigo alega que o aprendizado contínuo não é uma capacidade única. Os autores argumentam que o foco do campo em "mitigar o esquecimento" é um desalinhamento com as necessidades práticas de LLMs implantados, que devem se adaptar a um mundo em mudança.

A principal significância reside na descoberta de que diferentes padrões de mudança ambiental exigem fundamentalmente diferentes comportamentos de atualização.

Quando o mundo muda via fatos discretos, o aprendizado dentro dos pesos do modelo (especificamente via RL ou atualizações direcionadas) é necessário.
Quando o mundo muda via tendências lentas, métodos ancorados na estabilidade (como a destilação) que preservam a estrutura passada são superiores.
Quando o mundo muda via acúmulo agêntico, andaimes externos (scaffolding/playbooks) ou ajuste fino podem ajudar, mas ambos enfrentam limites conforme a complexidade do estado cresce.

Os autores concluem que entender onde cada método tem sucesso e falha é crítico para o design de sistemas de aprendizado contínuo mais fortes. Eles não propõem um novo algoritmo, mas sim um framework diagnóstico para guiar a seleção de mecanismos de atualização com base na natureza específica da mudança ambiental.

Limitações: Os autores observam que suas conclusões baseiam-se em um único modelo (Qwen3-8B) e um subconjunto específico de mudanças ambientais. Eles alertam que os resultados podem variar para modelos maiores ou modelos com capacidade de raciocínio, e que a implantação no mundo real envolve ambientes ainda mais abertos e incertos do que os testados.