Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning

Este trabalho demonstra que modelos pré-treinados de Visão-Linguagem-Ação (VLA) são surpreendentemente resistentes ao esquecimento no aprendizado contínuo, permitindo que técnicas simples de replay de experiências adquiram novas habilidades sem esquecer as anteriores, graças ao papel fundamental do pré-treinamento em grande escala.

O essencial

🤖 O Segredo dos Robôs que Não Esquecem: Uma História de "Memória de Elefante"

Imagine que você está ensinando um robô a fazer tarefas domésticas. Primeiro, você ensina ele a dobrar roupas. Depois, você ensina a lavar a louça. O problema clássico da inteligência artificial é o que chamamos de "esquecimento catastrófico": quando o robô aprende a lavar a louça, ele parece apagar da memória como dobrar roupas. É como se o cérebro dele fosse um quadro branco que, ao escrever algo novo, apaga tudo o que estava escrito antes.

Por anos, os cientistas tentaram resolver isso usando técnicas complexas, como guardar "bilhetes" de tarefas antigas em uma gaveta (chamado de Replay Buffer ou Memória de Experiência) para revisar de vez em quando. Mas, para robôs pequenos e simples, essa gaveta precisava ser enorme para funcionar.

A grande descoberta deste artigo é:
Os novos robôs "superinteligentes" (chamados de Modelos Visão-Linguagem-Ação ou VLAs), que já nasceram "estudados" com milhões de livros e vídeos da internet, são surpreendentemente resistentes a esquecer. Eles conseguem aprender novas tarefas sem apagar as antigas, mesmo com uma "gaveta de revisão" muito pequena.

Vamos entender como isso funciona com algumas metáforas:

1. O Aluno que Nasceu Sabendo (Pré-treinamento) vs. O Aluno que Começa do Zero

• O Modelo Pequeno (BC-Transformer): Imagine um aluno que entra na escola sem saber ler, nem matemática. Quando você ensina a ele a multiplicar, ele precisa criar todo o conceito do zero. Se você depois ensinar a ele a dividir, ele pode confundir as regras e esquecer como multiplicar. Para não esquecer, você precisa que ele revise muito material antigo.
• O Modelo Grande (VLA Pré-treinado): Agora, imagine um aluno que já leu todas as enciclopédias do mundo antes de entrar na sala de aula. Ele já entende o que são números, formas e lógica. Quando você ensina a multiplicar, ele apenas "conecta" esse novo conhecimento ao que já sabe. Quando ensina a dividir, ele não precisa apagar a multiplicação; ele apenas adiciona uma nova ferramenta ao seu kit.
  • A descoberta: Esses "alunos superinteligentes" esquecem muito menos, mesmo que você não os faça revisar tanto material antigo.

2. A "Gaveta de Revisão" (Experience Replay)

Na robótica, para evitar o esquecimento, os robôs guardam alguns exemplos das tarefas antigas em uma "gaveta" e misturam com as novas tarefas durante o treino.

• O Antigo: Para o robô pequeno, a gaveta precisava estar cheia (20% de todos os dados) para ele não esquecer nada.
• O Novo: Para o robô grande pré-treinado, a gaveta pode estar quase vazia (apenas 2% dos dados) e ele ainda lembra de tudo! É como se, para um gênio, ler apenas um resumo de um livro antigo fosse suficiente para relembrar a história inteira, enquanto para um iniciante seria necessário reler o livro todo.

3. O "Esquecimento Falso" e a Recuperação Rápida

Uma das partes mais fascinantes do estudo é o que acontece quando o robô parece ter esquecido.

• A Analogia da Biblioteca: Imagine que o robô aprendeu a cozinhar um bolo. Depois de aprender a fazer um bolo de chocolate, ele parece ter esquecido como fazer um bolo de baunilha (sua performance cai).
• A Descoberta: Os cientistas descobriram que o robô não apagou a receita do bolo de baunilha. A receita ainda estava lá, escondida nos "corredores" da biblioteca do cérebro do robô, apenas um pouco difícil de acessar.
• O Teste: Quando eles deram apenas poucas aulas de revisão (ajuste fino) ao robô, ele recuperou a habilidade de fazer o bolo de baunilha quase instantaneamente.
  • O contraste: O robô pequeno, por outro lado, realmente apagou a receita. Para ele, aprender de novo era como aprender do zero, demorando muito tempo.

🧠 O Que Isso Significa para o Futuro?

1. Menos Complexidade: Não precisamos inventar algoritmos super complicados para evitar que robôs esqueçam. O segredo é treiná-los bem antes (pré-treinamento) com muitos dados do mundo real.
2. Robôs que Aprendem para Sempre: Isso abre a porta para robôs que podem aprender novas habilidades ao longo da vida (como um humano) sem precisar de gigabytes de memória para guardar cada lição antiga.
3. A Memória está no "Sistema Operacional": O conhecimento não está apenas nos "músculos" (ações) do robô, mas na sua "mente" (visão e linguagem). Como a mente é grande e pré-treinada, ela protege as memórias antigas contra o novo aprendizado.

Em Resumo

Este artigo nos diz que, ao contrário do que pensávamos, aprender coisas novas não precisa apagar o que já sabemos, desde que tenhamos uma base de conhecimento sólida desde o início. Os robôs modernos, graças ao pré-treinamento massivo, são como elefantes: têm uma memória incrível e conseguem acumular habilidades ao longo do tempo com muito menos esforço do que imaginávamos.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning" (Modelos Pré-treinados Visão-Linguagem-Ação são Surpreendentemente Resistentes ao Esquecimento em Aprendizado Contínuo), apresentado em português.

---

1. O Problema

O Aprendizado Contínuo (Continual Learning - CL) é um desafio fundamental na aprendizagem de políticas robóticas. O objetivo é permitir que um agente robótico adquira novas habilidades ao longo do tempo sem sofrer esquecimento catastrófico (catastrophic forgetting) das tarefas previamente aprendidas.

• Contexto Tradicional: Trabalhos anteriores focaram principalmente em modelos de política pequenos (como Behavior Cloning - BC) treinados do zero (from scratch). Nessas configurações, o esquecimento é pervasivo, exigindo buffers de replay grandes ou técnicas complexas de regularização para mitigar o problema.
• A Lacuna: Com o advento de modelos de grande escala pré-treinados, conhecidos como Modelos Visão-Linguagem-Ação (VLAs), a dinâmica do aprendizado contínuo mudou. No entanto, não era claro se esses modelos grandes se comportariam de maneira diferente dos modelos pequenos em cenários de aprendizado sequencial.

2. Metodologia

Os autores realizaram um estudo empírico abrangente comparando modelos pré-treinados (VLAs) com modelos pequenos treinados do zero em benchmarks de aprendizado contínuo.

• Benchmarks: Utilizaram o conjunto de dados LIBERO, que inclui quatro suites de tarefas distintas: LIBERO-Spatial, LIBERO-Object, LIBERO-Goal e LIBERO-10.
• Modelos Comparados:
  • VLAs Pré-treinados: Pi0 (Black et al., 2026) e GR00T N1.5 (NVIDIA et al., 2025). Estes modelos são baseados em grandes modelos de linguagem e visão (VLMs) pré-treinados em dados da internet e trajetórias robóticas.
  • Modelos de Referência (Baselines): BC-Transformer, BC-Diffusion Policy e BC-ViT, treinados do zero ou com pré-treinamento limitado.
• Configuração de Treinamento:
  • Aprendizado Sequencial: Os modelos foram treinados em 10 tarefas sequencialmente.
  • Replay de Experiência (ER): Foi utilizado o método padrão de Experience Replay, onde uma pequena fração dos dados das tarefas anteriores é mantida em um buffer e misturada com os dados da tarefa atual durante o treinamento.
  • Variação de Tamanho de Buffer: Testaram diferentes tamanhos de buffer (0.2%, 2% e 20% dos dados de treinamento) para avaliar a robustez.
• Métricas de Avaliação:
  • Taxa de Sucesso Média (SR): Desempenho geral em todas as tarefas.
  • Transferência Negativa para Trás (NBT): Mede quanto o desempenho em tarefas antigas degrada após aprender novas tarefas. Valores próximos de zero indicam baixo esquecimento; valores negativos indicam transferência positiva (melhora em tarefas antigas).
• Análise de Componentes: Para entender onde ocorre o esquecimento, os autores realizaram experimentos de "troca de componentes" (swapping), combinando o backbone Visão-Linguagem (VL) de uma tarefa com o cabeçalho de ação (Action Head) de outra, e vice-versa.

3. Principais Contribuições e Descobertas

A. Resistência Surpreendente ao Esquecimento

A descoberta central é que VLAs pré-treinados são extremamente resistentes ao esquecimento em comparação com modelos treinados do zero.

• Com buffers de replay muito pequenos (apenas 2% dos dados, ou ~100 amostras por tarefa), os VLAs alcançaram taxas de esquecimento próximas de zero (NBT $\approx$ 0).
• Em alguns casos, observou-se transferência positiva para trás: aprender novas tarefas com dados de replay melhorou o desempenho em tarefas anteriores, desafiando o tradicional compromisso estabilidade-plasticidade.

B. O Papel Crítico do Pré-treinamento

O estudo isolou o efeito do pré-treinamento comparando variantes do modelo Pi0:

1. Pi0 pré-treinado em dados robóticos + VLM.
2. Pi0 inicializado apenas com o VLM (sem dados robóticos).
3. Pi0 treinado do zero.

• Resultado: O pré-treinamento é o fator determinante. Modelos pré-treinados mantêm o desempenho em tarefas antigas mesmo com buffers minúsculos, enquanto modelos do zero sofrem esquecimento severo, exigindo buffers grandes para performance aceitável. O pré-treinamento permite que o modelo reutilize representações existentes em vez de aprender parâmetros específicos de tarefa do zero.

C. Conhecimento "Esquecido" é Retido Internamente

Uma descoberta contraintuitiva é que, embora o desempenho superficial (taxa de sucesso) possa cair ao aprender novas tarefas, o conhecimento relevante não é apagado nas representações internas do VLA.

• Recuperação Rápida: Ao fazer um fine-tuning (ajuste fino) mínimo em uma tarefa antiga usando o backbone atualizado, o modelo recupera o desempenho máximo quase instantaneamente (em menos de 10% dos passos de treinamento originais).
• Em contraste, modelos treinados do zero precisam reaprender a tarefa quase do início, indicando que o conhecimento foi realmente perdido.

D. Localização do Esquecimento

A análise de componentes revelou que o esquecimento ocorre principalmente no cabeçalho de ação (Action Head), enquanto o backbone Visão-Linguagem (VL) retém a maior parte do conhecimento semântico e contextual. A troca do backbone VL causa uma queda maior de desempenho do que a troca do cabeçalho de ação, sugerindo que as representações visuais e linguísticas são mais estáveis e generalizáveis.

4. Resultados Quantitativos

• LIBERO (Média Geral):
  • Pi0 (Pré-treinado): SR $\approx$ 0.92, NBT $\approx$ 0.027 (quase zero esquecimento).
  • GR00T (Pré-treinado): SR $\approx$ 0.92, NBT $\approx$ 0.027.
  • BC-Transformer (Do zero): SR $\approx$ 0.59, NBT $\approx$ 0.245 (esquecimento significativo).
• Buffer Pequeno (2%): Os modelos pré-treinados mantiveram NBT baixo (0.1-0.2), enquanto os modelos do zero tiveram NBT alto (0.4-0.5).
• Recuperação: O Pi0 recuperou o desempenho máximo em tarefas antigas com apenas ~6-10% dos passos de treinamento originais, enquanto o BC-Transformer exigiu ~100% ou mais.

5. Significado e Implicações

Este trabalho redefine a compreensão do aprendizado contínuo na robótica:

1. Mudança de Paradigma: Para grandes VLAs pré-treinados, algoritmos complexos de aprendizado contínuo (como regularização pesada ou buffers gigantes) podem não ser necessários. O pré-treinamento em larga escala atua como um mecanismo intrínseco de estabilização.
2. Eficiência de Dados: Robôs podem aprender novas habilidades continuamente com quantidades mínimas de dados de replay, tornando a adaptação online mais viável em cenários do mundo real onde armazenar grandes volumes de dados é impraticável.
3. Resiliência de Representação: A descoberta de que o conhecimento está retido nas representações internas, mesmo quando o desempenho cai, sugere que o foco futuro deve ser em como acessar e reativar esse conhecimento (via fine-tuning leve) em vez de apenas tentar prevenir a degradação de desempenho.
4. Futuro: Sugere que a próxima geração de agentes robóticos generalistas deve ser baseada em fundações (foundation models) pré-treinadas, onde o aprendizado contínuo é facilitado pela reutilização de representações, e não pela reescrita de parâmetros.

Em resumo, o artigo demonstra que a escala e o pré-treinamento transformam fundamentalmente a dinâmica do aprendizado contínuo, tornando os modelos modernos de robótica muito mais robustos e eficientes na retenção de habilidades ao longo do tempo.