Resumo Técnico: RECALL – Coleta de Experiência de Recuperação para Aprendizado Contínuo Ativo em Modelos de Visão-Linguagem-Ação

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA), como RT-1, RT-2 e $\pi_0$-FAST, demonstraram amplas capacidades de manipulação, mas frequentemente requerem ajuste fino (fine-tuning) ao serem implantados em novos ambientes ou distribuições de tarefas. A adaptação atual baseia-se na imitação passiva, um processo onde especialistas coletam demonstrações adicionais começando apenas a partir dos estados iniciais da tarefa após a falha da política. Esta abordagem sofre de três ineficiências primárias:

1. Natureza Reativa: A coleta de dados é desencadeada apenas após a falha, o que pode ser demorado e inseguro.
2. Falta de Orientação: Não fornece indicação de quais estados específicos requerem supervisão, levando a uma potencial sub ou sobrecoleta.
3. Redundância: Os demonstradores frequentemente desperdiçam esforço em estados que já estão bem representados nos dados de treinamento originais, falhando em abordar os subpassos específicos ou estados intermediários de mudança de distribuição que causam a falha.

Além disso, simplesmente realizar o ajuste fino em dados recém-coletados introduz o risco de esquecimento catastrófico, onde o modelo perde a proficiência em tarefas aprendidas anteriormente. O artigo postula que paradigmas de aprendizado contínuo ativo são necessários para abordar esses problemas.

Metodologia

Os autores propõem o RECALL, um framework de aprendizado contínuo ativo para VLAs autorregressivos (especificamente $\pi_0$-FAST). A metodologia consiste em dois componentes principais:

1. Coleta de Dados Ativa via Quantificação de Incerteza

O sistema utiliza o INSIGHT [6], um método de introspecção em tempo de inferência que utiliza características de probabilidade de nível de token (entropia, log-probabilidade e estimativas de incerteza baseadas em Dirichlet) para prever quando um robô requer assistência.

• Seleção de Estado: Em vez de coletar a partir de estados iniciais, o sistema identifica estados de alta incerteza durante as execuções (rollouts) da política.
• Modos de Coleta:
  • Online: O robô solicita uma demonstração imediatamente ao encontrar o primeiro estado de alta incerteza em uma execução.
  • Offline: O robô completa uma execução completa, registrando todos os estados de alta incerteza para solicitar demonstrações posteriormente.
• Baselines: Estes são comparados com a coleta Passiva, onde demonstrações são reunidas a partir dos estados iniciais da tarefa, correspondendo ao volume e à distribuição de tarefas dos conjuntos de dados ativos.

2. Estratégias de Aprendizado Contínuo

Para evitar o esquecimento catastrófico enquanto se adapta aos novos dados de recuperação, o artigo avalia várias estratégias:

• Mistura de Dados Baseada em Replay: Ajuste fino em uma mistura de novos dados de recuperação ($D_{new}$) e dados anteriores ($D_{old}$). As variantes incluem full replay, LIBERO-10 replay e replay direcionado (apenas tarefas relevantes para os novos dados).
• Regularização:
  • Consolidação de Peso Elástico (EWC): Penaliza mudanças nos parâmetros importantes para tarefas anteriores usando uma matriz de informação de Fisher.
  • Redução da Taxa de Aprendizado: Utilizando uma taxa de aprendizado baixa e constante para limitar a magnitude das atualizações.

Principais Contribuições

O artigo apresenta cinco contribuições primárias:

1. Framework Ativo: Um pipeline de coleta de dados ativa para VLAs autorregressivos usando INSIGHT para selecionar estados incertos para induzir novas demonstrações.
2. Avaliação Ativa vs. Passiva: Evidência empírica de que demonstrações de estados de alta incerteza geram melhor desempenho da política do que demonstrações passivas não guiadas.
3. Eficiência Online vs. Offline: A descoberta de que coletar dados do primeiro estado incerto (online) é tão eficaz quanto coletar de todos os estados incertos (offline), oferecendo maior eficiência de demonstração.
4. Análise de Aprendizado Contínuo: Um estudo comparativo mostrando que a mistura de dados baseada em replay é atualmente a estratégia mais confiável para prevenir o esquecimento catastrófico, superando EWC e taxas de aprendizado baixas no equilíbrio entre plasticidade e estabilidade.
5. Lições de Design: Identificação de desafios abertos na incorporação de novos dados direcionados em grandes políticas robóticas, especificamente os compromissos entre eficiência de adaptação e retenção de habilidades prévias.

Resultados Experimentais

O estudo foi conduzido no benchmark LIBERO-10 utilizando o modelo $\pi_0$-FAST. As principais descobertas incluem:

• Superioridade da Coleta Ativa: A coleta de recuperação online guiada pelo forte INSIGHT alcançou 72,4% de sucesso geral, superando significativamente a coleta passiva correspondente (60,2%) e o baseline original (59,8%).
• Eficiência da Coleta Online: A coleta online (uma demonstração por execução) alcançou desempenho comparável à coleta offline (todos os estados incertos), sem diferença estatisticamente significativa no sucesso geral (72,4% vs. 68,4%). Isso sugere que o primeiro estado incerto marca a divergência do comportamento bem-sucedido, tornando a coleta densa subsequente redundante.
• Esquecimento Catastrófico no Treinamento de Novos Dados Apenas: O ajuste fino apenas nos novos dados de recuperação causou um esquecimento severo. Por exemplo, um modelo de apenas novos dados alcançou apenas 28,4% de sucesso geral comparado aos 72,4% do modelo baseado em replay, com o desempenho nas tarefas retidas colapsando.
• Limitações da Regularização: Embora o EWC e as taxas de aprendizado baixas tenham reduzido o esquecimento em comparação ao ajuste fino padrão de apenas novos dados, eles não conseguiram igualar o desempenho da mistura baseada em replay. A regularização forte preservou comportamentos antigos, mas suprimiu a adaptação aos novos dados; a regularização fraca permitiu a adaptação, mas arriscou o esquecimento.
• Cobertura de Replay: O full replay e o LIBERO-10 replay (usando o conjunto completo de dados anteriores) tiveram desempenho semelhante. No entanto, o replay direcionado (usando apenas dados anteriores das tarefas específicas sendo recuperadas) degradou significativamente o desempenho nas tarefas retidas, indicando que o replay deve cobrir todo o espectro dos comportamentos aprendidos anteriormente, não apenas as tarefas específicas que estão sendo atualizadas.

Significância e Alegações

O artigo afirma que o aprendizado ativo para VLAs não pode ser reduzido meramente à seleção de estados de alto valor; deve ser formulado como aprendizado contínuo ativo. O argumento central é que, embora os preditores de incerteza (como o INSIGHT) identifiquem efetivamente estados informativos para recuperação, os dados resultantes são distribucionalmente estreitos. Portanto, a adaptação eficaz requer um mecanismo duplo:

1. Coleta de Dados Direcionada: Reunir demonstrações especificamente de estados de alta incerteza para abordar modos de falha.
2. Mecanismos de Retenção: Integrar esses novos dados via mistura baseada em replay para preservar competências previamente aprendidas.

O trabalho estabelece que demonstrações de recuperação guiadas por incerteza podem melhorar significativamente a eficiência da adaptação, mas destaca que, sem estratégias robustas de aprendizado contínuo (especificamente replay), a incorporação de dados direcionados leva ao esquecimento catastrófico. Os autores observam que suas descobertas baseiam-se em simulação (LIBERO-10) e uma arquitetura autorregressiva, sugerindo que a implantação física e outras arquiteturas VLA (ex: baseadas em difusão) podem apresentar desafios diferentes em relação à calibração de incerteza e custos de coleta de dados.