Test-Time Perturbation Learning with Delayed Feedback for Vision-Language-Action Models

Resumo Técnico: PDF (Perturbation learning with Delayed Feedback)

1. O Problema: Fragilidade e "Sobreajuste de Trajetória" em VLAs

Os modelos Visão-Linguagem-Ação (VLAs) têm demonstrado desempenho notável em tarefas de decisão sequencial, como manipulação robótica e controle baseado em visão. No entanto, o artigo identifica que esses modelos são extremamente frágeis a mudanças ambientais sutis (ex: pequenas alterações na pose de um objeto).

Os autores atribuem essa fragilidade a um fenômeno chamado Sobreajuste de Trajetória (Trajectory Overfitting).

• Mecanismo do Erro: Em vez de compreender a semântica real da tarefa, os VLAs tendem a memorizar padrões visuais ou contextuais específicos associados ao sucesso durante o treinamento (ex: a aparência da garra, texturas de fundo).
• Consequência: Quando o ambiente muda ligeiramente, o agente ignora o objetivo real e reproduz ações memorizadas baseadas em correlações espúrias, levando à falha na tarefa.
• Limitações das Soluções Atuais: Métodos de Adaptação em Tempo de Teste (TTA) existentes dependem frequentemente de verificadores pré-treinados (custosos computacionalmente) ou de métricas de auto-supervisão (como minimização de entropia), que podem amplificar erros quando o modelo está excessivamente confiante em comportamentos incorretos.

2. Metodologia: PDF (Perturbation learning with Delayed Feedback)

O paper propõe o PDF, um framework de TTA livre de verificadores que melhora o desempenho sem atualizar os parâmetros do modelo base (frozen). O PDF opera em duas etapas principais:

A. Votação de Ações Baseada em Incerteza (Uncertainty-Based Action Voting)

• Estimativa de Incerteza: O modelo calcula a incerteza preditiva (entropia de Shannon normalizada) sobre os logits das ações atuais.
• Aumento de Dados Adaptativo: Com base na incerteza, o sistema aloca um "orçamento" adaptativo para gerar observações aumentadas (perturbações nas entradas de pixel).
  • Alta incerteza $\rightarrow$ Mais aumentos de dados.
  • Baixa incerteza $\rightarrow$ Menos aumentos.
• Votação: As observações originais e aumentadas são processadas pelo modelo congelado. As ações candidatas são selecionadas através de votação majoritária (especificamente, votação por dimensão da ação, que se mostrou mais robusta).

B. Adaptação Guiada por Feedback Diferido (Delayed Feedback-Guided Adaptation)

• Módulo de Perturbação Leve: Um cabeçalho (head) de perturbação leve, $h_\theta(\cdot)$, é adicionado ao modelo. Ele aprende a ajustar os logits de ação.
• Feedback Diferido: Após o término de um episódio, o agente recebe um sinal de feedback (sucesso/falha/recompensa).
• Otimização: O cabeçalho de perturbação é atualizado usando uma função de perda composta por:
  1. Termo Estilo REINFORCE: Aumenta a probabilidade de ações perturbadas quando o feedback é positivo (acima de uma linha de base).
  2. Regularizador KL (Kullback-Leibler): Atua apenas sob feedback positivo para estabilizar as atualizações e evitar desvios extremos, corrigindo o problema de "excessiva confiança" (overconfidence) do modelo base.
• Eficiência: Apenas os parâmetros do cabeçalho de perturbação são atualizados; o modelo VLA base permanece congelado.

3. Contribuições Principais

1. Identificação do Problema: Análise sistemática do "sobreajuste de trajetória" como a causa fundamental da fragilidade dos VLAs em mudanças ambientais.
2. Novo Framework (PDF): Proposta de uma solução TTA livre de verificadores que combina aumento de dados baseado em incerteza e aprendizado de perturbação guiado por feedback diferido, mantendo o modelo base congelado.
3. Desempenho Superior: Demonstração experimental de ganhos consistentes em benchmarks diversos, superando VLAs "vanilla" e métodos de TTA existentes, com baixo custo computacional.

4. Resultados Experimentais

Os experimentos foram conduzidos em dois benchmarks principais: LIBERO (manipulação robótica) e Atari (controle visual).

• Benchmarks LIBERO:

  • O PDF alcançou uma Taxa de Sucesso (SR) média de 77%, superando o OpenVLA (75%) e outros métodos de adaptação.
  • Ganhos significativos foram observados em tarefas de longo horizonte (Long-horizon), com um aumento de +7.4% na taxa de sucesso em relação ao VLA base.
  • O método superou modelos pré-treinados pesados (como OCTO e TraceVLA) sem exigir fine-tuning do modelo base.

• Benchmarks Atari (57 jogos):

  • O PDF alcançou uma Pontuação Normalizada Humana (HNS) de 1.07, comparado a 0.97 do modelo base Jat.
  • Houve melhoria em 47 dos 57 jogos, com ganhos máximos em jogos como Boxing (+60.25%).
  • O método utilizou apenas 9M de parâmetros treináveis (o cabeçalho de perturbação), enquanto as baselines de TTA frequentemente exigem acesso a gradientes de modelos de 93M a 130M de parâmetros.

• Estudos de Ablação:

  • A remoção do feedback diferido (DF) causou uma queda drástica no desempenho, especialmente em tarefas de manipulação de objetos, provando que o feedback é crucial para corrigir a confiança excessiva.
  • O aumento de dados (DA) é benéfico, mas um orçamento excessivo degrada o desempenho devido ao acúmulo de ruído; um orçamento adaptativo (máximo de 3 vistas) oferece o melhor equilíbrio.

5. Significado e Conclusão

O trabalho estabelece um caminho prático para a adaptação confiável em tempo de teste em agentes de decisão multimodal.

• Eficiência: Ao evitar a necessidade de verificadores externos ou fine-tuning completo, o PDF torna a adaptação em tempo real viável para sistemas com recursos limitados.
• Robustez: A abordagem corrige ativamente a tendência dos modelos de "alucinar" trajetórias baseadas em correlações espúrias, forçando o agente a focar na semântica da tarefa através de perturbações e feedback corretivo.
• Impacto Futuro: O método oferece uma solução escalável para tornar os agentes de IA corporativa (embodied AI) mais resilientes em ambientes do mundo real, onde as condições raramente são estáticas ou perfeitas.

O código do projeto está disponível publicamente no repositório do GitHub mencionado no artigo.