Resumo Técnico: Ajuste Fino de VLA Generalizável via Ancoragem de Representação e Alinhamento Linguagem-Ação

1. Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) emergiram como uma abordagem padrão para manipulação robótica, tipicamente criados através do ajuste fino (finetuning) de um VLM pré-treinado em demonstrações robóticas via Aprendizado por Imitação (Behavior Cloning - BC). Embora essa abordagem transfira os vieses semânticos do VLM (compreensão de layout espacial, cor, forma, etc.) para políticas de controle, o ajuste fino padrão do BC sofre de dois modos críticos de falha que degradam a generalização:

1. Esquecimento Catastrófico de Representações: O BC padrão otimiza apenas a perda de predição de ação. Ao longo do ajuste fino, as atualizações sobrescrevem progressivamente os conceitos visuo-linguísticos e espaciais adquiridos durante o pré-treinamento em escala de internet. Consequentemente, uma política treinada para pegar uma "caneca verde" pode falhar ao generalizar para uma "caneca rosa" na mesma cena, ou falhar ao adaptar-se quando as posições dos objetos são trocadas, porque o backbone perdeu suas capacidades de raciocínio de cor e espaço.
2. Desalinhamento Linguagem-Ação: Remédios comuns, como o co-treinamento em dados de imagem-texto da web geral (ex: VQA, legendagem), aplicam perdas de linguagem e ação a observações separadas. Isso deixa o VLA com uma supervisão disjunta: o cabeçote de ação aprende com demonstrações de especialistas, enquanto o cabeçote de linguagem aprende com tarefas genéricas. Como eles nunca são supervisionados na mesma observação robótica, suas predições podem contradizer uma à outra (ex: o cabeçote de ação move para a "direita" enquanto o cabeçote de linguagem prevê a "esquerda"), um desalinhamento que os benchmarks padrão muitas vezes falham em expor.

2. Metodologia: Anchor-Align

Os autores propõem o Anchor-Align, uma receita de ajuste fino que aumenta o BC padrão com dois objetivos específicos para preservar representações pré-treinadas e alinhar a linguagem com a ação. O método não requer dados adicionais, anotação ou mudanças arquiteturais além da configuração padrão de VLA.

2.1 Arquitetura Base

O método opera em arquiteturas VLA que utilizam um backbone VLM pré-treinado com um cabeçote de ação dedicado (suportando cabeças de ação de regressão e de flow-matching). O backbone codifica observações visuais e instruções de linguagem, enquanto um projetor de estado codifica a propriocepção do robô. O cabeçote de ação prevê chunks de ação contínuos baseados nessas representações multimodais.

2.2 Ancoragem Visão-Linguagem

Para evitar o esquecimento catastrófico, o Anchor-Align introduz uma perda de destilação que ancora o backbone treinável do VLA a uma cópia congelada do VLM original pré-treinado (o "VLM Âncora").

• Mecanismo: O VLM Âncora congelado processa o mesmo lote de entrada (imagens e texto) em paralelo. Em cada camada do decodificador $u$, os estados ocultos dos tokens de visão e texto no backbone treinável ($H^S_u$) são forçados a corresponder aos do âncora congelado ($H^A_u$).
• Função de Perda: A perda de ancoragem é a norma de Frobenius ao quadrado da diferença entre esses estados ocultos, média sobre todas as camadas do decodificador:
  $$L_{anchor} = \frac{1}{|D|} \sum_{u \in D} \| H^S_u[m] - H^A_u[m] \|_F^2$$
  onde $m$ denota o conjunto de posições dos tokens de visão e texto. Isso atua como um regularizador no espaço de representação, preservando o substrato semântico sem exigir restrições de espaço de pesos.

2.3 Alinhamento Linguagem-Ação

Para resolver o desalinhamento entre linguagem e ação, o método introduz um objetivo de supervisão conjunta onde ambos os cabeçotes são treinados na mesma observação robótica.

• Mecanção: Os alvos de ação contínua das demonstrações de especialistas são convertidos programaticamente em rótulos de direção de movimento discretos (ex: "cima", "baixo", "esquerda", "direita", "frente", "trás"). Isso é alcançado pela média dos componentes de translação dos chunks de ação, filtrando amostras quase estacionárias e discretizando o eixo dominante.
• Função de Perda: O modelo é treinado para prever este rótulo de direção discreta usando o cabeçote de linguagem sobre a mesma observação usada para a predição de ação. Especificamente, o último estado oculto do token de instrução (que resume o prefixo visual e a instrução) é projetado através do cabeçote de linguagem pré-treinado e congelado para gerar logits sobre o vocabulário. A perda de alinhamento é a entropia cruzada entre esses logits e o rótulo de direção real:
  $$L_{align} = CE(\hat{a}_{lang}, a_{lang})$$
• Objetivo Total: A perda de treinamento final combina a perda de ação de BC padrão ($L_{action}$) com as perdas de ancoragem e alinhamento:
  $$L_{total} = L_{action} + \lambda_{anchor} L_{anchor} + \lambda_{align} L_{align}$$

3. Principais Contribuições

1. Identificação de Modos Duplos de Falha: O artigo identifica que o BC padrão causa deriva de representação (esquecimento) e que o co-treinamento falha em alinhar linguagem e ação na mesma observação, levando a predições contraditórias.
2. Framework Anchor-Align: Uma nova receita de ajuste fino que combina Ancoragem Visão-Linguagem (para preservar representações pré-treinadas via destilação) e Alinhamento Linguagem-Ação (para fundamentar predições de linguagem em alvos de ação na mesma observação).
3. Solução Eficiente em Dados: O método alcança melhorias significativas sem exigir novos conjuntos de dados, anotações humanas ou modificações arquiteturais, baseando-se apenas nos dados de demonstração existentes e no VLM congelado.
4. Ferramenta de Diagnóstico: O framework de alinhamento fornece uma métrica direta para diagnosticar o desalinhamento linguagem-ação em VLAs co-treinados, mostrando que um melhor alinhamento correlaciona-se com maior sucesso nas tarefas.

4. Resultados Experimentais

4.1 Benchmarks de Simulação

O método foi avaliado nos benchmarks LIBERO-PRO, LIBERO-Plus e CALVIN utilizando duas arquiteturas VLA distintas (VLA-Adapter e StarVLA).

• LIBERO-PRO (Generalização OOD): O Anchor-Align superou significativamente todos os baselines, incluindo modelos co-treinados. Notavelmente, no teste de "Troca de Posição" (Position Swap, onde a localização dos objetos é rearranjada), o BC padrão e os baselines co-treinados pontuaram próximo a 0% (reproduzindo trajetórias memorizadas), enquanto o Anchor-Align alcançou 22,6%.
• LIBERO-Plus (Robustez Perceptiva): O Anchor-Align melhorou o desempenho em todos os sete eixos de perturbação (visão da câmera, iluminação, fundo, etc.), com os maiores ganhos em textura de fundo (+8,9%) e ruído de sensor (+7,4%).
• CALVIN (Longo Horizonte): No benchmark ABC→D de longo horizonte, o Anchor-Align alcançou a maior taxa de sucesso para completar cadeias de cinco instruções (77,9% vs. 66,5% para OpenVLA-OFT), demonstrando que preservar a semântica melhora a resistência ao erro cumulativo.

4.2 Experimentos no Mundo Real

Experimentos foram conduzidos em um robô físico xArm7 sob condições desafiadoras, incluindo rearranjos espaciais, cenas comclusão e perturbações semânticas.

• Generalização: O Anchor-Align melhorou as taxas de sucesso no robô real de 28% para 54% (VLA-Adapter) e de 37% para 60% (StarVLA) através de perturbações espaciais e semânticas não vistas.
• Perturbação Semântica: Em um teste crítico onde uma política treinada para uma "caneca verde" recebeu a instrução para pegar uma "caneca rosa", o BC padrão falhou 90% das vezes (revertendo para a caneca verde), enquanto o Anchor-Align obteve 100% de sucesso ao pegar o objeto correto.
• Análise de Erro: A análise de modo de falha mostrou que o Anchor-Align quase eliminou "Erros Semânticos" (de 7 para 0) e aproximações de "Objeto Incorreto" (de 10 para 1) em comparação ao BC padrão.

4.3 Ablação e Análise

• Necessidade de Ambos os Termos: Estudos de ablação confirmaram que tanto a Ancoragem quanto o Alinhamento são necessários; usar qualquer um isoladamente melhorou o desempenho em relação ao BC padrão, mas a combinação deles produziu os melhores resultados.
• Alinhamento vs. Regularização: Experimentos de controle com rótulos corrompidos (Shuffle e Scatter) mostraram que os ganhos não são meramente efeitos de regularização, mas derivam de um genuíno alinhamento linguagem-ação.
• Correlação: Foi encontrada uma forte correlação de Pearson positiva (+0,51) entre o grau de alinhamento linguagem-ação e o sucesso da tarefa, enquanto os baselines co-treinados mostraram correlação próxima de zero.
• Preservação de Representação: Testes de raciocínio visual (GQA) mostraram que, enquanto o BC padrão perdeu 94% de sua precisão de raciocínio durante o ajuste fino, o Anchor-Align reteve 70%.

5. Significância e Alegações

O artigo alega que preservar representações pré-treinadas e o aprendizado de ação eficaz não são fundamentalmente opostos. Ao recategorizar o ajuste fino de VLA como um processo de preservação e alinhamento de vieses de VLM pré-treinados, em vez de trocá-los pelo controle, o Anchor-Align oferece uma receita simples e eficiente em dados para adaptar modelos de fundação a tarefas incorporadas (embodied).

Os autores enfatizam que seu método:

• Resolve o problema do "esquecimento catastrófico" inerente ao BC padrão.
• Corrige o problema de "desalinhamento linguagem-ação" inerente ao co-treinamento.
• Demonstra que essas melhorias se mantêm em diferentes arquiteturas (regressão e flow-matching) e escalas (0.5B a 3B de parâmetros).
• Oferece um caminho para modelos de mundo que retêm amplos vieses espaço-temporais enquanto permanecem controláveis e semanticamente fundamentados.

O trabalho sugere que o desenvolvimento futuro de VLA deve focar em ancorar representações e alinhar modalidades na mesma observação, em vez de simplesmente escalar dados ou o tamanho do modelo.