Resumo Técnico: Subespaços de Primitivas Mediam a Transferência de Poucos Disparos (Few-Shot) em VLAs

Declaração do Problema

A implantação de políticas de Visão-Linguagem-Ação (VLA) em ambientes industriais é atualmente dificultada pelos altos custos de retreinamento. A receita padrão de implantação envolve a coleta de demonstrações específicas da tarefa e o ajuste fino (fine-tuning) do VLA para cada nova tarefa ou variante de produto. Essa abordagem escala linearmente com o custo de coleta e exige uma infraestrutura significativa, tornando-a impraticável em contextos com mudanças contínuas de processo. O artigo investiga se os VLAs podem adquirir novas tarefas no momento do teste, condicionadas a um pequeno número de demonstrações, sem qualquer atualização de pesos. Especificamente, os autores hipotetizam que a estrutura dos dados de treinamento importa: eles conjecturam que VLAs treinados com supervisão explícita ao nível de primitivas aprendem representações mais composicionais do que aqueles treinados em trajetórias de tarefas planas (flat), permitindo uma melhor transferência de poucos disparos (few-shot transfer).

Metodologia

Design Experimental

Os autores conduziram um experimento controlado usando um design $2 \times 2$ cruzado com duas arquiteturas distintas de VLA:

1. OpenVLA: Um modelo autorregressivo de 7 bilhões de parâmetros baseado em Llama-2.
2. $\pi_0.5$: Uma política de correspondência de fluxo (flow-matching) com blocos de ação (action chunks) de 16 etapas baseada em PaliGemma.

Ambas as arquiteturas foram ajustadas utilizando receitas LoRA correspondentes (rank 32, $\alpha=64$, taxa de aprendizado de $5 \times 10^{-5}$) e hiperparâmetros travados através de três sementes de treinamento. A única variável foi a visão dos dados de treinamento:

• Treinamento Plano (Flat Training): Os episódios eram pares de tarefas contíguos (ex: "pegar e inserir") com prompts de linguagem de alto nível.
• Treinamento de Primitivas (Primitive Training): Os episódios foram segmentados em ações primitivas únicas (ex: "pegar" ou "inserir") com prompts de linguagem específicos para cada primitiva.

Datasets e Avaliação

• Dataset Primário: REASSEMBLE, um dataset de montagem industrial rica em contato baseado no benchmark NIST Assembly Task Board 1.
• Dataset de Replicação: LIBERO-Long, um benchmark de manipulação doméstica com estruturas de tarefas de múltiplos passos.
• Tarefas Retidas (Held-Out Tasks): Seis combinações específicas de (objeto, sequência de tarefa) foram totalmente retidas do treinamento. Essas tarefas variavam por objeto (objetos com primitivas vistas no treinamento, mas em novas combinações), sequência de tarefa (primitivas em novas ordenações) e distância composicional. Uma categoria fora do vocabulário (exigindo um tipo de primitiva ausente no treinamento) também foi testada.
• Protocolo de Poucos Disparos (Few-Shot Protocol): No momento do teste, os modelos receberam uma descrição de tarefa de alto nível e $m \in \{0, 1, 3, 5, 10\}$ episódios de demonstração. As demonstrações foram codificadas via recursos do codificador de visão e prefixadas ao prompt de linguagem. Os modelos executaram ações sem atualizações de pesos.

Intervenção Causal

Para estabelecer causalidade, os autores empregaram uma intervenção de ablação de subespaço:

1. Sondagem Linear (Linear Probing): Eles treinaram sondas lineares nos estados ocultos para identificar direções que codificam a identidade da primitiva.
2. Ablação: No momento da inferência, eles projetaram os estados ocultos no complemento ortogonal do subespaço identificado como decodificável pela primitiva (camada 24), efetivamente removendo a informação da primitiva.
3. Controle: Um subespaço aleatório de dimensionalidade igual foi ablado para garantir que o efeito fosse específico às representações de primitivas.

Correção Metodológica

Os autores identificaram um artefato de "inflação de família" ao avaliar políticas de blocos (chunked policies). Aplicar portões de intervalo de ação de etapa única elemento a elemento em blocos de 16 etapas produziu taxas de falso-erro de 40–42% contra demonstrações humanas reais. Eles propuseram e implementaram um portão de nível de elemento corrigido e calibrado contra as distribuições de blocos reais para garantir uma avaliação justa.

Resultados Principais

Eficiência de Transferência de Poucos Disparos (Few-Shot Transfer)

Modelos treinados com primitivas demonstraram uma vantagem significativa de eficiência de amostra sobre modelos treinados de forma plana:

• Lacuna de Desempenho: Com $m=3$ demonstrações, os modelos treinados com primitivas alcançaram taxas de sucesso de 0,62–0,66, enquanto os modelos treinados de forma plana alcançaram apenas 0,31–0,34 (uma vantagem de $\approx 2\times$).
• Saturação: Os modelos treinados com primitivas saturaram em $m=5$, atingindo 78% do limite superior de ajuste fino completo. Os modelos treinados de forma plana exigiram $m=10$ para atingir o mesmo nível de desempenho, indicando uma lacuna de eficiência de amostra de $3\times$.
• Robustez: Esta vantagem se replicou em ambas as arquiteturas (OpenVLA e $\pi_0.5$), em três sementes de treinamento e na replicação cruzada de dataset no LIBERO-Long.

Evidência Causal

A intervenção de ablação de subespaço confirmou a necessidade das representações de primitivas:

• Ablar o subespaço decodificável pela primitiva causou uma queda de 32 pontos percentuais no sucesso de poucos disparos (ex: de 0,62 para 0,30 para OpenVLA).
• Ablar um subespaço aleatório de dimensionalidade igual teve um efeito negligenciável (dentro do ruído de amostragem), confirmando que a representação decodificável pela primitiva é causalmente necessária para a transferência, não meramente correlacionada.

Comparações com Baselines

A transferência de poucos disparos consciente de primitivas superou significativamente vários baselines em $m=3$:

• Sequenciamento de primitivas zero-shot: +35 pontos percentuais.
• Baseline condicionado a demonstração estilo Octo: +21 a 22 pontos percentuais.
• Diffusion Policy: Foi superado por uma margem significativa.

Limitações e Modos de Falha

O artigo observa que o treinamento consciente de primitivas não melhora universalmente o desempenho. Em tarefas que exigem primitivas fora do vocabulário (ex: uma ação de "rotacionar para engatar" não presente no vocabulário de treinamento), os modelos treinados com primitivas tiveram desempenho inferior aos modelos treinados de forma plana. Os autores hipotetizam que os modelos treinados com primitivas tentam mapear novas demonstrações para a primitiva conhecida mais próxima, enquanto os modelos treinados de forma plana podem aprender o novo comportamento de forma mais flexível.

Significância e Alegações

O artigo afirma fornecer a primeira comparação controlada demonstrando que o treinamento consciente de primitivas produz um artefato transferível: uma biblioteca de sub-habilidades que podem ser compostas no momento da inferência.

• Mecanismo: Os autores estabelecem que a supervisão explícita de primitivas durante o treinamento desvincula as representações de sub-habilidades dos contextos de tarefa, criando um "subespaço decodificável pela primitiva" nos estados ocultos que é causalmente necessário para a transferência de poucos disparos.
• Impacto Prático: Para a implantação industrial, os resultados sugerem que treinar com segmentação de primitivas permite que um VLA recupere $\sim 90\%$ do desempenho de ajuste fino completo com apenas 5 demonstrações, reduzindo drasticamente o custo e o tempo de inatividade associados ao retreinamento para novas variantes de tarefas.
• Escopo: As descobertas são modestas em relação à generalização; a vantagem mantém-se para tarefas que recombinam tipos de primitivas conhecidos, mas se inverte quando as tarefas exigem primitivas fundamentalmente novas ausentes do vocabulário de treinamento. Os resultados estão atualmente limitados à simulação (REASSEMBLE e LIBERO-Long) e a duas arquiteturas específicas.