VLAs are Confined yet Capable of Generalizing to Novel Instructions

1. Declaração do Problema

Modelos Visão-Linguagem-Ação (VLAs) demonstraram desempenho robusto em tarefas dentro da distribuição quando ajustados finamente com demonstrações específicas. No entanto, eles lutam significativamente com tarefas Fora da Distribuição (OOD), particularmente aquelas que exigem extrapolação (recombinar habilidades aprendidas de maneiras novas).

• A Questão Central: Um VLA pode aprender com sucesso "colocar cream cheese em uma tigela" e "colocar uma tigela em um armário" individualmente, mas falhar em executar a tarefa extrapolada "colocar cream cheese no armário", mesmo que os primitivos de movimento constituintes (agarrar, alcançar) já tenham sido aprendidos.
• A Pergunta: Os VLAs apenas superajustam (overfit) às trajetórias demonstradas, ou eles aprendem representações internas composicionais que suportam uma generalização mais ampla?
• A Lacuna: Há uma falta de benchmarks adequados para testar isso, pois as tarefas OOD existentes são frequentemente muito difíceis (ex: exigindo física inteiramente nova) ou muito fáceis. Os autores propõem que um benchmark válido deve consistir em tarefas que o modelo deveria ser capaz de resolver combinando habilidades existentes, mas que atualmente falha em fazer autonomamente.

2. Metodologia

O artigo introduz um framework baseado em Interpretabilidade Mecanística para sondar e manipular os estados internos de VLAs, focando especificamente no modelo $\pi_0$.

A. Extração de Latentes de Texto

Os autores hipotetizam que representações de habilidades específicas de tarefas são codificadas nos estados ocultos dos tokens de texto (descrições de tarefas).

• Definição: Um Latente de Texto ($T$) é um vetor específico de tarefa derivado pela média dos estados ocultos dos tokens de texto através de todas as camadas do transformador e múltiplos episódios de demonstração para uma tarefa específica.
• Extração: $T = \frac{1}{K} \sum_{k=1}^{K} \sum_{i \in B_k} h_T(i)$, onde $h_T(i)$ representa os estados ocultos dos tokens de texto no instante de tempo $i$.
• Função: Injetar $T$ de volta no fluxo residual do modelo (especificamente nos estados ocultos dos tokens de texto) pode reconstruir o comportamento da tarefa associado, mesmo sem o prompt de texto original.

B. Interpolação de Latentes de Texto (TLI)

Para alcançar extrapolação, os autores propõem misturar os latentes de texto de duas tarefas base para criar um novo comportamento composto.

• Mecanismo: Em vez de interpolar tokens de texto discretos (o que é impossível), eles interpolam os latentes de texto ($T_1$ e $T_2$) dentro do fluxo residual.
• Fórmula: No instante de tempo $i$, o estado oculto é modificado como:
  $h_T(i) = h_T(i) + [(1-\alpha)T_1 + \alpha T_2] - [(1-\alpha)T_2 + \alpha T_1]$
  onde $\alpha = i/\lambda$ controla a velocidade de transição da Tarefa 1 para a Tarefa 2.
• Efeito: Isso guia o modelo a começar com o comportamento da Tarefa 1 e transitar suavemente para a Tarefa 2, efetivamente "costurando" subtrajetórias juntas para resolver uma tarefa extrapolada nova.

C. O Benchmark Libero-OOD

Os autores introduzem o libero-ood, uma nova suíte de benchmarks contendo 20 tarefas extrapoladas derivadas das suítes LIBERO padrão (libero-goal, libero-spatial, libero-object).

• Design: Cada tarefa exige combinar uma localização de agarramento aprendida de uma tarefa e uma localização de colocação aprendida de outra. A trajetória específica conectando esses dois pontos nunca é vista durante o treinamento.
• Objetivo: Testar se os VLAs podem recombinar autonomamente representações de habilidades aprendidas.

3. Contribuições Principais

1. Descoberta de Representações de Habilidades Composicionais: O artigo demonstra que VLAs (especificamente $\pi_0$) possuem representações internas de habilidades que são individuais, mas composicionais. Embora o modelo não possa combiná-las autonomamente, ele pode ser forçado a fazê-lo através da manipulação de latentes de texto.
2. Interpolação de Latentes de Texto (TLI): Uma técnica inovadora de intervenção no tempo de inferência que mistura representações de tarefas para habilitar extrapolação, aumentando as taxas de sucesso em tarefas novas sem retreinamento.
3. O Benchmark Libero-OOD: Um benchmark rigoroso projetado para isolar a capacidade de recombinar habilidades. Ele filtra tarefas que são impossíveis para o robô, focando, em vez disso, em tarefas que são teoricamente solucionáveis pela base de conhecimento existente do modelo.
4. Identificação de Superajuste Espacial: O artigo revela um modo de falha crítico onde VLAs associam nomes de objetos a localizações espaciais fixas dos dados de treinamento, em vez de entender a identidade do objeto ou seu estado atual.

4. Resultados Experimentais

Desempenho no Libero-OOD

• Falha da Linha de Base: VLAs de última geração ($\pi_0$, $\pi_0$-fast, UniVLA, openvla-oft) alcançaram < 21% de taxa de sucesso nas 20 tarefas extrapoladas do libero-ood, apesar de alcançarem ~95% nas tarefas LIBERO padrão.
• Sucesso da TLI: Aplicar TLI a $\pi_0$ aumentou sua taxa de sucesso de 9% para 83% no libero-ood.
• Comparação: Nenhum outro VLA alcançou uma taxa de sucesso superior a 21% no benchmark, destacando uma limitação sistêmica nas arquiteturas atuais em relação à extrapolação.

Reconstrução de Tarefa e Implicações de Segurança

• Reconstrução: Injetar latentes de texto em um prompt em branco permitiu que $\pi_0$ completasse tarefas com >80% de sucesso, provando que o latente captura conhecimento essencial da tarefa.
• Desembarcação (Unembedding): Desembarcar latentes de texto em IDs de tokens produziu "prompts obscuros" (muitas vezes ilegíveis) que ainda podiam instruir o modelo. Isso sugere vulnerabilidades potenciais para instruções privadas ou ataques de backdoor.

Análise dos Modos de Falha: Superajuste Espacial

• Observação: Quando instruído a pegar um objeto (ex: "cream cheese") que foi movido para uma nova localização, o modelo frequentemente ignorava a posição atual do objeto e movia-se para a localização onde aquele objeto aparecia nas demonstrações de treinamento.
• Evidência: Em experimentos onde as localizações dos objetos foram trocadas, $\pi_0$ (e outros VLAs) moveu-se consistentemente para a "localização de treinamento" do nome do objeto, em vez do objeto real.
• Conclusão: VLAs exibem superajuste espacial, mapeando nomes de objetos para coordenadas fixas em vez de aprender a verdadeira compreensão objeto-objetivo.

5. Significado

• Redefinindo a Generalização OOD: O artigo argumenta que os VLAs atuais não estão "quebrados", mas "trancados". Eles possuem as habilidades necessárias, mas carecem do mecanismo para recombiná-las autonomamente. O benchmark proposto (libero-ood) fornece um padrão para medir essa capacidade latente.
• Interpretabilidade como Ferramenta: Ao usar interpretabilidade mecânica (latentes de texto), os autores provam que a falha não é uma falta de conhecimento, mas uma falha de composição. Isso desloca o foco da pesquisa de coletar mais dados para melhorar os mecanismos internos de composição do modelo.
• Segurança e Proteção: A descoberta de que latentes de texto podem ser desembarcados em prompts obscuros destaca novos vetores para ataques adversariais e backdoors em sistemas robóticos.
• Direção Futura: Os resultados sugerem que futuras arquiteturas VLA precisam ser projetadas para suportar explicitamente a recombinação de representações aprendidas, em vez de depender de truques pós-treinamento como TLI para desbloquear seu potencial.

Em resumo, este artigo fornece fortes evidências de que VLAs têm o potencial para generalização, mas são atualmente impedidos pelo superajuste espacial e pela incapacidade de compor autonomamente habilidades aprendidas. A introdução do libero-ood e da TLI oferece tanto um novo benchmark para a comunidade quanto um método para sondar a "caixa preta" interna das políticas robóticas.