Resumo Técnico: Direcionamento de Ativação de Conceptor Contrastivo (COAST)

Declaração do Problema

Modelos Visão-Linguagem-Ação (VLA) aproveitam priores perceptivos poderosos provenientes do pré-treinamento de Modelos Visão-Linguagem (VLM) em escala web para interpretar comandos em linguagem natural e executar comportamentos robóticos complexos. No entanto, esses modelos permanecem surpreendentemente frágeis na prática, falhando frequentemente em tarefas robóticas simples, apesar de suas fortes capacidades de generalização. Remédios existentes, como ajuste fino pós-treinamento ou regularização de representação contrastiva, são frequentemente custosos e conceitualmente desalinhados, pois tentam reaprender comportamentos em vez de maximizar a capacidade de generalização já codificada nos pesos pré-treinados do modelo.

Os autores hipotetizam que o principal gargalo reside no especialista de ação da arquitetura VLA. Enquanto a espinha dorsal VLM congelada preserva uma compreensão de tarefas rica e de alta dimensão em seus estados ocultos, a decodificação final do especialista de ação frequentemente falha em explorar plenamente essas informações. Métodos atuais de direcionamento de ativação para VLAs focam tipicamente na espinha dorsal VLM ou dependem de deslocamentos aditivos unidirecionais, o que pode ser insuficiente quando o sinal relevante está distribuído através de múltiplas dimensões.

Metodologia: COAST

O artigo propõe o Direcionamento de Ativação de Conceptor Contrastivo (COAST), um framework leve e sem treinamento que direciona políticas VLA congeladas no momento da inferência. O COAST opera aplicando um portão multiplicativo às ativações do fluxo residual do especialista de ação, derivado do conceito de conceptrs.

Mecanismo Central

1. Construção de Conceptor: Um conceptor é um operador linear que projeta suavemente dados nos componentes principais de uma distribuição alvo. O COAST constrói dois conceptores separados:

   • $C_{sucesso}$: Captura o subespaço principal das ativações de execuções bem-sucedidas.
   • $C_{falha}$: Captura o subespaço principal das ativações de execuções falhas.
     Estes são computados em forma fechada usando a matriz de covariância das ativações e um parâmetro de regularização (abertura $\alpha$), contornando a necessidade de descida de gradiente.

2. Composição Contrastiva: Para isolar direções relevantes para a tarefa que distinguem sucesso de falha, o COAST usa álgebra de subespaço booleana para compor um conceptor contrastivo ($C_{direcionamento}$):
   $$C_{direcionamento} = C_{sucesso} \land \neg C_{falha}$$
   Esta operação (E-NÃO) retém direções presentes no subespaço de sucesso enquanto suprime direções compartilhadas com o subespaço de falha (ruído) e aquelas únicas à falha.

3. Direcionamento no Momento da Inferência: Durante a inferência, a ativação do fluxo residual $h$ em uma camada específica $\ell$ é transformada via um portão multiplicativo $M$:
   $$h' = h M^\top, \quad \text{onde } M = (1 - \beta)I + \beta C_{direcionamento}$$
   Aqui, $\beta \in [0, 1]$ controla a força do direcionamento. Esta operação projeta suavemente o estado oculto em direção ao subespaço associado ao sucesso, sem sobrescrever o cálculo interno do modelo.

Características Principais

• Sem Treinamento: Não requer atualizações de pesos, computação de gradiente ou modelos auxiliares.
• Plug-and-Play: Opera diretamente no fluxo residual do especialista de ação.
• Nível de Subespaço: Ao contrário do direcionamento aditivo unidirecional (por exemplo, Adição de Ativação Contrastiva), o COAST opera em um subespaço multidimensional, capturando geometrias complexas críticas para o resultado.

Contribuições Principais

1. Direcionamento de Política Leve e Sem Treinamento: Os autores introduzem a primeira aplicação de portão de subespaço baseado em conceptor para especialistas de ação VLA. Ao construir um portão multiplicativo em forma fechada a partir da álgebra de conceptores booleanos sobre execuções de sucesso e falha, o COAST melhora as taxas médias de sucesso em tarefas de simulação em mais de 20% e as taxas de sucesso em tarefas com robô real em mais de 40% em diversos benchmarks.
2. Insight Mecanístico: A análise revela que a estrutura de autovalores dos especialistas de ação VLA é bem adequada para direcionamento baseado em conceptor. Representações relevantes para o resultado ocupam um subespaço de baixo posto, mas não de posto único, explicando por que conceptores multidimensionais superam métodos aditivos unidirecionais. Além disso, o estudo descobre que, enquanto as representações de sucesso são amplamente específicas da tarefa, os modos de falha compartilham uma estrutura geométrica substancial entre diferentes tarefas.
3. Generalização Plug-and-Play: O COAST é validado em três famílias de políticas arquitetonicamente distintas (VLAs de correspondência de fluxo, VLAs autoregressivos e Política de Difusão) e três benchmarks de simulação de complexidade crescente (MetaWorld, LIBERO-10, RoboCasa), bem como em implantação com robô real na plataforma DROID. O método demonstra que a estrutura geométrica que explora não é específica de uma única arquitetura ou ambiente.

Resultados Experimentais

O artigo avalia o COAST contra baselines sem direcionamento, ajuste fino supervisionado (SFT), Adição de Ativação Contrastiva (CAA) e direcionamento de Codificador Automático Esparso (SAE).

• Ganhos de Desempenho: Em todos os pares modelo-benchmark, o COAST produz melhorias estatisticamente significativas.
  • MetaWorld ML45: A taxa média de sucesso $\pi0.5$ aumentou de 0,57 para 0,82 (+25%) com direcionamento contrastivo por passo.
  • LIBERO-10: A taxa média de sucesso $\pi0.5$ aumentou de 0,43 para 0,80 (+37%).
  • RoboCasa: Ganhos significativos foram observados em todos os modelos, com $\pi0.5$ atingindo 0,56 e GR00T N1.5 atingindo 0,75.
  • Mundo Real: Na plataforma DROID, o $\pi0.5$ com COAST alcançou uma melhoria média de 40% nas taxas de sucesso em tarefas como "Abrir Gaveta" e "Fechar Micro-ondas", mesmo sem ajuste fino em demonstrações.
• Comparação: O COAST supera consistentemente o direcionamento CAA e SAE, que são limitados por sua natureza unidirecional ou baseada em características. Também supera o SFT, que frequentemente sofre de sobreajuste quando treinado no pequeno número de execuções (15) usado para o ajuste do conceptor do COAST.
• Transferência entre Tarefas: Devido à geometria compartilhada dos modos de falha, conceptores ajustados em uma tarefa podem melhorar o desempenho em uma tarefa diferente dentro do mesmo benchmark sem reajuste, desde que seus subespaços de falha se sobreponham.

Significado e Alegações

O artigo alega que os VLAs atuais retêm conhecimento substancialmente relevante para a tarefa em suas representações latentes, mas o gargalo de decodificação do especialista de ação impede a utilização plena dessas informações. O COAST fornece um operador geométrico em forma fechada para trazer à tona essa capacidade latente sem retreinamento.

Os autores enfatizam que a estrutura geométrica que permite o direcionamento — especificamente, subespaços de baixo posto com direções de sucesso e falha contrastivamente separáveis — é uma propriedade geral de como redes neurais codificam informações relevantes para a tarefa, persistindo em políticas de correspondência de fluxo, autoregressivas e de difusão. Eles concluem que as falhas de execução VLA podem ser mitigadas direcionando o modelo em direção às suas próprias distribuições de "sucesso", oferecendo um caminho escalável e eficiente para desbloquear capacidades latentes em IA incorporada.

O trabalho também destaca uma consideração de segurança: como o direcionamento atua sobre ativações internas, uma política direcionada é difícil de distinguir de uma não modificada com base apenas em traços de ação. Os autores recomendam registrar os conceptores aplicados como parte da especificação da política para garantir transparência.