Resumo Técnico: Regularização de Representação Contrastiva para Modelos Visão-Linguagem-Ação

Declaração do Problema

Modelos Visão-Linguagem-Ação (VLA) demonstraram potencial significativo na manipulação robótica ao aproveitar representações semânticas ricas de Modelos Visão-Linguagem (VLMs) pré-treinados. No entanto, persiste uma limitação crítica: as representações derivadas de VLMs de propósito geral são frequentemente subótimas para controle robótico. Embora os VLMs sejam treinados em grandes conjuntos de dados de instruções visuais, eles carecem de exposição explícita a modalidades robóticas, especificamente ações de controle de baixo nível e informações proprioceptivas (por exemplo, posições das juntas, estados do efetuador final).

Consequentemente, quando os modelos VLA são condicionados a representações de VLM congeladas, os embeddings tendem a ser dominados pela aparência visual (por exemplo, layout da cena, texturas de fundo) em vez de fatores relevantes para o controle. Esse desalinhamento resulta em representações que falham em capturar o estado físico do robô ou os sinais necessários para previsão precisa de ações, levando a desempenho subótimo em tarefas que exigem posicionamento preciso.

Metodologia: Perda Contrastiva Consciente do Estado do Robô (RS-CL)

Para abordar o desalinhamento entre as representações de VLM e os sinais robóticos, os autores propõem a Perda Contrastiva Consciente do Estado do Robô (RS-CL). Esta é uma técnica simples e eficaz de regularização de representação projetada para fechar a lacuna entre os embeddings de VLM e os estados proprioceptivos do robô, sem exigir estágios de treinamento adicionais ou conjuntos de dados curados.

Componentes Principais

1. Aumento no Nível de Representação (Corte de Visão):
   Em vez de realizar aumentos de nível de dados caros que exigem múltiplas passagens forward através do VLM, os autores introduzem o "corte de visão". Esta operação mascara aleatoriamente o fatia de características correspondente a uma única vista de observação da saída do VLM. Isso cria embeddings alternativos no nível de representação com sobrecarga computacional mínima, permitindo a construção eficiente de pares contrastivos diversos.

2. Token de Sumarização Aprendível:
   Para lidar com o alto custo computacional de aplicar aprendizado contrastivo em sequências completas de VLM (que são tipicamente longas), um token de sumarização aprendível é anexado à saída do VLM. O adaptador processa este token para produzir um embedding representativo compacto ($z$) usado para aprendizado contrastivo, enquanto os embeddings originais ($h$) permanecem disponíveis para o decodificador de ações.

3. Objetivo Contrastivo com Pesos Suaves:
   A RS-CL utiliza um framework de aprendizado contrastivo supervisionado baseado na perda InfoNCE. Ao contrário das perdas contrastivas padrão que tratam todos os pares negativos igualmente, a RS-CL atribui pesos suaves às pontuações de similaridade com base na distância euclidiana entre os estados proprioceptivos do robô ($q_i, q_j$).

   • Mecanismo: Pares de estados com pequenas distâncias proprioceptivas (estados físicos semelhantes) recebem pesos mais altos, incentivando o modelo a aproximar seus embeddings no espaço de representação. Pares com grandes distâncias recebem pesos mais baixos.
   • Fórmula: A perda é definida como uma variante ponderada da InfoNCE:
     $$\mathcal{L}_{RS-CL} = - \sum_{i,j} w_{ij} \log \frac{\exp(\text{sim}(z_i, \tilde{z}_j)/\tau)}{\sum_k \exp(\text{sim}(z_i, \tilde{z}_k)/\tau)}$$
     onde $w_{ij}$ é calculado a partir da distância relativa entre os estados proprioceptivos.

4. Integração de Treinamento:
   A RS-CL opera como um objetivo auxiliar ao lado da perda padrão de previsão de ações (por exemplo, perda de fluxo-matching). O objetivo total é $\mathcal{L} = \mathcal{L}_{FM} + \lambda \mathcal{L}_{RS-CL}$. O coeficiente de ponderação $\lambda$ é decaído durante o treinamento, enfatizando o refinamento de representação nas etapas iniciais e a previsão precisa de ações nas etapas posteriores. Isso permite treinamento de estágio único e end-to-end compatível com pipelines VLA existentes.

Contribuições Principais

• Objetivo Novel: Introdução da RS-CL, que alinha explicitamente as representações de VLM com os estados proprioceptivos do robô usando supervisão suave contínua baseada em distância.
• Design Eficiente: Desenvolvimento de uma estratégia de aumento no nível de representação ("corte de visão") que permite aprendizado contrastivo leve e estável sem passagens forward adicionais de VLM.
• Compatibilidade: Demonstração de que a RS-CL é totalmente compatível com pipelines padrão de treinamento VLA, não exigindo curadoria de dados adicional ou processos de treinamento multiestágio.

Resultados Experimentais

Os autores avaliaram a RS-CL em benchmarks de simulação e experimentos com robô real.

Benchmarks de Simulação

• RoboCasa-Kitchen: A RS-CL alcançou uma taxa de sucesso state-of-the-art de 69,7% (usando 300 demonstrações), superando a linha de base GR00T N1.5 (65,7%) e outras linhas de base fortes como $\pi_0$ (62,5%). Notavelmente, gerou ganhos substanciais em tarefas de pegar e colocar, melhorando as taxas de sucesso de 30,3% para 41,5% (+11,2%), uma categoria que exige posicionamento preciso.
• LIBERO: A RS-CL melhorou a taxa de sucesso média de 95,7% para 96,4%, demonstrando robustez em diferentes suítes de multitarefas.
• Eficiência: Em comparação com Redes Contrastivas Temporais (TCN), a RS-CL alcançou taxas de sucesso mais altas com sobrecarga computacional significativamente menor (2,91 $\times 10^{12}$ FLOPs vs. 7,53 $\times 10^{12}$ para TCN), pois evita mineração de dados estruturada temporalmente e passagens forward extras.

Experimentos com Robô Real

• Configuração: Os experimentos foram conduzidos em um braço Franka Research 3 com uma garra Robotiq 2F-85.
• Desempenho: Em tarefas de manipulação desafiadoras, a RS-CL melhorou a taxa de sucesso de 45,0% para 58,3% (+13,3%).
• Generalização: O método demonstrou robustez aprimorada a variações visuais, mudanças nas propriedades físicas (objetos não vistos), condições de iluminação e fundamentação de linguagem. Também mostrou desempenho aprimorado em tarefas com oclusão parcial (por exemplo, fechar uma tampa), atribuído a representações invariantes à vista.

Treinamento Do Zero

Ao treinar modelos VLA do zero em várias espinhas dorsais de VLM pré-treinadas (Qwen2.5-VL, SigLIP2, GR00T N1.5), a RS-CL consistentemente melhorou o desempenho em todas as arquiteturas. Ela superou linhas de base que dependiam de treinamento adicional de VLMs em conjuntos de dados robóticos (por exemplo, RoboBrain, VeBrain), sugerindo que o alinhamento explícito via RS-CL é mais eficaz do que a adaptação de domínio geral sozinha.

Significado e Alegações

O artigo afirma que a RS-CL aborda efetivamente a "lacuna de modalidade" entre VLMs de propósito geral e as demandas específicas do controle robótico. Ao alinhar explicitamente as representações com estados proprioceptivos, o método remodela o espaço de embedding para capturar sinais relevantes para o controle (como progresso da tarefa e pose do robô) em vez de apenas aparência visual.

Os autores enfatizam que esta abordagem é leve e transparente, evitando a necessidade de treinamento multiestágio complexo ou grandes conjuntos de dados robóticos curados. Os resultados sugerem que incorporar sinais de estado do robô diretamente no processo de aprendizado de representação é crucial para previsão precisa de ações, particularmente em tarefas que exigem posicionamento preciso. O trabalho incentiva pesquisas futuras na integração de outros sinais de sensores (por exemplo, pose do objeto, feedback tátil) para avançar ainda mais as capacidades VLA.