Resumo Técnico: Treinamento Híbrido para Modelos Visão-Linguagem-Ação

Declaração do Problema

Modelos Visão-Linguagem-Ação (VLA) emergiram como uma abordagem promissora para o controle de robôs generalistas, aproveitando Grandes Modelos Visão-Linguagem (VLMs) pré-treinados e ajustados finamente em conjuntos de dados robóticos. No entanto, existe um gargalo significativo entre o desempenho e a eficiência de inferência. Estratégias recentes, como a Cadeia de Pensamento Corporificada (ECoT), melhoram o desempenho ao treinar modelos para gerar "pensamentos" linguísticos intermediários (traces de raciocínio) antes de executar ações. Embora essas saídas intermediárias aprimorem o planejamento e a generalização do agente, elas aumentam significativamente a latência de inferência. Na manipulação robótica do mundo real, onde as tarefas exigem longas sequências de ações, esse atraso impacta negativamente a usabilidade e a frequência de controle.

A questão central abordada por este trabalho é: A geração de longas cadeias de pensamento é um pré-requisito estrito para alcançar melhorias de desempenho em VLAs? Os autores hipotetizam que os ganhos de desempenho do CoT não derivam da geração de pensamentos no momento do teste, mas da internalização de padrões de raciocínio durante o treinamento. Eles propõem que os modelos podem desenvolver "intuição habilidosa" (analogamente ao pensamento do Sistema 1 na cognição humana) que lhes permite prever ações diretamente com alta precisão, tendo aprendido a partir de traces de raciocínio durante a fase de treinamento.

Metodologia: Treinamento Híbrido (HyT)

O artigo introduz o Treinamento Híbrido (HyT), um framework projetado para permitir que VLAs aprendam a partir de traces de raciocínio, mantendo a capacidade de realizar inferência de ação direta e rápida.

Conceito Central

O HyT trata o VLA como um único modelo capaz de aprender múltiplas distribuições condicionais baseadas em uma variável de modalidade ($m$). Em vez de treinar modelos separados para "pensar" (ECoT) e "agir" (VLA padrão), o HyT otimiza conjuntamente um único conjunto de parâmetros ($\theta$) para lidar com três modos distintos:

1. Modo Agir ($m_a$): O modelo prevê ações diretamente, condicionado apenas à observação e à descrição da tarefa ($p(a_t | x_t, l)$). Isso imita a inferência padrão de VLA.
2. Modo Pensar ($m_\tau$): O modelo primeiro prevê pensamentos intermediários ($\tau_t$) e depois ações condicionadas a esses pensamentos ($p(a_t, \tau_t | x_t, l)$), semelhante ao ECoT.
3. Modo Seguir ($m_f$): O modelo prevê ações condicionadas a pensamentos/instruções fornecidas por uma fonte externa (por exemplo, um humano ou oráculo), atuando como uma política de baixo nível em um sistema hierárquico ($p(a_t | x_t, \tau_t, l)$).

Objetivo de Treinamento

O objetivo de treinamento é formulado como uma soma ponderada de perdas de verossimilhança negativa para cada distribuição:
$$\min_{\theta} \mathcal{L}_{hyt}(\theta) = w_\alpha \mathcal{L}_{act}(\theta) + w_\tau \mathcal{L}_{think}(\theta) + w_f \mathcal{L}_{follow}(\theta)$$

Para evitar reduzir a variabilidade do lote (o que ocorreria se cada ponto de dados incluísse todos os três modos), os autores empregam uma estimativa de Monte Carlo. Durante o treinamento, para cada lote, o modelo amostra entradas e saídas de acordo com as probabilidades definidas pelos coeficientes ($w_\alpha, w_\tau, w_f$). Nos experimentos, os autores utilizam coeficientes $\{w_\alpha: 0,25, w_\tau: 0,5, w_f: 0,25\}$, priorizando a distribuição "pensar" para maximizar o sinal de aprendizado dos traces de raciocínio.

Flexibilidade de Inferência

No momento do teste, a variável de modalidade é definida explicitamente para controlar o comportamento do modelo:

• Padrão (Agir): O modelo é instruído com $m = \langle act \rangle$ para outputar ações diretamente. Isso mantém a velocidade de inferência de VLAs padrão (aprox. 3 Hz em GPUs A100) enquanto se beneficia do conhecimento internalizado durante o treinamento.
• Modos Alternativos: O modelo pode ser alternado para o modo "pensar" para interpretabilidade ou para o modo "seguir" para executar instruções granulares fornecidas por um oráculo ou humano.

Contribuições Principais

1. Framework HyT: Uma estratégia de treinamento inovadora que unifica o treinamento padrão de VLA, ECoT e o seguimento de instruções hierárquico em uma única arquitetura de modelo.
2. Desacoplamento de Treinamento e Inferência: A demonstração de que os modelos podem aprender a partir de traces de raciocínio (CoT) durante o treinamento, mas executar ações diretamente durante a inferência, efetivamente "destilando" o processo de raciocínio nas representações internas do modelo sem incorrer em latência de inferência.
3. Modos de Inferência Flexíveis: A capacidade de alternar dinamicamente entre previsão direta de ação, geração de pensamentos e seguimento de instruções dentro do mesmo modelo, oferecendo um compromisso entre velocidade e interpretabilidade.
4. Validação Empírica: Avaliação extensa em benchmarks simulados (ClevrSkills, LIBERO) e tarefas robóticas do mundo real (UFactory xArm 6).

Resultados Experimentais

Benchmarks Simulados

• ClevrSkills: Modelos treinados com HyT superaram consistentemente VLAs padrão e geralmente superaram as linhas de base ECoT e hierárquicas (HiRobot) em todos os tamanhos de conjunto de dados (300 a 3000 demonstrações). Notavelmente, o HyT mostrou os ganhos mais significativos em tarefas complexas e de longo horizonte.
  • Velocidade de Inferência: HyT e VLAs padrão alcançaram ~3 Hz, enquanto o ECoT foi 3 vezes mais lento e o HiRobot foi 4 vezes mais lento.
  • Eficiência de Dados: Modelos HyT treinados em pequenos conjuntos de dados (300 demos) mostraram desempenho superior em comparação com as linhas de base, sugerindo que a distribuição "pensar" fornece um sinal de treinamento forte quando os dados são escassos.
• LIBERO: Quando combinado com a receita OFT (Otimização de Ajuste Fino), o HyT alcançou resultados state-of-the-art, particularmente nas suites de tarefas "Goal" e "Long", superando outras abordagens baseadas em CoT e VLA padrão.

Experimentos do Mundo Real

• Configuração: Os experimentos foram conduzidos em um UFactory xArm 6 com uma garra de dois dedos.
• Desempenho: O HyT superou significativamente a linha de base OpenVLA, alcançando uma taxa de sucesso geral de 63% em comparação com 41% para o OpenVLA.
• Generalização: A diferença de desempenho foi mais pronunciada em tarefas Fora de Distribuição (OOD) (54% vs 29%), indicando que o HyT melhora a capacidade do modelo de generalizar para arranjos e cenários de objetos novos.
• Análise Qualitativa: Modelos HyT demonstraram maior precisão ao alcançar posições de pegar e colocar e menos erros na seleção de objetos em comparação com o OpenVLA.

Estudos de Ablação

• Coeficientes: A distribuição "pensar" foi encontrada como crítica para pequenos conjuntos de dados, enquanto a distribuição "seguir" melhorou o desempenho quando o modelo foi obrigado a seguir instruções de oráculo externo.
• Modos de Inferência: Nas configurações avaliadas, os modos "agir" e "pensar" renderiram desempenho semelhante, apoiando a hipótese de que a geração de pensamentos intermediários não é estritamente necessária no momento do teste para tarefas de manipulação primitiva.

Significado e Alegações

O artigo afirma que a utilidade primária das técnicas de CoT em VLAs é melhorar as representações aprendidas do modelo, em vez de servir como um passo intermediário obrigatório durante a execução. Ao internalizar os padrões de raciocínio, o modelo desenvolve uma "intuição especialista" que permite controle robusto e de alta frequência.

Os autores posicionam o HyT como uma solução escalável que preenche a lacuna entre raciocínio de alto desempenho e controle robótico em tempo real. Eles argumentam que, embora tarefas complexas que exigem memória avançada ou raciocínio ainda possam se beneficiar do CoT no momento do teste, muitas tarefas padrão de manipulação podem ser resolvidas de forma robusta com baixos custos de inferência ao aproveitar o HyT. O framework oferece um caminho prático para implantar VLAs de alto desempenho em configurações do mundo real onde a latência é crítica, sem sacrificar os benefícios de generalização do treinamento baseado em raciocínio.