Resumo Técnico: Erro por Grupo, Não MSE Total: Ajuste Fino de Modelos de Visão-Linguagem-Ação para Manipulação Móvel de 11 DoF

Declaração do Problema

A implantação de modelos pré-treinados de Visão-Linguagem-Ação (VLA) em manipuladores móveis apresenta um desafio único devido à heterogeneidade de seus espaços de ação. Enquanto a maioria dos VLAs (ex: OpenVLA, RT-2) é treinada em robôs de braço fixo com 6 a 7 graus de liberdade (DoF) cartesianos, plataformas como o Toyota Human Support Robot (HSR) exigem o controle de 11 juntas que abrangem um braço, garra, cabeça e base sobre rodas.

O problema central identificado é que as métricas de avaliação padrão, especificamente o Erro Quadrático Médio (MSE) agregado, obscurecem dinâmicas críticas de desempenho nesses espaços heterogêneos. Quando 11 dimensões são colapsadas em uma única métrica, grupos de juntas que são fáceis de prever (ex: garra ou cabeça) podem mascarar grupos que estão com subajuste (ex: base móvel ou braço). Consequentemente, um checkpoint com o menor MSE total pode não corresponder ao modelo que apresenta o melhor desempenho no robô físico, levando a falhas de implantação contraintuitivas no mundo real, onde um metric offline "melhor" resulta em um resultado real "pior".

Metodologia

Modelos e Configuração

O estudo compara duas arquiteturas VLA ajustadas para o HSR de 11 DoF:

1. SmolVLA (450M parâmetros): Um modelo leve baseado no SmolVLM2-500M, configurado com uma cabeça de ação de flow-matching para saída de 11 dimensões. Foi pré-treinado em um subconjunto dos dados da comunidade LeRobot (109k episódios, apenas braço fixo) e, em seguida, passou por ajuste fino (fine-tuning) em dados de teleoperação específicos do HSR.
2. $\pi$0.5 (3.3B parâmetros): Um modelo maior baseado no PaliGemma2 com uma cabeça de ação de especialista baseada em difusão. Foi pré-treinado em um corpus diversificado incluindo manipulação móvel em múltiplos embodiments.

Regimes de Treinamento

• SmolVLA: Treinado em duas fases: (1) Pré-treinamento em 109k episódios do HSR por 20k passos, e (2) Ajuste fino específico de tarefa para uma tarefa de pegar objetos (pick-up) (3.971 episódios) por 50k passos.
• $\pi$0.5: Avaliado usando baselines pré-treinados (80k e 100k passos) e um regime de ajuste fino apenas do especialista, onde o backbone de 3 bilhões de parâmetros foi congelado e apenas a cabeça de ação de aproximadamente 300 milhões de parâmetros foi treinada por até 5k passos. Esta abordagem foi escolhida devido às restrições de memória que impediam o ajuste fino completo.

Protocolo de Avaliação

Os autores propõem uma decomposição de erro por grupo em vez de depender apenas do MSE agregado. O vetor de ação de 11 dimensões é dividido em quatro grupos funcionais:

• Braço (5 juntas)
• Garra (1 junta)
• Cabeça (2 juntas)
• Base (3 juntas)

A avaliação offline envolveu o cálculo do Erro Quadrático Médio (MSE) para cada grupo separadamente em dados de teste (held-out). A validação no robô real foi realizada no Toyota HSR com 60 tentativas (20 por modelo) em uma tarefa de pegar objetos (caneca e caixa de biscoito), avaliada em uma rubrica de 4 pontos.

Resultados Principais

1. SmolVLA: O Gargalo da Base Móvel

• Dinâmica de Convergência: Durante o ajuste fino, o erro da garra diminuiu rapidamente (92,9% de melhoria), enquanto o erro da base móvel melhorou significativamente mais devagar (57,8%).
• Teto de Desempenho: A base móvel permaneceu como a fonte dominante de erro, estabelecendo efetivamente o teto para o MSE total.
• Resultado no Mundo Real: O melhor checkpoint do SmolVLA (40k passos) alcançou uma pontuação média no robô real de 3,5/4. As falhas foram caracterizadas por navegação precisa, mas garra descalibrada (aproximando-se do objeto, mas errando a pega por ~20cm), consistente com o fato de o erro residual do braço ser maior que o erro da base em alguns contextos, embora a base tenha sido o principal gargalo de treinamento.

2. $\pi$0.5: O Desconecte do Especialista

• Baseline vs. Ajuste Fino: O baseline pré-treinado do $\pi$0.5 (80k passos) alcançou a maior pontuação no robô real de 4,0/4 (20/20 sucessos).
• O Resultado Contraintuitivo: O ajuste fino apenas do especialista reduziu o MSE total de 1,04 para 0,95 (uma melhoria de 9%). No entanto, este modelo "melhor" performou pior no robô (3,75/4, 15/20 sucessos), com uma diferença estatisticamente significativa ($p=0,010$).
• Análise por Grupo: A melhoria no MSE total foi impulsionada por ganhos nos grupos da garra e da base. No entanto, o erro do grupo do braço degradou significativamente (de 0,30 para 0,59 MSE). As falhas no mundo real (falhar ao levantar o objeto de forma limpa) correlacionaram-se diretamente com essa degradação do braço, não com o MSE total ou o erro da base.

3. Confiabilidade da Métrica

• Falha do MSE Total: No experimento com o $\pi$0.5, o modelo com o menor MSE total (especialista apenas 3k) foi o pior performer no robô.
• Sucesso por Grupo: A métrica offline que consistentemente previu o ranking no robô real foi o erro do grupo do braço.
• Significância Estatística: Testes de Mann-Whitney confirmaram que o $\pi$0.5 de 80k superou significativamente ambas as variantes de ajuste fino.

Principais Contribuições

1. Identificação da "Armadilha do MSE Agregado": O artigo demonstra que, para espaços de ação heterogêneos, minimizar o MSE total pode levar à degradação de grupos de juntas críticos (como o braço) se suas magnitudes de erro forem menores do que outros grupos (como a garra), fazendo com que o otimizador os sacrifique.
2. Decomposição de Erro por Grupo: Os autores introduzem um método de avaliação sistemático que decompõe o erro por grupo de juntas (braço, garra, cabeça, base), revelando dinâmicas de treinamento invisíveis em métricas agregadas.
3. Validação de Sinais Offline em Robôs Reais: Através de 60 testes reais em robôs, o estudo valida empiricamente que o erro por grupo é um sinal mais fiel para a seleção de checkpoints do que o MSE total.
4. Identificação de Gargalos: O trabalho destaca que o grupo "gargalo" varia conforme o modelo e o regime de treinamento:
   • Para o SmolVLA, o gargalo foi a base móvel (convergência lenta devido à falta de exposição no pré-treinamento).
   • Para o $\pi$0.5 especialista, o gargalo foi o braço (degradação devido a trocas (trade-offs) de otimização no processo de ajuste fino).

Significância e Alegações

O artigo conclui que o erro por grupo é um sinal mais confiável do que o MSE total para selecionar checkpoints de VLA destinados à implantação em robôs com espaços de ação heterogêneos.

Os autores argumentam que o desconecte entre métricas offline e desempenho no mundo real é uma consequência previsível de colapsar grupos de juntas heterogêneos em uma única métrica. Eles afirmam que:

• Um checkpoint pode parecer competitivo em métricas agregadas enquanto falha em grupos críticos para a implantação.
• O grupo de juntas específico que limita o desempenho depende da arquitetura do modelo e do regime de treinamento (diversidade do corpus de pré-treinamento vs. escassez de dados de ajuste fino).
• Para profissionais, reportar o erro por grupo é essencial para identificar qual grupo é o gargalo atual (seja a base em um novo modelo ou o braço em um especialista ajustado) antes de confiar um modelo para implantação.

O estudo não afirma resolver o desequilíbrio de otimização subjacente (ex: via ponderação de incerteza ou balanceamento de gradiente), mas identifica-o como o provável motor das dinâmicas observadas, deixando a aplicação de tais técnicas para trabalhos futuros. A comparação entre SmolVLA e $\pi$0.5 é estruturada como uma comparação prática de checkpoints disponíveis, em vez de um estudo arquitetural controlado, reconhecendo as diferenças nos corpora de pré-treinamento.