Resumo Técnico: SemiVLA – Adaptação de Visão-Linguagem-Ação Semi-Supervisionada

1. Definição do Problema

O artigo aborda o desafio de adaptar modelos de Visão-Linguagem-Ação (VLA) para novos robôs, ambientes e distribuições de tarefas quando as demonstrações com rótulos de ação são escassas. Embora modelos VLA de larga escala (ex: OpenVLA, $\pi_0$, GR00T) possuam fortes vieses gerais, o ajuste fino (fine-tuning) deles normalmente requer rótulos de ação de baixo nível e densos, que são caros de coletar via teleoperação.

Os autores definem um cenário de adaptação semi-supervisionada onde:

• Um pequeno conjunto de trajetórias ($D_l$) contém supervisão total: observações visuais ($o$), instruções de linguagem ($q$) e ações reais (ground-truth) ($a$).
• Um grande conjunto de trajetórias ($D_u$) contém apenas observações visuais e instruções de linguagem, carecendo de rótulos de ação.

A dificuldade central reside na natureza da supervisão ausente. Diferente do aprendizado semi-supervisionado (SSL) padrão em classificação de imagens, onde os pseudo-rótulos são classes discretas, os pseudo-rótulos de VLA são sinais de ação incorporados (embodied). Estes devem ser:

1. Visualmente fundamentados na observação.
2. Semanticamente consistentes com a instrução de linguagem.
3. Fisicamente viáveis dentro do espaço de ação do robô.
4. Temporalmente estáveis ao longo da trajetória.

A aplicação direta do SSL convencional (ex: rotulagem de pseudo-rótulos baseada em confiança) falha porque um modelo VLA pode atribuir alta confiança a uma ação que é fisicamente impossível ou visualmente não fundamentada, levando a erros cumulativos na execução em malha fechada (closed-loop).

2. Metodologia: SemiVLA

Os autores propõem o SemiVLA, um framework de destilação própria professor-aluno projetado para aprender com pseudo-ações confiáveis em trajetórias não rotuladas. O método consiste em três componentes primários:

A. Pipeline de Treinamento

1. Aquecimento Supervisionado (Supervised Warm-up): A política aluno ($\pi_\theta$) é primeiro ajustada finamente no conjunto limitado rotulado ($D_l$) para estabelecer uma direção de adaptação estável para o espaço de ação alvo.
2. Inicialização do Professor: A política professor ($\pi_\xi$) é inicializada a partir do aluno aquecido.
3. Aprendizado de Pseudo-Ação por Autodestilação:
   • O professor gera pseudo-ações ($\hat{a}_t$) para trajetórias não rotuladas ($D_u$) usando uma visão "fraca" da observação.
   • O aluno é treinado para corresponder a essas pseudo-ações em uma visão "forte" (com perturbações como crop, jitter, ruído) apenas se a pseudo-ação for considerada confiável.
   • O aluno aprende através de uma combinação de perda supervisionada (em $D_l$), perda de autodestilação (em $D_u$ confiável) e objetivos de alinhamento/consistência.

B. Controlador de Confiabilidade Específico para VLA

Para filtrar pseudo-ações ruidosas, o SemiVLA introduz um controlador de confiabilidade que calcula um escore $r_t$ como o produto de três sinais complementares:

1. Alinhamento Visão-Linguagem ($r^{vl}_t$): Mede a similaridade de cosseno entre o embedding da instrução de linguagem e os tokens visuais relevantes na observação. Isso garante que a ação esteja fundamentada nos objetos/regiões corretos.
2. Viabilidade de Ação ($r^{act}_t$): Avalia a plausibilidade física. Para ações contínuas, penaliza grandes magnitudes e saltos súbitos (variação temporal). Para tokens de ação, verifica a entropia da distribuição e a consistência.
3. Consistência de Transição Temporal ($r^{temp}_t$): Utiliza um preditor de transição leve para verificar se a pseudo-ação pode explicar a transição visual de $o_t$ para $o_{t+1}$. Um escore alto indica que a ação é dinamicamente consistente com a trajetória observada.

Apenas as pseudo-ações com um escore de confiabilidade acima de um limiar são utilizadas para o treinamento.

C. Atualização de Alinhamento Projetada pelo Gargalo (Bottleneck-Projected Alignment Update)

Em vez de atualizar o professor via EMA (Exponential Moving Average) padrão, que pode propagar atualizações ruidosas do aluno, o SemiVLA emprega uma Atualização de Alinhamento Projetada pelo Gargalo.

• Decomposição: Os parâmetros treináveis são divididos em um Grupo de Alinhamento Semântico (projetores visuais, PEFT de visão-linguagem) e um Grupo de Precisão de Ação (cabeça de ação, PEFT de política tardia).
• Filtragem:
  • O grupo semântico é atualizado apenas se o subespaço visão-linguagem estiver estável (baixa sensibilidade a perturbações).
  • O grupo de ação é atualizado apenas se as pseudo-ações forem viáveis e temporalmente consistentes.
• Projeção: O deslocamento de parâmetros do aluno ($\Delta$) é projetado através de um portão de gargalo antes de atualizar o professor. Isso evita que atualizações visuais "sensíveis a incômodos" ou correções de ação instáveis contaminem o professor, garantindo que este permaneça um gerador de pseudo-ações confiável.

D. Inferência

No momento da inferência, apenas a política aluno é utilizada. O professor, o controlador de confiabilidade e os mecanismos de atualização são descartados, o que significa que o SemiVLA não adiciona custo extra de inferência.

3. Principais Contribuições

1. Formulação do Problema: O artigo formula explicitamente a adaptação semi-supervisionada de VLA sob sinais de supervisão limitados, distinguindo-a do ajuste fino supervisionado padrão e do SSL convencional ao destacar as restrições únicas dos sinais de ação incorporados.
2. Framework SemiVLA: Uma arquitetura professor-aluno de autodestilação que aproveita trajetórias visão-linguagem não rotuladas para melhorar a adaptação sem exigir rótulos de ação densos.
3. Controlador de Confiabilidade: Um mecanismo inovador que avalia pseudo-ações com base no alinhamento visão-linguagem, viabilidade de ação e consistência temporal, indo além de simples limiares de confiança.
4. Atualização Projetada pelo Gargalo: Uma estratégia de atualização do professor que filtra o feedback do aluno através de subespaços estáveis, prevenindo a contaminação por ruído e melhorando a qualidade do loop de autodestilação.
5. Validação Empírica: Experimentos abrangentes demonstrando que o SemiVLA supera o ajuste fino supervisionado e as linhas de base de SSL existentes em múltiplos benchmarks.

4. Resultados Experimentais

Os autores avaliaram o SemiVLA utilizando o OpenVLA como backbone nos benchmarks LIBERO e CALVIN, com apenas 10% das trajetórias contendo rótulos de ação.

• Desempenho no LIBERO:

  • O SemiVLA + Selective LoRA alcançou uma taxa de sucesso média de 89,0%.
  • Superou a melhor linha de base supervisionada (OpenVLA + LoRA, 81,0%) em 8,0 pontos percentuais.
  • Também superou significativamente o zero-shot OpenVLA (69,8%) em 19,2 pontos.
  • Os ganhos foram particularmente pronunciados no LIBERO-Long (tarefas de longo horizonte), onde o SemiVLA + Selective LoRA atingiu 82,3% contra 70,3% do LoRA supervisionado.

• Generalização entre Benchmarks (CALVIN):

  • O SemiVLA + Selective LoRA alcançou 2,58 tarefas completadas em média, comparado a 1,86 para o Selective LoRA supervisionado e 1,32 para o zero-shot.
  • Isso indica que o método melhora a transferência para diferentes benchmarks de manipulação de longo horizonte, não apenas para a distribuição de treinamento.

• Adaptação Few-Shot:

  • Nos cenários de 1-shot e 5-shot, o SemiVLA superou consistentemente seus equivalentes supervisionados, demonstrando sua capacidade de compensar a extrema escassez de rótulos de ação usando dados não rotulados.

• Eficiência:

  • O SemiVLA alcança esses ganhos com métodos de eficiência de parâmetros (ex: Selective LoRA com apenas 31,6 milhões de parâmetros treináveis).
  • Não requer ajuste fino de parâmetros totais (7,0 bilhões de parâmetros) para alcançar resultados de estado da arte no regime de poucos rótulos.

• Estudos de Ablação:

  • Remover o controlador de confiabilidade ou a atualização de gargalo reduziu significativamente o desempenho, confirmando que tanto a qualidade das pseudo-ações quanto o método de evolução do professor são críticos.
  • O controlador de confiabilidade completo (VL + Ação + Temporal) foi mais rigoroso (aceitando ~36,8% das pseudo-ações), mas gerou taxas de sucesso mais altas do que os métodos baseados apenas em confiança, provando que qualidade sobre quantidade é essencial para VLA.

5. Significância e Alegações

O artigo alega que o SemiVLA fornece um mecanismo geral de adaptação semi-supervisionada que converte efetivamente trajetórias visão-linguagem sem rótulos de ação em supervisão confiável.

• Eficiência de Dados: Demonstra que políticas robóticas de alto desempenho podem ser adaptadas com significativamente menos demonstrações rotuladas de ação, aprovecendo a disponibilidade abundante de dados visão-linguagem não rotulados.
• Além da Confiança: O trabalho argumenta que as métricas de confiança do SSL padrão são insuficientes para controle incorporado; em vez disso, a confiabilidade deve ser avaliada através de viabilidade física, fundamentação visual e dinâmica temporal.
• Robustez: O método melhora a generalização para tarefas não vistas e perturbações ambientais (iluminação, distratores), sugerindo que o controlador de confiabilidade ajuda o modelo a aprender correspondências visão-linguagem-ação estáveis em vez de memorizar demonstrações específicas.
• Praticidade: Ao não adicionar custo de inferência e trabalhar com ajuste fino de parâmetros eficientes, a abordagem é apresentada como uma solução prática para implantar modelos VLA em cenários do mundo real, onde a coleta de rótulos de ação é um gargalo.