💻 computer science

Cross-View Action Consistency for Camera-Robust Vision-Language-Action Policies

Este artigo propõe um método de consistência de ação entre vistas que regulariza políticas de Visão-Linguagem-Ação baseadas em fluxo para alcançar robustez contra mudanças de perspectiva da câmera na cena usando apenas imagens RGB e propriocepção, melhorando significativamente o desempenho em tarefas robóticas simuladas e do mundo real sem exigir rótulos de câmera ou entradas de profundidade.

Autores originais: Bingqi Huang, Bingchuan Wei, Xuan Wang, Yingkai Cai, Zhaokui Wang

Publicado 2026-09-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bingqi Huang, Bingchuan Wei, Xuan Wang, Yingkai Cai, Zhaokui Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Robôs que aprendem com demonstrações humanas estão se tornando cada vez mais capazes, mas frequentemente sofrem de uma fragilidade peculiar: eles estão presos ao ponto de vista específico a partir do qual foram ensinados. Imagine um robô treinado para pegar uma xícara enquanto uma câmera está situada em uma prateleira acima da mesa. Se essa câmera for esbarrada, movida para o lado ou elevada, o robô pode subitamente falhar, mesmo que a xícara, a mesa e o próprio corpo do robô não tenham se movido. Isso acontece porque o "cérebro" do robô, um tipo de inteligência artificial que conecta o que ele vê com o que ele deve fazer, aprendeu a reconhecer a tarefa com base no ângulo exato da câmera original. No mundo real, câmeras são esbarradas, robôs se movem e a iluminação muda, portanto, um sistema que não consegue se adaptar a uma mudança de ponto de vista não é verdadeiramente útil. Pesquisadores tentaram resolver isso fornecendo aos robôs sensores mais complexos, como câmeras de profundidade que veem em 3D, ou ensinando-os a compreender a geometria da sala, mas essas soluções geralmente exigem hardware caro ou calibrações complexas que são difíceis de manter.

Uma equipe de pesquisadores da Universidade Tsinghua e da Universidade de Amsterdã encontrou uma maneira de tornar essas políticas robóticas robustas ao movimento da câmera sem adicionar novos sensores ou alterar como o robô opera no mundo real. Eles focaram em um tipo específico de controlador robótico que aprende ao prever um "fluxo" de ações, semelhante à forma como a água flui em direção a um destino, em vez de apenas adivinhar o próximo movimento. O cerne de sua descoberta é um método de treinamento que força o robô a concordar consigo mesmo. Eles criaram pares de imagens de treinamento mostrando exatamente a mesma cena física de dois ângulos diferentes: uma da posição original da câmera e outra de uma posição ligeiramente deslocada. Crucialmente, eles garantiram que o robô fosse instruído a realizar exatamente a mesma ação para ambas as imagens. Ao treinar o rob em prever o mesmo fluxo de movimento para ambos os visuais, eles o ensinaram a ignorar a mudança na posição da câmera e focar apenas na tarefa em questão.

Os pesquisadores testaram essa ideia em um ambiente simulado usando um benchmark chamado LIBERO-Plus, que foi projetado especificamente para verificar o quão bem os robôs lidam com deslocamentos de câmera. Eles compararam seu novo método com técnicas de treinamento padrão. Quando a câmera era movida, um robô treinado com métodos padrão tinha sucesso em apenas cerca de 17% das tentativas. Um robô treinado em muitos ângulos de câmera diferentes sem a sua regra especial de consistência melhorou para cerca de 75% de sucesso. No entanto, o robô treinado com a nova regra de consistência entre visões atingiu uma taxa de sucesso de 87,2%. Essa melhoria foi significativa e consistente em diferentes pontos iniciais aleatórios do treinamento. Os pesquisadores também provaram que o sucesso dependia inteiramente do fato de que as duas imagens mostravam o mesmo estado físico. Quando eles embaralharam os dados de treinamento para que o robô tentasse combinar uma visão de uma xícara com uma ação destinada a um estado diferente, o desempenho desabou para apenas 25,8%, mostrando que o robô não estava apenas suavizando suas respostas, mas estava verdadeiramente aprendendo a ligar diferentes visões da mesma realidade à mesma ação.

Para garantir que isso não fosse apenas um resultado da simulação computacional, a equipe levou seu método para um braço robótico real em um laboratório. Eles coletaram dados de treinamento usando três câmeras sincronizadas observando a mesma mesa, permitindo-lhes criar os pares de visões necessários a partir do mundo real. Eles então testaram o robô usando uma única câmera colocada em uma posição que ele nunca havia visto durante o treinamento. O robô treinado com o novo método obteve sucesso em 74,4% desses testes de câmera não vistos, enquanto o método padrão obteve sucesso em apenas 53,3%. A melhoria foi mais dramática em tarefas difíceis, como remover fones de ouvido de um suporte, onde o método padrão falhou completamente nas novas posições de câmera, mas o novo método obteve sucesso em quase metade das tentativas. O estudo confirma que, ao ensinar um robô a perceber a consistência de suas próprias ações através de diferentes ângulos, ele pode se tornar muito mais confiável no mundo real, tudo isso sem precisar de câmeras extras, sensores de profundidade ou mapas geométricos complexos. O robô simplesmente aprende que a tarefa permanece a mesma, mesmo que a imagem mude.

Resumo Técnico: Consistência de Ação entre Visões para Políticas de Visão-Linguagem-Ação Robustas à Câmera

Declaração do Problema

Políticas de Visão-Linguagem-Ação (VLA), particularmente aquelas ajustadas (fine-tuned) a partir de demonstrações coletadas com uma câmera de cena fixa, frequentemente falham quando a câmera é movida, esbarrada ou remontada, mesmo que o estado físico da tarefa, a instrução de linguagem e a propriocepção do robô permaneçam inalterados. As soluções existentes para este problema de robustez tipicamente alteram o contrato de inferência ao exigir sensores de profundidade, nuvens de pontos, entradas de múltiplas visões calibradas, rótulos de câmera ou arquiteturas conscientes de geometria. Essas abordagens introduzem dependências de hardware ou sobrecarga computacional no momento da implantação.

Este artigo aborda o desafio de alcançar robustez de viewpoint de câmera de cena para VLAs baseados em fluxo utilizando apenas uma imagem RGB de cena, instruções de linguagem e estado proprioceptivo na inferência. O objetivo é evitar a degradação de desempenho quando a pose da câmera muda, sem depender de dados de profundidade, extrínsecos de câmera ou renderização de novos visores durante a implantação.

Metodologia: Consistência de Fluxo de Ação entre Visões

O método proposto introduz um objetivo de tempo de treinamento que regulariza diretamente o campo de velocidade do fluxo de ação, em vez de representações de características intermediárias. A ideia central é que, para políticas baseadas em fluxo, as ações são geradas integrando um campo de velocidade aprendido $v_\theta$ . Se duas visões de câmera diferentes observam o mesmo estado físico, a política deve prever vetores de velocidade consistentes nos mesmos coordenadas de fluxo, levando a chunks de ação consistentes.

1. Pares Equivalentes de Ação

O método baseia-se na construção de pares de treinamento $(o_0, o_p, l, q, a)$ onde:

$o_0$ e $o_p$ são observações RGB do mesmo estado físico $s$ renderizado de uma câmera nominal $c_0$ e uma câmera perturbada $c_p$ .
$l$ (linguagem), $q$ (propriocepção) e $a$ (chunk de ação demonstrada) são idênticos para ambas as visões.
Em simulação, esses pares são gerados resetando o ambiente MuJoCo para estados armazenados e renderizando novamente. Em robôs reais, eles são coletados usando configurações de múltiplas câmeras sincronizadas observando o mesmo timestamp.
Crucialmente, o fluxo da câmera do pulso (wrist-camera) é mascarado durante tanto o treinamento quanto a inferência para evitar que a política utilize um atalho visual não perturbado.

2. Função de Perda

Para um par de visões, a política prevê campos de velocidade $v_0$ e $v_p$ em coordenadas de fluxo amostradas $(t_k, \epsilon_k)$ . A perda total $\mathcal{L}$ combina dois termos:

Correspondência de Fluxo Padrão ( $\mathcal{L}_{FM}$ ): Ambas as visões são supervisionadas para corresponder ao alvo de ação demonstrada $u_{t_k}$ .
$\mathcal{L}_{FM} = \frac{1}{2} (\|v_0 - u_{t_k}\|^2 + \|v_p - u_{t_k}\|^2)$
Consistência entre Visões ( $\mathcal{L}_{CV}$ ): As velocidades previstas para as duas visões são incentivadas a concordar nas dimensões de ação ativas.
$\mathcal{L}_{CV} = \|v_p[\cdot, : A_{act}] - v_0[\cdot, : A_{act}]\|^2$

O objetivo total é $\mathcal{L} = \frac{1}{K}\sum \mathcal{L}_{FM} + \lambda_{CV} \frac{1}{K}\sum \mathcal{L}_{CV}$ .

3. Justificativa Teórica

O artigo argumenta que a invariância ao nível de características não garante a invariância ao nível de ação. Ao regularizar o próprio campo de velocidade, o método limita diretamente a divergência dos chunks de ação integrados. Sob uma suposição de Lipschitz local, a diferença esperada ao quadrado entre os chunks de ação gerados a partir de visões nominais e perturbadas é limitada pela diferença esperada ao quadrado de suas previsões de velocidade ao longo da trajetória de integração.

4. Mecanismos de Controle

Para verificar se o ganho provém do pareamento equivalente de ação e não de um suavizamento genérico, os autores utilizam um controle de pares embaralhados (shuffled-pair control). Nesta ablação, a perda de consistência entre visões compara velocidades de diferentes estados físicos (quebrando a equivalência de ação) enquanto mantém os rótulos de correspondência de fluxo corretos. Este controle causa o colapso do desempenho, confirmando que o método depende da verdadeira correspondência de estado.

Principais Contribuições

Formulação: O artigo formula a robustez de câmera de cena para VLAs baseados em fluxo como um problema de consistência local de fluxo de ação através de visões equivalentes de ação.
Objetivo: Propõe um objetivo de consistência de fluxo de ação entre visões que regulariza diretamente o campo de velocidade. Esta abordagem não adiciona sensores, calibração ou entradas específicas de câmera na inferência.
Validação Empírica: Através de ablações controladas, os autores demonstram que:
- O melhoria depende do pareamento equivalente de ação (pares embaralhados falham).
- O benefício estende-se a poses de câmera (azimute, distância, rotação) que não foram cobertas pelos pares de treinamento (extrapolação).
- O método melhora a robustez sem sacrificar o desempenho na visão de câmera nominal.

Resultados Experimentais

Simulação (LIBERO-Plus)

Avaliado no benchmark de perturbação de câmera LIBERO-Plus (C1: distância/escala, C2: posição esférica, C3: orientação do endpoint):

Método Proposto: Alcançou 87,2 ± 0,4% de sucesso na trilha de perturbação de câmera.
Baselines:
- +7,4 pontos percentuais (pp) sobre um controle de "mesmos dados" de apenas Correspondência de Fluxo (FM) (79,8%), que usou exatamente os mesmos dados pareados, mas sem a perda de consistência entre visões.
- +12,5 pp sobre o Ajuste Fino Supervisionado (SFT) de múltiplas câmeras padrão (74,7%).
- +70,4 pp sobre um baseline nominal (16,8%).
Desempenho Nominal: O método manteve alto sucesso no benchmark padrão de câmera nominal (94,2% vs. 93,6% para o controle de apenas FM), demonstrando que não há compensação (trade-off) no desempenho nominal.
Ablações: Pares embaralhados reduziram o desempenho para 25,8%, provando a necessidade de correspondência equivalente de ação.

Avaliação em Robô Real

Avaliado em três tarefas de mesa (Pegar e Colocar, Contato Rico, Operação Destreza) com treinamento de múltiplas câmeras sincronizadas e implantação de câmera não vista (held-out):

Sucesso de Câmera Não Vista: Melhorou de 53,3% (apenas FM) para 74,4% (Proposto).
Especificidades da Tarefa: A tarefa da tampa do Laptop alcançou 100% de sucesso em câmeras não vistas com o método proposto. A tarefa do suporte de fones de ouvido mostrou o maior ganho relativo (de 16,7% para 46,7%), embora o desempenho absoluto tenha permanecido limitado por questões de observabilidade (oclusão de objetos finos).
Generalização: Os ganhos foram mais pronunciados para posicionamentos geometricamente agressivos (ex: visões de topo, mais altas).

Significância e Alegações

O artigo afirma que a consistência ao nível de ação é um alvo mais eficaz para a robustez de câmera do que a invariância ao nível de características. Ao regularizar o campo de velocidade que gera diretamente as ações, o método garante que diferentes visões do mesmo estado produzam o mesmo comportamento pretendido.

A significância deste trabalho reside na sua capacidade de melhorar a robustez sem alterar o contrato de inferência. Ao contrário de métodos que exigem sensores de profundidade, rótulos de câmera ou reconstrução 3D, esta abordagem permite que um VLA seja implantado com uma única câmera RGB, permanecendo robusto a mudanças de viewpoint. Os autores enfatizam que o método é uma receita de tempo de treinamento que aproveita visões equivalentes de ação observadas (via reset de simulação ou câmeras sincronizadas) para ensinar a política a ignorar mudanças de viewpoint irrelevantes, tornando-o aplicável às arquiteturas de VLA baseadas em fluxo existentes, como a $\pi_{0.5}$ .

O artigo permanece modesto quanto às suas limitações: ele não recupera informações ocluídas pela câmera (ex: pistas de profundidade próximas ao contato para objetos finos) e requer pares verdadeiramente equivalentes de ação para o treinamento, o que exclui conjuntos de dados padrão de câmera única. No entanto, estabelece um novo patamar para o treinamento de VLAs robustos à câmera que é compatível com a inferência padrão baseada apenas em RGB.