💻 computer science

StellaVLA: In-Context Structured Demonstration for Generalizable Vision-Language-Action Models

StellaVLA é um framework de adaptação em tempo de teste para modelos de Visão-Linguagem-Ação que aproveita demonstrações estruturadas de custo zero (por exemplo, planos de tarefa e movimento 3D verbalizado) como orientação de contexto para aumentar a generalização através de cenários fora da distribuição e diferentes formas corporais, alcançando o estado da arte em principais benchmarks sem latência de inferência.

Autores originais: Siyu Xu, Yunke Wang, Zijian Wang, Dihao Zhu, Chenghao Xia, Chengbin Du, Daochang Liu, Tao Huang, Chang Xu

Publicado 2026-08-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Siyu Xu, Yunke Wang, Zijian Wang, Dihao Zhu, Chenghao Xia, Chengbin Du, Daochang Liu, Tao Huang, Chang Xu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a fazer um sanduíche. Você poderia mostrar a ele um vídeo de você fazendo isso, e o robô poderia tentar copiar seus movimentos de mão exatamente. Mas o que acontece se o robô estiver em uma cozinha diferente, o pão estiver na esquerda em vez da direita, ou o robô tiver um tipo diferente de braço? De repente, o robô fica confuso e deixa o pão cair. Este é um grande problema no mundo da robótica, especificamente para um tipo de sistema inteligente chamado modelo Vision-Language-Action (VLA). Estes são como modelos de visão-linguagem-ação que são como super-robôs inteligentes que conseguem "ver" uma imagem, "ler" um comando como "pegue a xícara" e então "agir" movendo seu braço. O problema é que eles são frequentemente como alunos que memorizaram uma prova específica, mas falham quando as perguntas são ligeiramente diferentes. Eles têm dificuldade quando a cena muda, um novo objeto aparece ou o ângulo da câmera se desloca. Para corrigir isso, os cientistas geralmente precisam coletar milhares de novos vídeos e re-treinar o robô, o que leva uma eternidade.

Mas e se o robô pudesse apenas olhar para um único exemplo de alguém realizando a tarefa e instantaneamente entender por que a pessoa estava fazendo aquilo, não apenas o que ela estava fazendo? Essa é a grande questão que este artigo aborda. Em vez de apenas mostrar ao robô um vídeo bruto de uma mão se movendo, os pesquisadores querem dar ao robô um "guia de referência" que explique a lógica por trás dos movimentos. Eles querem que o robô aprenda o plano (como "segure a alça primeiro") em vez de apenas os pixels (como "mova a mão para a coordenada X, Y, Z"). Se eles conseguirem fazer isso, o robô poderá lidar com novas e estranhas situações sem precisar de um reboot total.

Apresentamos o StellaVLA, um novo framework da equipe técnica StellarEdge AI que tenta resolver exatamente este problema. Pense no StellaVLA como um robô que não apenas assiste a um filme; ele lê o comentário do diretor enquanto assiste.

Eis como funciona: A equipe construiu um sistema que pega um vídeo bruto e bagunçado de um robô ou humano realizando uma tarefa e o transforma automaticamente em uma demonstração estruturada. Imagine pegar um vídeo longo e confuso de alguém construindo um castelo de Lego e transformá-lo em um manual de instruções claro e passo a passo. O sistema divide a tarefa em "sub-objetivos" (como "encontre o tijolo vermelho") e descreve os movimentos em linguagem simples (como "mova o braço para cima e para a direita"). Isso acontece automaticamente, sem que humanos tenham que escrever notas, usando uma IA poderosa para "ler" o vídeo e escrever a história.

Uma vez que esses exemplos "baseados em histórias" estão prontos, eles são armazenados em uma biblioteca. Quando o robô enfrenta uma nova tarefa, ele não apenas adivinha. Ele pesquisa nesta biblioteca, encontra a melhor história correspondente e a utiliza como guia. Mas aqui está a parte inteligente: o robio é treinado de uma forma especial. Durante sua "escolarização", ele tem que fazer duas coisas ao mesmo tempo: ele tem que aprender como mover seu braço (a ação) e tem que aprender como explicar o movimento em palavras (o raciocínio). É como um aluno que tem que resolver um problema de matemática e escrever os passos para obter a pontuação total. Isso força o robô a entender a lógica da tarefa, não apenas imitar o movimento.

No entanto, o artigo faz uma distinção muito importante sobre como isso funciona no mundo real. Embora o robô aprenda conversando consigo mesmo durante o treinamento, quando ele realmente vai realizar o trabalho (inferência), ele para de falar. A parte "explicadora" de seu cérebro é desligada, e apenas a parte "executora" permanece ativa. Por quê? Porque falar leva tempo, e os robôs precisam se mover rápido. Ao desligar a conversação durante o trabalho real, o robô permanece super rápido e responsivo, mas ainda se beneficia da compreensão profunda que aprendeu enquanto estudava.

Os resultados desta abordagem são bastante promissores, pelo menos nos testes que os pesquisadores realizaram. Em uma série de simulações chamadas LIBERO, o robô alcançou uma taxa de sucesso de 98,8%, o que é muito alto. Quando testado em um ranking mais difícil chamado VLA-Arena, que inclui situações complicadas como novos objetos ou fundos confusos, o StellaVLA marcou 0,63 no geral. Isso superou outros modelos fortes, que marcaram em torno de 0,44 e 0,22. Mesmo quando o robô teve que lidar com iluminação estranha, ângulos de câmera diferentes ou objetos que ele nunca tinha visto antes (como colocar uma cenoura em uma tigela quando a cenoura era de uma cor diferente), ele se manteve melhor que seus competidores, pontuando 85,1% em um teste de robustez chamado LIBERO-Plus.

Os pesquisadores também testaram isso em um braço robótico real no mundo real. Eles descobriram que o robô pode usar demonstrações de humanos, outros robôs ou até mesmo simulações de realidade virtual (XR) como seu guia. Não importava se o "professor" parecia diferente; contanto que a "história" da tarefa estivesse clara, o robô poderia segui-la. Por exemplo, ao ser solicitado a colocar blocos em uma gaveta que ele nunca tinha visto antes, o robô não apenas falhou; ele progrediu, atingindo uma pontuação média de 1,9 de 4, mostrando que estava tentando seguir o plano, mesmo que não conseguisse terminar o trabalho perfeitamente.

No entanto, o artigo é cuidadoso ao não afirmar que isso é uma solução mágica para todos os problemas. O robô ainda tem dificuldades com tarefas muito longas e complexas onde o plano precisa mudar no meio do caminho (como se uma pessoa entra e move os blocos enquanto o robô está trabalhando). Nesses testes de "longo horizonte" (long horizon), a taxa de sucesso caiu significamente, sugerindo que, embora o robô seja ótimo em seguir uma história pré-escrita, ele não está totalmente pronto para improvisar um novo enredo sobre a hora. Além disso, o artigo observa que, embora o robô seja muito consistente ao usar diferentes tipos de demonstrações (humano vs. robô), os testes no mundo real mostraram que ele ainda precisa do tipo certo de orientação para funcionar perfeitamente.

Em resumo, o StellaVLA sugere que, se você quer que um robô seja inteligente e adaptável, você não deve apenas mostrar a ele o que fazer; você deve dizer a ele por que ele está fazendo aquilo. Ao transformar vídeos brutos em histórias estruturadas e lógicas e ensinar o robô a entender essa lógica, o sistema torna-se muito melhor em lidar com situações novas e complicadas. É um passo em direção a robôs que não apenas copiam nossos movimentos, mas que realmente entendem nossas intenções.

Resumo Técnico: StellaVLA

Declaração do Problema

Modelos de Visão-Linguagem-Ação (VLA) estabeleceram-se como um paradigma líder para manipulação robótica, traduzindo entradas visuais e textuais em ações físicas. No entanto, uma limitação crítica permanece: esses modelos frequentemente sofrem de colapso de desempenho ao encontrar cenários fora da distribuição (OOD), como mudanças de cena, de ponto de vista ou de propriedades de objetos. Os métodos de recuperação atuais tipicamente exigem a coleta de novos dados e o ajuste fino (fine-tuning) dos pesos do modelo, o que é ineficiente em termos de dados e lento.

Embora o Aprendizado de Imitação em Contexto (ICIL) ofereça um caminho para a adaptação em tempo de teste sem atualizações de pesos — através da anexação de trajetórias de especialistas como contexto —, as abordagens existentes sofrem de "inércia comportamental". Elas tratam as demonstrações como sequências brutas de observações e ações contínuas, incentivando a imitação superficial. Sem compreender o raciocínio subjacente (o "porquê") por trás das ações de um especialista, a política frequentemente trata a demonstração como ruído e retorna aos seus priors pré-treinados, falhando em generalizar para novas tarefas.

Metodologia

O StellaVLA aborda isso mudando o ICIL de imitar ações para imitar o raciocínio por trás delas. O framework introduz um contexto estruturado e aumentado por raciocínio que permite à política planejar com base na intenção semântica, em vez de apenas trajetórias de pixels.

1. Extração Automatizada de Contexto Estruturado Offline

A principal inovação é um pipeline automatizado que converte trajetórias brutas de especialistas (de robôs reais, mãos humanas ou dados retargetados de XR) em demonstrações estruturadas com custo zero de anotação humana.

Segmentação Semântica: Um modelo de Visão-Linguagem (VLM, ex: Qwen3-VL) poderoso analisa as trajetórias brutas para decompor em segmentos discretos e semanticamente significativos. Ele identifica submetas de alto nível (ex: "Alcançar a maçaneta") baseando-se em mudanças visuais.
Verbalização Cinemática: Usando um paradigma de "linguagem como ação", as ações físicas dentro de cada segmento são traduzidas deterministicamente em texto estruturado. Isso inclui:
- Racional Semântico: Descrições de submetas de alto nível.
- Racional Cinemático: Descrições de movimento refinadas, verbalizando deslocamentos no espaço de trabalho 3D (ex: "Mover o efetuador final em $\Delta x, \Delta y, \Delta z$ ") e projeções 2D no plano da câmera.
Representação Unificada: Este processo cria um pool de trajetórias aumentado por racional ( $\tau_{rat}$ ) onde cada passo de tempo é fundamentado por observações, ações, rótulos de subtarefa e racionais estruturados de nível de segmento. Isso unifica diversas incorporações (embodiments: humano, robô, XR) em uma representação semântica comum.

2. Paradigma de Treinamento Duplo Paralelo

O StellaVLA emprega uma arquitetura de treinamento paralela para internalizar tanto o que fazer quanto o porquê.

Prompting Aumentado por Recuperação: Durante o treinamento, o sistema recupera uma demonstração de topo-1 aumentada por racional baseada na similaridade da instrução da tarefa. Isso serve como um prefixo contextual ( $P_{demo}$ ) fornecendo um sinal implícito de aprendizado em contexto.
Especialistas Duplos: O backbone VLA alimenta uma representação latente compartilhada para dois cabeçotes paralelos:
1. Especialista de Ação: Um MLP leve que realiza a regressão de blocos (chunks) de ações contínuas.
2. Especialista Espacial-Linguagem: Um cabeçote autorregressivo que prevê o rótulo da subtarefa e verbaliza o movimento 3D/2D do bloco de ação atual.
Objetivo Conjunto: O modelo é otimizado via uma função de perda conjunta ( $L = L_{act} + \lambda L_{lang}$ ), forçando a representação compartilhada a conectar a estrutura da tarefa demonstrada com o movimento robótico necessário.

3. Inferência Assimétrica e Cache

Para garantir controle de alta frequência e tempo real, o StellaVLA desacopla a aquisição de raciocínio da execução.

Execução Apenas de Ação: Na inferência, o especialista espacial-linguagem é inteiramente removido. A política realiza uma única passagem direta (forward pass) através do backbone e do especialista de ação, guiada pelo prefixo de demonstração com KV-cache. Isso elimina o overhead de decodificação autorregressiva, preservando a baixa latência.
Cache de Prefixo: Como o prefixo de demonstração recuperado é estático para um determinado episódio, seu cache de Chave-Valor (KV) é computado uma única vez no início, reduzindo drasticamente a pegada computacional durante o rollout.

Principais Contribuições

Framework StellaVLA: Um VLA aumentado por recuperação que muda o ICIL de imitação de ação para imitação de raciocínio, reduzindo a inércia comportamental em condições OOD.
Extração Estruturada de Custo Zero: Um pipeline automatizado que converte demonstrações heterogêneas (humano, robô, XR) em contextos estruturados e aumentados por raciocínio sem anotação humana.
Treinamento Duplo Paralelo com Inferência Assimétrica: Uma estratégia de treinamento que internaliza o raciocínio espacial-linguagem enquanto remove o cabeçote de linguagem na inferência, garantindo controle em tempo real sem sacrificar os benefícios do guia estruturado.
Generalização Cross-Embodiment: Capacidade demonstrada de usar demonstrações humanas e de XR como guia em contexto para tarefas de robôs reais, unificando diversas fontes de dados através de representação estruturada.

Resultados Experimentais

O artigo avalia o StellaVLA através de benchmarks de simulação e de robô real, comparando-o com bases fortes como $\pi0.5$ , LingBot-VLA e StarVLA-OFT.

Leaderboard VLA-Arena: O StellaVLA alcança o primeiro lugar com uma pontuação geral de 0,63, superando significativamente o $\pi0.5$ (0,44) e o LingBot-VLA (0,22). Demonstra força particular nas categorias "Fluxos de Trabalho de Tarefas" (Task Workflows) e "Objetos Não Vistos" (Unseen Objects).
LIBERO (Dentro da Distribuição): Alcança uma taxa de sucesso média de 98,8%, demonstrando que o contexto estruturado não compromete o desempenho dentro da distribuição.
LIBERO-Plus (Robustez Zero-Shot): Alcança 85,1% de sucesso médio sob sete tipos de perturbações (ponto de vista, ruído, iluminação, etc.), superando o controle correspondente (StarVLA-OFT) em 10,1 pontos. Os maiores ganhos são vistos em ponto de vista da câmera (+23,5) e ruído de sensor (+19,7).
Avaliação em Robô Real: Em um braço AgileX Piper, o StellaVLA alcança 85,0% de sucesso dentro da distribuição e 75,0% em tarefas OOD-L1 (mudanças de atributos de objetos). Em contraste, as bases caem de 20 a 25 pontos em tarefas OOD similares.
Consistência Cross-Source: Experimentos mostram que usar demonstrações humanas ou de XR como contexto gera previsões de ação quase idênticas ao uso de demonstrações de robôs (desacordo < 0,03° no ângulo da junta), confirmando a eficácia da representação estruturada unificada.
Eficiência: A latência de inferência para o caminho de apenas ação é de 88 ms. Adicionar o especialista espacial-linguagem para decodificação aumenta a latência para 3177 ms (aproximadamente 36x mais lento), validando a necessidade do design de inferência assimétrica para controle em tempo real.

Significância e Alegações

O artigo alega que o principal gargalo na generalização atual de VLA é a falta de raciocínio explícito nas demonstrações recuperadas. Ao converter trajetórias brutas em racionais hierárquicos e estruturados (submetas e descrições cinemáticas), o StellaVLA permite que a política raciocine sobre a tarefa em vez de meramente mimetizar trajetórias de pixels.

A significância reside em três áreas:

Generalização: O contexto estruturado atua como um template reutilizável para planejamento, permitindo que o modelo se adapte a tarefas e ambientes OOD sem atualizações de parâmetros.
Eficiência: O framework integra com sucesso capacidades de raciocínio complexo durante o treinamento, mantendo velocidades de inferência em tempo real ao remover o cabeçote de linguagem durante o deployment.
Eficiência de Dados: Permite o uso de diversas fontes de dados heterogêneas (humano, XR, robô) como guia em contexto, superando incompatibilidades de embodiment através de uma representação semântica compartilhada, em vez de exigir espaços de ação alinhados.

Os autores concluem que o StellaVLA representa um passo em direção a políticas robóticas mais robustas e generalizáveis, que podem aproveitar o "porquê" do comportamento do especialista para navegar em desafios não vistos.