🤖 AI

CoTinyVLA: Chain-of-Thought Distillation for a Sub-Billion-Parameter Vision-Language-Action Model

O CoTinyVLA é um modelo de Visão-Linguagem-Ação com menos de um bilhão de parâmetros que alcança o estado da arte em robustez no benchmark LIBERO-Plus ao alavancar técnicas de supervisão estruturada — incluindo entradas temporais de visão dupla, destilação de cadeia de pensamento hierárquica e aumento por paráfrase — em vez de aumentar o tamanho do modelo.

Autores originais: Minhyeok Lee, Chiyoung Kim, Chanhoe Gu, Seongrok Kim, Sanghyuk Roy Choi, Donghwan Hwang, Donghun Ryu, Seokhyun Kim

Publicado 2026-07-29

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Minhyeok Lee, Chiyoung Kim, Chanhoe Gu, Seongrok Kim, Sanghyuk Roy Choi, Donghwan Hwang, Donghun Ryu, Seokhyun Kim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os robôs não são apenas máquinas sem mente seguindo códigos rígidos, mas companheiros úteis que entendem nossas palavras faladas e conseguem descobrir como mover seus próprios braços para realizar tarefas. Este é o sonho da "IA incorporada" (embodied AI), um campo onde os computadores aprendem a ver o mundo através de câmeras, entendem a linguagem humana e traduzem essas duas coisas em ações físicas. Por muito tempo, os robôs mais inteligentes precisavam de cérebros massivos — modelos de computador com bilhões de "neurônios" — para lidar com isso. Esses modelos gigantes eram como supercomputadores que precisavam de servidores enormes e caros para rodar, tornando impossível encaixá-los dentro de um pequeno robô que pudesse circular por uma casa ou ajudar em uma cozinha. A grande questão que os pesquisadores têm feito é: Podemos criar um robô que seja tão inteligente e confiável, mas pequeno o suficiente para caber em uma mochila?

Este artigo apresenta um novo céreio de robô chamado CoTinyVLA. Pense nele como um cérebro de robô minúsculo e super eficiente que consegue superar os modelos massivos e pesados que lideram o campo atualmente, tudo isso usando apenas uma fração da memória. Os pesquisadores não apenas encolheram o cérebro; eles ensinaram uma maneira melhor de pensar. Em vez de tentar memorizar cada situação possível, eles deram ao robô uma "folha de cola" para o raciocínio. Eles ensinaram o robô a decompor uma tarefa grande em um plano simples (como uma lista de tarefas) e então pensar em cada pequeno passo antes de se mover. Eles também lhe deram um par de olhos especial — um olhando de longe para ver o quarto inteiro e outro em seu pulso para ver exatamente o que sua mão está tocando — e o ensinaram a assistir a um vídeo curto dos últimos segundos para entender o movimento. O resultado é um modelo de robô com apenas 0,9 bilhão de parâmetros (minúsculo comparado aos gigantes de 7 bilhões de parâmetros) que pode lidar com situações reais complicadas e bagunçadas melhor do que modelos oito vezes maiores.

O Problema: Cérebros Grandes, Robôs Pequenos

Por anos, os melhores robôs para seguir instruções têm sido como tanques gigantes e pesados. Para entender um comando como "pegue a xícara azul e coloque-a sobre a mesa", esses robôs usam modelos de computador massivos com 3 a 7 bilhões de parâmetros. Embora esses modelos sejam incrivelmente inteligentes, eles também são enormes. Eles exigem cerca de 20 gigabytes de memória de computador apenas para rodar. Isso é como tentar colocar uma biblioteca inteira em uma mochila; simplesmente não cabe nos pequenos computadores alimentados por bateria encontrados em robôs móveis ou dispositivos de assistência.

Os pesquisadores queriam saber: Precisamos realmente de um cérebro tão gigante para ser inteligente? Ou podemos construir um robô pequeno e eficiente que seja tão bom quanto no manuseio da bagunça inesperada do mundo real?

A Solução: Um Cérebro Pequeno com uma Grande Estratégia

A equipe construiu o CoTinyVLA, um cérebro de robô com apenas 0,9 bilhão de parâmetros. Para tornar este modelo minúsculo tão forte quanto os gigantes, eles não apenas o alimentaram com mais dados; eles mudaram como ele aprendia e ao que prestava atenção. Eles usaram três truques principais, que chamam de "supervisão estruturada", para ensinar o robio a pensar melhor.

1. A Máquina do Tempo de "Dois Olhos"
Imagine tentar pegar uma bola. Se você vê apenas uma foto da bola, você não sabe se ela está vindo em sua direção ou se afastando. Você precisa ver um vídeo curto para entender o movimento.
O CoTinyVLA é ensinado a olhar para o mundo através de dois "olhos" diferentes ao mesmo tempo:

O Olho de Terceira Pessoa: Uma câmera olhando para o quarto inteiro para ver onde tudo está.
O Olho do Pulso: Uma câmera na mão do robô para ver exatamente o que a garra está tocando.
Em vez de apenas olhar para o momento atual, o robô assiste a um curto "filme" dos últimos 16 quadros (8 de cada olho). Isso dá a ele uma sensação de tempo e movimento, ajudando-o a entender a rapidez com que as coisas se movem e para onde estão indo.

2. A Folha de Cola "Planejar e Pensar"
Este é o truque mais importante. Antes do robô se mover, ele é ensinado a escrever uma história.

O Plano: No início de uma tarefa, o robô escreve uma "lista de tarefas" de alto nível (ex: "Primeiro, pegue a xícara. Segundo, levante-a. Terceiro, coloque-a sobre a mesa"). Este plano permanece o mesmo para toda a tarefa.
O Pensar: Antes de cada pequeno movimento, o robô escreve uma nota rápida sobre o que está fazendo agora (ex: "Estou fechando minha garra", ou "Estou levantando a xícara").
O robô aprende isso observando um robô muito maior e mais inteligente (um "professor" de 35 bilhões de parâmetros) resolvendo as mesmas tarefas. O robô minúsculo copia o processo de pensamento do professor. Isso ajuda o robô minúsculo a entender por que está fazendo algo, não apenas o que fazer.

3. O Jogo do "Parafrasear"
Robôs costem ficar confusos se você disser a mesma coisa de uma forma diferente. Se um robô for treinado apenas com a frase "pegue a xícara", ele pode travar se você disser "agarre a caneca".
Para corrigir isso, os pesquisadores ensinaram o robô com 40 instruções básicas, mas as expandiram para 800 versões diferentes. Eles trocaram palavras (como mudar "pegar" para "agarrar" ou "levantar"), mudaram as descrições dos objetos (como "tigela preta" para "tigela escura") e até adicionaram frases educadas como "Você poderia, por favor...". Isso ensinou o robô a entender o significado do comando, não apenas as palavras específicas.

Os Resultados: O Pequeno Vence Grande

Os pesquisadores testaram o CoTinyVLA no LIBERO-Plus, um conjunto de testes rigoroso projetado para ver quão bem os robôs lidam com mudanças no mundo. O teste inclui mais de 10.000 cenários diferentes onde as coisas estão bagunçadas: o robô começa em uma posição estranha, a iluminação muda, o fundo é diferente ou as instruções são formuladas de maneira estranha.

Os resultados foram surpreendentes. O CoTinyVLA, com seus minúsculos 0,9 bilhão de parâmetros, venceu os modelos mais fortes de 7 bilhões de parâmetros em todas as quatro categorias principais de teste:

Espacial: 90,8% de sucesso (superando os grandes modelos em 4,7 pontos).
Objeto: 87,3% de sucesso (superando os grandes modelos em 2,8 pontos).
Objetivo (Goal): 86,6% de sucesso (superando os grandes modelos por impressionantes 15,9 pontos).
Longo (Long): 80,7% de sucesso (superando os grandes modelos em 3,0 pontos).

A maior vitória foi na categoria "Objetivo", onde o robô minúsculo foi quase 16 pontos melhor que o melhor robô gigante. Isso é especialmente impressionante porque o CoTinyVLA roda em um computador que usa apenas 2,25 GiB de memória, o que é pequeno o suficiente para caber em muitos robôs do mundo real.

Por Que Isso Importa

O artigo mostra que você não precisa de um cérebro massivo para ter um robô inteligente. Ao ensinar um robô pequeno a "pensar" de forma estruturada (criando planos e verificando seus passos) e ao dar a ele o tipo certo de treinamento visual e de linguagem, ele pode lidar com o mundo real bagunçado e imprevisível melhor do que modelos muito maiores.

Os pesquisadores também descobriram que a parte do "Plano" no processo de pensamento é crucial. Se você remover a capacidade do robô de escrever um plano, sua taxa de sucesso cai de 40 a 45 pontos. Isso prova que o robô não está apenas adivinhando; ele está realmente usando o plano para guiar suas ações.

Em suma, o CoTinyVLA prova que, com os métodos de ensino corretos, um robô pequeno e eficiente pode ser tão capaz quanto um supercomputador gigante, aproximando-nos de ter robôs inteligentes e úteis em nossas casas e locais de trabalho.

Resumo Técnico: CoTinyVLA

Definição do Problema

Modelos de Visão-Linguagem-Ação (VLA) surgiram como uma interface unificada para traduzir linguagem natural em controle robótico. No entanto, os sistemas de última geração que alcançam alta robustez no benchmark LIBERO-Plus dependem tipicamente de backbones com 3 a 7 bilhões de parâmetros. Esses modelos demandam recursos significativos de memória (frequentemente excedendo 20 GiB em bfloat16), tornando-os incompatíveis com os orçamentos estritos de memória de plataformas robóticas embarcadas, como manipuladores móveis e humanoides.

O desafio central abordado por este trabalho é se um modelo compacto (sub-bilhão de parâmetros) pode alcançar o mesmo nível de robustez que sistemas maiores. Especificamente, os autores investigam se a supervisão estruturada — em vez da mera escala — pode fornecer a robustez necessária contra perturbações visuais, cinemáticas e linguísticas.

Metodologia: CoTinyVLA

Os autores apresentam o CoTinyVLA, um VLA de 0,9 bilhão de parâmetros construído sobre um backbone Qwen3.5-0.8B. O modelo alcança robustez através de três componentes distintos, cada um visando um eixo específico do problema de robustez:

1. Entrada Temporal de Visão Dupla

Em vez de uma única imagem estática, o modelo recebe um histórico temporal em cada etapa de controle:

Entradas: Oito quadros em terceira pessoa e oito quadros da câmera do pulso (16 no total), prefixados com marcadores textuais explícitos (ex: [Third frame i]).
Propriocepção: Um vetor de 8 dimensões (pose do efetuador final + juntas da garra) projetado como um token suave (soft token).
Racional: Isso fornece contexto temporal e de múltiplas visões explícito, permitindo que o backbone compacto infira movimento, velocidade de aproximação e contato garra-objeto sem depender de embeddings posicionais implícitos.

2. Destilação de Cadeia de Pensamento (CoT) Hierárquica

Um professor de visão-linguagem de 35 bilhões de parâmetros (Qwen3.5-35B) gera traços de raciocínio estruturados para um aluno de 0,9 bilhão. O raciocínio é dividido em dois níveis:

Plano de Episódio: Gerado uma vez por episódio, decompondo a instrução em uma lista ordenada de submetas em linguagem natural.
Pensamento de Chunk: Gerado para cada bloco de ação (action chunk), restrito a um esquema de três slots fixos:
- Fase: Etapa atual da subação (alinhada com o Plano).
- Garra: Estado discreto (ABERTA, FECHADA, PARCIALMENTE FECHADA), derivado da propriocepção para evitar ambiguidade visual.
- Próximo: Descrição curta da ação imediata.
Objetivo de Treinamento: Uma soma ponderada da perda de regressão de ação e da entropia cruzada do modelo de linguagem sobre os tokens de raciocínio ( $\alpha=1.0, \beta=0.1$ ). O intervalo de raciocínio atua como um objetivo de predição estruturada auxiliar que condiciona a cabeça de ação sem adicionar parâmetros de inferência.

3. Aumento de Instrução Baseado em Paráfrase

Para evitar o sobreajuste (overfitting) às 40 instruções base do conjunto de treinamento:

Expansão: Cada instrução base é expandida em 20 paráfrases (800 variantes no total) via substituição de verbos, substituição de sinônimos de objetos e variação de polidez.
Estratégia de Treinamento: Durante o treinamento, a instrução é substituída por uma paráfrase com probabilidade de 0,8. Isso visa especificamente a robustez ao eixo de perturbação de Instruções de Linguagem.

Principais Contribuições

Desempenho com Escala Compacta: O CoTinyVLA (0,9B) supera os basais de 7B mais fortes em todos os quatro conjuntos do LIBERO-Plus (Espacial, Objeto, Meta, Longo) por margens variando de 2,8 a 15,9 pontos, operando dentro de uma pegada de memória de inferência de 2,25 GiB.
Esquema de Raciocínio de Dois Níveis: Os autores demonstram que o Plano de nível de episódio é "estrutural" (load-bearing). Intervenções em tempo de teste mostram que substituir o Plano por um intervalo vazio ou contraditório causa uma queda de 40–45 pontos no sucesso. Além disso, o cache do Plano ao longo de um episódio reduz o custo de inferência em estado estacionário pela metade.
Decomposição da Robustez: Através de ablações controladas, o artigo atribui componentes específicos a eixos de perturbação específicos:
- Aumento de Paráfrase: Melhora principalmente a robustez à variação linguística (+12,3 pontos no eixo de Instruções de Linguagem).
- CoT Hierárquico: Auxilia principalmente em perturbações de estado físico (Estados Iniciais do Robô, Layout de Objetos).
- Estrutura de Entrada: A alocação de um orçamento fixo de imagens entre câmeras e tempo é uma variável de design que vale 8,6 pontos no escore total.

Resultados Experimentais

O modelo foi avaliado no LIBERO-Plus, que perturba 40 tarefas base através de sete dimensões (Câmera, Estados Iniciais do Robô, Linguagem, Luz, Fundo, Ruído, Layout) com 10.030 tarefas perturbadas no total.

Desempenho Geral: O CoTinyVLA alcança 90,8% (Espacial), 87,3% (Objeto), 86,6% (Meta) e 80,7% (Longo).
Comparação com Basais de 7B: Ele lidera o basal de 7B mais forte (OpenVLA-OFT+) por 4,7, 2,8, 15,9 e 3,0 pontos, respectivamente. Crucialmente, os intervalos de confiança para essas diferenças excluem o zero.
Eixos Difíceis: O modelo apresenta os maiores ganhos onde os basais são mais fracos. No conjunto Meta (Goal), o basal mais forte pontua apenas 39,9% em Estados Iniciais do Robô, enquanto o CoTinyVLA atinge 73,6%.
LIBERO Padrão: No benchmark não perturbado, o CoTinyVLA tem uma média de 97,5%, igualando o basal de 7B mais forte (RIPT-VLA) e superando outros modelos sub-1B.
Eficiência de Inferência: A inferência de malha fechada (closed-loop) atinge o pico de 2,25 GiB de memória GPU. O custo dominante é a geração autorregressiva (76% do tempo em estado estacionário), que pode ser reduzido pela metade através do cache do Plano do episódio.

Significância e Alegações

O artigo afirma que a robustez geralmente atribuída a backbones de 3–7 bilhões de parâmetros não exige esses tamanhos. Em vez disso, estruturar a supervisão ao longo dos eixos que o benchmark perturba é suficiente para superar sistemas maiores.

Alavancas de Design: O trabalho estabelece que a estrutura de entrada (como os quadros são divididos entre câmeras e tempo) e a hierarquia de raciocínio são variáveis de design independentes que podem ser otimizadas para modelos compactos.
Limitações: Os autores observam que a avaliação é limitada à simulação (Franka Panda) e a um único corpo (embodiment). A transferência sim-to-real e o desempenho em horizontos mais longos (onde o escore do conjunto Longo é o mais baixo, em 80,7%) permanecem desafios. Adicionalmente, o método depende de um professor de 35B forte para a destilação, e a equivalência semântica das paráfrases geradas não foi exaustivamente verificada além de estatísticas lexicais.

Em conclusão, o CoTinyVLA demonstra que um modelo de 0,9B pode superar sistemas oito vezes maiores em todos os quatro conjuntos de robustez, desde que o sinal de treinamento seja estruturado para abordar explicitamente variações temporais, de raciocínio e linguísticas.