🤖 machine learning

{\Omega}-QVLA: Robust Quantization for Vision-Language-Action Models via Composite Rotation and Per-step Scaling

O artigo apresenta o $\Omega$ -QVLA, um framework de pós-quantização sem treinamento que permite a quantização uniforme robusta W4A4 para modelos completos de Visão-Linguagem-Ação, combinando rotação SVD-Hadamard composta com escalonamento de ativação DiT por passo, alcançando taxas de sucesso em tarefas state-of-the-art e redução significativa de memória tanto em benchmarks quanto em tarefas de manipulação do mundo real.

Autores originais: Xinyu Wang, Mingze Li, Sicheng Lyu, Dongxiu Liu, Kaicheng Yang, Ziyu Zhao, Yufei Cui, Xiao-Wen Chang, Peng Lu

Publicado 2026-05-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xinyu Wang, Mingze Li, Sicheng Lyu, Dongxiu Liu, Kaicheng Yang, Ziyu Zhao, Yufei Cui, Xiao-Wen Chang, Peng Lu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro robótico brilhante, de bilhões de dólares. Este cérebro é um modelo "Visão-Linguagem-Ação" (VLA). Ele pode ver o mundo através de câmeras, entender instruções faladas complexas e descobrir exatamente como mover seus braços robóticos para realizar uma tarefa.

O problema? Este cérebro é enorme. É como tentar rodar um cinema de alto padrão e imenso em um pequeno console de jogos portátil alimentado por bateria. Ele ocupa muita memória e é lento demais para rodar em robôs reais.

Para corrigir isso, os cientistas geralmente tentam "encolher" o cérebro comprimindo seus números (um processo chamado quantização). Pense nisso como converter um filme em 4K de alta definição em um MP4 de baixa resolução para economizar espaço.

O Grande Problema:
Tentativas anteriores de encolher esses cérebros robóticos tinham uma falha grave. Elas comprimiam a parte "pensante" (o modelo de linguagem), mas deixavam a parte "movimentadora" (o cabeçote de ação) em resolução completa e de alta qualidade. Por quê? Porque todos acreditavam que a parte "movimentadora" era muito delicada. Eles pensavam que, se a comprimissem demais, o robô começaria a tremer, a dar solavancos ou a deixar cair coisas porque os números ficavam muito "embaçados".

A Solução: Ω-QVLA
Este artigo apresenta um novo método chamado Ω-QVLA. É a primeira ferramenta que encolhe com sucesso ambas as partes pensante e movimentadora do cérebro robótico para o mesmo tamanho minúsculo (chamado W4A4) sem que o robô se desintegre.

Veja como eles fizeram isso, usando dois truques criativos:

1. A "Bagunça Giratória" (Rotação Composta)

Imagine que você tem um baralho de cartas onde algumas cartas são incrivelmente pesadas (valores extremos) e o resto é leve. Se você tentar colocá-las em uma caixa pequena, as cartas pesadas esmagam as outras e a caixa quebra.

No cérebro robótico, alguns canais de dados são "pesados" (eles têm números enormes) enquanto outros são "leves".

O Jeito Antigo: Apenas espremer tudo junto. As cartas pesadas esmagam a caixa.
O Jeito Ω-QVLA: Eles usam uma "bagunça" especial (uma mistura de matemática chamada SVD e rotação de Hadamard). Imagine girar o baralho de cartas e embaralhá-lo para que o peso das cartas pesadas seja distribuído uniformemente por todo o baralho. Agora, nenhuma carta única é pesada o suficiente para quebrar a caixa. Isso permite que eles comprimam os dados de forma muito mais agressiva sem perder a "forma" da informação.

2. O "Controle de Volume Passo a Passo" (Escala por Passo)

A parte "movimentadora" do robô funciona como um editor de vídeo suavizando um quadro a quadro (um processo chamado remoção de ruído).

O Problema: O "volume" (ou intensidade) dos dados muda drasticamente do primeiro quadro ao último. Se você definir um nível de volume fixo para todo o vídeo, o início pode ficar muito silencioso e o final muito alto e distorcido.
O Jeito Ω-QVLA: Eles criaram um "controle de volume dinâmico" que ajusta a sensibilidade para cada passo individual do vídeo. Em vez de usar uma configuração estática, o sistema ouve os dados em cada momento específico e ajusta a escala de compressão de acordo. Isso impede que o robô fique confuso quando os dados ficam muito altos ou muito baixos durante seu movimento.

Os Resultados

A equipe testou isso em dois cérebros robóticos famosos (Pi 0.5 e GR00T N1.5) usando uma simulação chamada LIBERO e braços robóticos do mundo real.

Na Simulação: Os robôs comprimidos performaram tão bem quanto os gigantes, não comprimidos. Na verdade, em um teste, o robô comprimido minúsculo fez um trabalho melhor que o original!
No Mundo Real: Quando colocaram o robô comprimido em uma mesa real para pegar xícaras, dobrar toalhas e mover blocos, ele se moveu de forma suave e precisa.
A Concorrência: Outros métodos que tentaram fazer isso (QuantVLA) fizeram os robôs dar solavancos e falhar nas tarefas. O Ω-QVLA manteve-os suaves.
Espaço Economizado: Eles reduziram a memória necessária em 71%. É como transformar um arquivo de filme de 4GB em um arquivo de 1GB sem perder o enredo.

A Conclusão
Este artigo prova que a parte "movimentadora" de um cérebro robótico não é frágil demais para ser comprimida. Ao usar uma "bagunça" inteligente para distribuir os dados pesados e um ajuste "passo a passo" para lidar com volumes em mudança, eles podem encolher esses cérebros robóticos massivos para um tamanho que cabe em um robô real, tornando-os mais rápidos, mais baratos e prontos para o mundo real.

Resumo Técnico: Ω-QVLA

Declaração do Problema

Modelos Visão-Linguagem-Ação (VLA) integram percepção, raciocínio e controle em uma única política, tipicamente utilizando uma base de modelo de linguagem grande (LLM) e uma cabeça de ação baseada em difusão (DiT). Embora promissores para controle de robôs generalistas, esses modelos são proibitivamente caros para implantação em dispositivos devido às suas contagens de parâmetros na casa de bilhões e aos requisitos de memória.

Esforços existentes de quantização pós-treinamento (PTQ) falharam em fornecer uma solução completa para modelos VLA. Trabalhos anteriores tipicamente comprimem a base do LLM enquanto deixam a cabeça de ação DiT em precisão total (FP16) ou empregam esquemas de precisão mista. Essa hesitação decorre da crença de que a cabeça de ação DiT é inerentemente muito sensível à quantização uniforme de baixo bit. Diferentemente da geração de linguagem, onde erros de quantização podem ser imperceptíveis, erros na cabeça de ação produzem sinais de controle contínuos que interagem diretamente com atuadores físicos. Em um cenário de malha fechada, perturbações induzidas pela quantização são amplificadas por forças de contato e dinâmicas físicas, levando à propagação cumulativa de erros e falha na tarefa. Consequentemente, nenhum método anterior quantizou com sucesso a cabeça de ação DiT completa de um modelo VLA para uma precisão uniforme de baixo bit.

Metodologia: Ω-QVLA

Os autores propõem Ω-QVLA, o primeiro framework PTQ sem treinamento capaz de comprimir tanto a base de linguagem quanto toda a cabeça de ação DiT de um modelo VLA para uma precisão uniforme W4A4 (4 bits para pesos, 4 bits para ativações). O framework elimina a necessidade de alocação de precisão mista através de duas inovações centrais:

1. Rotação Composta SVD·Hadamard

Para abordar o desequilíbrio de energia em nível de canal e outliers de ativação, os autores introduzem uma estratégia de rotação de dois níveis aplicada antes da quantização:

Rotação SVD: Uma decomposição em valores singulares (SVD) é computada na matriz de pesos $W = U\Sigma V^\top$ . A matriz de rotação $R_{SVD} = U$ é aplicada para equalizar a energia linha a linha dos pesos. Isso transforma o espaço de pesos de modo que a energia de cada linha seja controlada diretamente pelo espectro singular, removendo a concentração de energia induzida por coordenadas.
Rotação Hadamard: Como a rotação SVD é derivada exclusivamente dos pesos, ela não garante uniformidade no espaço de ativação. Para abordar isso, os autores compõem a rotação SVD com uma matriz Hadamard normalizada $H$ . A rotação composta $R = R_{SVD} \cdot H$ atua como uma matriz de mistura uniforme que redistribui a energia de qualquer canal dominante uniformemente através de todos os canais de saída.
Implementação em Blocos: Para evitar a sobrecarga computacional e de memória de uma matriz de rotação densa $C_{in} \times C_{in}$ , o método aproxima a rotação em blocos. Os canais são reordenados via uma permutação em zigue-zague baseada nas normas das colunas de pesos para garantir que canais de alta norma e baixa norma sejam distribuídos uniformemente entre os blocos, prevenindo a concentração de outliers dentro de uma única partição.

2. Escalonamento de Ativação DiT por Passo

O escalonamento estático padrão é subótimo para modelos DiT porque as magnitudes de ativação flutuam significativamente ao longo do processo de remoção de ruído em múltiplos passos.

Deriva de Faixa Dinâmica: Os autores observam que as estatísticas de ativação derivam ao longo dos passos de remoção de ruído, particularmente em camadas que recebem entradas condicionadas ao tempo (por exemplo, projeções QKV seguindo AdaLayerNorm).
Calibração por Passo: Em vez de uma única escala estática, o Ω-QVLA emprega uma tabela de escala pré-calculada, por passo, por camada e por canal. Esta tabela é derivada de trajetórias de calibração e recuperada durante a inferência para absorver a deriva de faixa dinâmica. Isso permite que o quantizador se adapte às faixas de ativação em mudança em cada instante de tempo específico.

Contribuições Principais

Quantização Unificada W4A4: O Ω-QVLA é o primeiro framework sem treinamento a quantizar uniformemente toda a pilha VLA (base LLM + cabeça de ação DiT) para W4A4, desafiando a suposição de que a cabeça de ação não pode sobreviver à quantização uniforme de baixo bit.
Mecanismo de Rotação Composta: A introdução de uma rotação composta SVD·Hadamard que equaliza simultaneamente a energia de pesos por canal e difunde outliers de ativação residuais, abordando as limitações do uso de transformações SVD ou Hadamard isoladamente.
Calibração por Passo: O desenvolvimento de um mecanismo de escalonamento de ativação por passo especificamente para modelos DiT para lidar com a deriva de faixa dinâmica dependente do passo de tempo, o que é crítico para manter a estabilidade em processos iterativos de remoção de ruído.

Resultados Experimentais

O framework foi avaliado no benchmark LIBERO usando duas políticas VLA de última geração: Pi 0.5 e GR00T N1.5.

Desempenho em Simulação:
- Pi 0.5: Alcançou uma taxa média de sucesso de tarefas de 98,0% sob quantização W4A4, superando ligeiramente sua referência FP16 (97,1%).
- GR00T N1.5: Alcançou uma taxa média de sucesso de 87,8%, igualando sua referência FP16 (87,0%).
- Comparação: Esses resultados superam significativamente as bases de quantização total W4A4 anteriores (por exemplo, SmoothQuant, DuQuant, QuantVLA), que frequentemente falharam em manter o desempenho ao quantizar as camadas de atenção DiT. Por exemplo, no Pi 0.5, o QuantVLA alcançou apenas 82,0% de sucesso, enquanto o Ω-QVLA atingiu 98,0%.
- Eficiência de Memória: O framework reduziu a pegada de memória estática em 71,3% em comparação com FP16, com sobrecarga de metadados negligenciável (~90 MB para Pi 0.5).
Manipulação no Mundo Real:
- Experimentos foram conduzidos em uma plataforma ARX R5 de dois braços com cinco tarefas de manipulação bimanual (por exemplo, Pegar Copo, Dobrar Toalha).
- Desempenho: O Ω-QVLA alcançou uma pontuação média de progresso de 51,0, superando a linha de base FP16 (49,6). Em contraste, a linha de base QuantVLA colapsou para 25,0.
- Análise Qualitativa: Testes no mundo real confirmaram que o Ω-QVLA produz trajetórias de manipulação suaves e precisas. Métodos de linha de base exibiram movimentos bruscos do efetuador final e picos frequentes nas dimensões de ação, levando a falhas de tarefa em horizontes longos.

Significado e Alegações

O artigo afirma que o Ω-QVLA inverte a crença predominante de que a cabeça de ação DiT é muito sensível para ser quantizada uniformemente. Ao abordar diretamente as fontes de instabilidade — desequilíbrio de energia em nível de canal e deriva de faixa dinâmica por passo de remoção de ruído — os autores demonstram que uma precisão unificada W4A4 é suficiente para implantação de VLA de alto desempenho.

Os autores enfatizam que sua abordagem requer nenhum retreinamento e elimina a complexidade da alocação de precisão mista. Os resultados sugerem que a compressão eficaz de VLA requer otimização holística e consciente da ação, em vez da transferência direta de técnicas de quantização centradas em linguagem. Embora a avaliação atual seja limitada a bases baseadas em DiT e benchmarks específicos, o trabalho estabelece uma nova base para controle de robôs em dispositivos, permitindo a implantação de políticas VLA em grande escala em hardware com restrições estritas de memória e latência.