💻 computer science

MergeVLA: Cross-Skill Model Merging Toward a Generalist Vision-Language-Action Agent

O artigo apresenta o MergeVLA, uma arquitetura de agente Vision-Language-Action (VLA) projetada para superar as limitações de fusão de modelos especializados em diferentes tarefas, utilizando adaptadores LoRA ativados esparsamente e blocos de atenção cruzada exclusiva para permitir a combinação eficaz de múltiplas habilidades e a inferência não supervisionada de tarefas, alcançando desempenho superior em diversos ambientes robóticos.

Autores originais: Yuxia Fu, Zhizhen Zhang, Yuqi Zhang, Zijian Wang, Zi Huang, Yadan Luo

Publicado 2026-03-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuxia Fu, Zhizhen Zhang, Yuqi Zhang, Zijian Wang, Zi Huang, Yadan Luo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô doméstico super inteligente. Ele é um gênio em cozinhar, mas se você pedir para ele arrumar a cama, ele não sabe nem por onde começar. E se você treinar outro robô para arrumar a cama, ele é ótimo nisso, mas não sabe cozinhar.

O grande desafio da robótica hoje é: como criar um único "Robô Generalista" que saiba fazer tudo (cozinhar, limpar, organizar) sem precisar ser reprogramado do zero para cada tarefa?

A resposta do artigo que você enviou é uma técnica chamada MergeVLA. Vamos explicar como isso funciona usando analogias do dia a dia.

O Problema: A "Fusão Nuclear" que Destrói Tudo

Até recentemente, tentar juntar dois robôs especialistas (um de cozinha e um de limpeza) era como tentar misturar água e óleo, ou pior, como tentar fundir dois motores de carros diferentes em um só.

Quando os cientistas tentavam simplesmente "somar" os cérebros (os modelos de IA) desses robôs, o resultado era um desastre total: o robô fundido esquecia como fazer qualquer coisa. A taxa de sucesso caía para quase zero.

Por que isso acontecia?
O artigo descobriu duas razões principais:

O Conflito de "Hábitos" (LoRA): Quando treinamos um robô para uma tarefa específica, ele desenvolve "hábitos" neurais muito fortes e específicos. Tentar juntar esses hábitos é como tentar convencer um pianista clássico e um baterista de rock a tocar a mesma música ao mesmo tempo usando a mesma mão. Eles se atrapalham e o som fica um caos.
O "Efeito Dominó" (Atenção): Nos robôs antigos, a parte do cérebro que decide o movimento (o "especialista de ação") era muito conectada. Se você ensinava uma tarefa, isso mudava tudo, do início ao fim do cérebro. Era como se ensinar a andar de bicicleta mudasse a forma como você respira. Isso tornava impossível separar as habilidades depois.

A Solução: MergeVLA (O "Montador de Quebra-Cabeças")

Os autores criaram uma nova arquitetura chamada MergeVLA. Eles não tentaram apenas colar os robôs; eles redesenharam o robô para que ele fosse feito de peças que podem ser trocadas e combinadas.

Aqui estão os três segredos do MergeVLA:

1. O "Chaveiro de Tarefas" (Máscaras de Tarefa)

Imagine que o cérebro do robô é um grande escritório com milhares de funcionários.

O problema antigo: Quando o robô aprendia a cozinhar, todos os funcionários mudavam de função. Quando aprendia a limpar, todos mudavam de novo. Ao juntar os dois, ninguém sabia o que fazer.
A solução MergeVLA: Eles criaram um "chefe de turno" (uma máscara). Quando o robô precisa cozinhar, o chefe acende a luz apenas nos funcionários que sabem cozinhar e apaga a luz nos que sabem limpar.
Na prática: O robô mantém um "cérebro base" (que entende o mundo) e, para cada tarefa, ativa apenas os "músculos" específicos necessários, ignorando o resto. Isso evita que as tarefas briguem entre si.

2. O "Canal Direto" (Sem Atenção Própria)

No design antigo, a parte que decide o movimento (o braço do robô) olhava para si mesma repetidamente (atenção própria), criando um ciclo de pensamentos muito específico e rígido.

A analogia: Era como um ator que, ao entrar no palco, começa a improvisar e esquecer o roteiro, criando uma cena única que ninguém mais consegue entender.
A solução MergeVLA: Eles removeram essa "auto-reflexão" e deixaram o robô apenas ouvindo o "cérebro base" (o VLM). É como se o ator parasse de improvisar e apenas seguisse as instruções claras do diretor. Isso torna o "músculo" do robô mais flexível e fácil de combinar com outros.

3. O "Detetive de Tarefas" (Roteador em Tempo de Teste)

E se você não disser ao robô qual tarefa ele vai fazer? E se você apenas mostrar uma foto de uma cozinha bagunçada?

A solução: O MergeVLA tem um "detetive" interno. Assim que o robô vê a imagem, ele testa rapidamente: "Será que é hora de cozinhar? Ou de limpar?". Ele olha para os sinais internos do cérebro e escolhe automaticamente o "chefe de turno" (a máscara) e o "músculo" (o especialista) corretos.
O resultado: Você não precisa programar o robô para cada tarefa. Você só precisa ter o robô pronto, e ele decide sozinho o que fazer.

Os Resultados: Um Robô de Verdade

Os testes mostraram que essa abordagem funciona incrivelmente bem:

No Simulador: O robô fundido conseguiu fazer tarefas que robôs treinados separadamente faziam, com uma taxa de sucesso de até 90%.
No Mundo Real: Eles testaram em um braço robótico real (SO101) fazendo tarefas como pegar cubos, empurrá-los e empilhá-los. O robô fundido funcionou tão bem quanto os robôs especializados, mesmo quando as cores dos objetos mudavam (o que normalmente confunde robôs).
Entre Diferentes Robôs: Eles conseguiram fundir o conhecimento de robôs com formatos diferentes (braços de 2 garras, braços de 1 garra, etc.), provando que a técnica é flexível.

Resumo em uma Frase

O MergeVLA é como criar um "Super Robô" não misturando tudo de qualquer jeito, mas construindo um cérebro modular onde cada habilidade é uma peça de Lego que pode ser encaixada ou removida instantaneamente, permitindo que um único robô aprenda, esqueça e aprenda novas habilidades sem precisar ser refeito do zero.

Isso é um passo gigante para ter robôs em nossas casas que realmente entendem o que queremos fazer, sem precisar de um engenheiro para reprogramá-los toda vez que mudamos de tarefa.

1. O Problema

Os modelos Visão-Linguagem-Ação (VLA) recentes têm permitido que agentes robóticos realizem tarefas complexas de manipulação ao serem ajustados (fine-tuned) com milhões de demonstrações robóticas. Embora esses modelos funcionem bem quando ajustados para uma única tarefa ou tipo de robô (embodiment), estendê-los para cenários de multi-habilidade (multi-skill) permanece um grande desafio.

A abordagem natural seria a mesclagem de modelos (model merging), técnica que já se mostrou eficaz em Grandes Modelos de Linguagem (LLMs) e modelos de visão, permitindo integrar múltiplos especialistas sem retreinamento conjunto. No entanto, ao tentar mesclar VLAs ajustados para tarefas de manipulação distintas, o modelo resultante apresenta uma taxa de sucesso próxima de zero.

O artigo identifica que a mesclagem direta falha devido a duas fontes fundamentais de incompatibilidade:

Interferência Destrutiva de Parâmetros LoRA: O ajuste fino (fine-tuning) com LoRA direciona os adaptadores no backbone do Modelo de Linguagem e Visão (VLM) para direções divergentes e específicas de cada tarefa. A mesclagem simples (como média ponderada) reativa parâmetros irrelevantes ou contraditórios, corrompendo os subespaços compartilhados de visão e linguagem.
Incompatibilidade Arquitetural dos Especialistas de Ação: Os decodificadores de ação (Action Experts) treinados do zero acumulam fortes dependências específicas de tarefas através de camadas de auto-atenção (self-attention). Isso faz com que a informação da tarefa se espalhe globalmente através das camadas, quebrando a modularidade e impedindo a recomposição composicional, mesmo com arquiteturas idênticas.

2. Metodologia: MergeVLA

Para resolver esses desafios, os autores propõem o MergeVLA, uma arquitetura de VLA projetada especificamente para preservar a mesclabilidade. A abordagem consiste em três pilares principais:

A. Máscaras de Tarefa para o VLM (Resolvendo Conflitos LoRA)

Para mitigar a interferência de parâmetros no backbone do VLM, o MergeVLA utiliza adaptadores LoRA ativados esparsamente através de máscaras de tarefa binárias ( $S_m$ ).

Em vez de uma atualização global única, o modelo aplica uma máscara que seleciona apenas os parâmetros LoRA que são benéficos para uma tarefa específica, suprimindo aqueles que causam conflito.
A máscara é construída com base em um teste de consistência: um parâmetro é mantido apenas se sua atualização específica for significativa e dominante em relação à diferença residual com a atualização mesclada global. Isso preserva as representações pré-treinadas e reduz conflitos entre tarefas.

B. Redesenho do Especialista de Ação (Resolvendo Incompatibilidade Arquitetural)

O MergeVLA reestrutura o "Especialista de Ação" para eliminar a incompatibilidade:

Remoção da Auto-Atenção: As camadas de auto-atenção são removidas, mantendo apenas camadas de atenção cruzada (cross-attention). Isso força o especialista a depender das características robustas e compartilhadas do VLM, em vez de desenvolver vieses específicos de tarefa através da auto-atenção.
Substituição do Gate: O mecanismo de gate (originalmente tanh) é substituído por uma função sigmoide. O tanh pode suprimir sinais do VLM através de ativações negativas, forçando o modelo a confiar em parâmetros treinados do zero. A sigmoide garante que a informação do VLM seja sempre preservada e equilibrada.
Hierarquia de Especialização: Embora a maioria das camadas do especialista possa ser mesclada via média simples de pesos, as camadas mais profundas (denominadas Expert Head) permanecem altamente especializadas e não mescláveis. Portanto, o modelo mantém cabeças de especialista separadas para cada tarefa (geralmente apenas a última camada $L$ ).

C. Roteador de Tarefa em Tempo de Teste (Test-time Task Router)

Para operar em cenários onde a identidade da tarefa é desconhecida no momento da inferência (avaliação mista), o MergeVLA emprega um roteador sem treinamento (training-free):

O roteador analisa os estados ocultos do VLM (com máscaras aplicadas) e projeta-os nos subespaços principais das matrizes de projeção de valor ( $V$ ) do especialista de ação mesclado.
Ele calcula a força de ativação para cada tarefa candidata e seleciona a máscara de tarefa e a cabeça de especialista correspondentes com a maior resposta.
Isso permite que um único modelo mesclado ative dinamicamente os componentes de habilidade corretos sem supervisão adicional.

3. Contribuições Principais

Diagnóstico da Não-Mesclabilidade: Identificação empírica de que a mesclagem de VLAs falha devido à divergência de adaptadores LoRA no VLM e à dependência global causada pela auto-atenção nos especialistas de ação.
Arquitetura MergeVLA: Proposta de uma arquitetura que remove a auto-atenção no especialista de ação e utiliza máscaras de tarefa esparsas no VLM, permitindo a mesclagem eficaz de múltiplas habilidades.
Mecanismo de Roteamento sem Treinamento: Desenvolvimento de um roteador que infere a tarefa a partir de estados ocultos e subespaços de valor, eliminando a necessidade de conhecer a tarefa antecipadamente.
Validação Robusta: Demonstração de que a mesclagem de modelos é viável para VLAs, servindo como um caminho escalável para agentes corporificados generalistas.

4. Resultados Experimentais

O MergeVLA foi avaliado em três benchmarks de simulação e em um experimento com robô real:

Benchmarks LIBERO e LIBERO-Plus:
- Em cenários de tarefas mistas, o MergeVLA alcançou taxas de sucesso de 90,2% (LIBERO) e 62,5% (LIBERO-Plus), superando significativamente as tentativas de mesclagem de modelos existentes (que frequentemente falham com 0% de sucesso).
- O modelo demonstrou robustez superior a perturbações visuais e linguísticas (OOD), superando modelos ajustados individualmente em alguns cenários de distribuição deslocada.
RoboTwin (Cross-Embodiment):
- Testado em três robôs de dois braços diferentes (Aloha, ARX, Piper) com tarefas cruzadas.
- O MergeVLA alcançou 70,7% de sucesso em cenários de tarefas cruzadas e multi-embodiment, provando sua capacidade de generalização entre diferentes hardware e tarefas.
Experimentos Reais (SO101):
- Em um braço robótico real SO101, o modelo mesclado alcançou 90,0% de sucesso em tarefas de manipulação de cubos (pegar, empurrar, empilhar), demonstrando eficácia prática em hardware físico.

5. Significado e Impacto

Este trabalho é fundamental para o avanço da robótica generalista. Ele demonstra que a mesclagem de modelos não é apenas aplicável a LLMs, mas pode ser adaptada com sucesso para agentes robóticos complexos (VLA).

Eficiência: Permite criar um único agente generalista a partir de múltiplos especialistas, eliminando a necessidade de retreinamento conjunto custoso ou de manter múltiplos modelos em memória.
Escalabilidade: Oferece uma via escalável para integrar novas habilidades em robôs sem degradar o desempenho de habilidades existentes.
Generalização: A arquitetura proposta revela que a separação entre características compartilhadas (VLM) e especialização local (cabeças de ação) é crucial para a robustez e a capacidade de generalização em ambientes dinâmicos e variados.

Em resumo, o MergeVLA supera as barreiras técnicas que impediam a unificação de habilidades robóticas, estabelecendo um novo paradigma para o desenvolvimento de agentes físicos generalistas.