💻 computer science

Harness VLA: Steering Frozen VLAs into Reliable Manipulation Primitives via Memory-Guided Agents

O Harness VLA é um framework de agente aumentado por memória que aumenta a confiabilidade de modelos de Visão-Linguagem-Ação congelados em tarefas de manipulação complexas ao tratá-los como primitivas de contato rico reexecutáveis e ao compô-los com uma biblioteca fixa de primitivas analíticas, alcançando assim ganhos de desempenho significativos em benchmarks como LIBERO-Pro e RoboCasa365 sem exigir o ajuste fino do modelo.

Autores originais: Yixian Zhang, Huanming Zhang, Feng Gao, Xiao Li, Zhihao Liu, Chunyang Zhu, Jiaxing Qiu, Yuchen Yan, Jiyuan Liu, Wenhao Tang, Zhengru Fang, Yi Nie, Changxu Wei, Yu Wang, Wenbo Ding, Chao Yu

Publicado 2026-07-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yixian Zhang, Huanming Zhang, Feng Gao, Xiao Li, Zhihao Liu, Chunyang Zhu, Jiaxing Qiu, Yuchen Yan, Jiyuan Liu, Wenhao Tang, Zhengru Fang, Yi Nie, Changxu Wei, Yu Wang, Wenbo Ding, Chao Yu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô superinteligente que é incrível em uma coisa específica: agarrar objetos de formatos estranhos, girar botões pegajosos ou pressionar botões. É como um chef de cozinha de classe mundial que consegue picar vegetais e selar bifes perfeitamente. Mas, se você pedir para ele planejar um jantar inteiro, navegar por uma cozinha movimentada ou descobrir onde está o sal quando a mesa foi movida, ele se perde totalmente. Ele pode tentar picar o saleiro porque foi treinado em um layout de mesa específico, ou pode travar quando as instruções mudam ligeiramente.

Este é o problema com os atuais robôs "Vision-Language-Action" (VLA). Eles são ótimos na parte do "contato" (tocar e mover coisas), mas terríveis na parte do "planejamento" quando as coisas ficam bagunçadas ou diferentes do treinamento.

Apresentamos o Harness VLA. Pense nisso não como um novo cérebro de robô, mas como um gerente de projetos brilhante que assume o trabalho de administrar a cozinha.

A Parceria: O Gerente e o Especialista

Neste novo sistema, o cérebro do robô (o VLA) está "congelado". Isso significa que não o estamos retreinando ou ensinando novos truques. Ele permanece exatamente como é, um especialista em tarefas ricas em contato. O sistema Harness VLA envolve um "gerente" (um agente de IA) ao redor deste especialista.

Aqui está como eles trabalham juntos:

O Gerente (O Planejador): Este é o chefe. Ele observa a tarefa (ex: "Coloque o leite na geladeira"), verifica a sala e divide o trabalho em etapas pequenas e lógicas. Ele usa um conjunto pequeno e fixo de ferramentas "analíticas" — como um GPS para mover o braço, um comando simples para abrir a garra ou um movimento para girar o pulso. Essas ferramentas são como os reflexos básicos de um robô: previsíveis, confiáveis e perfeitas para mover-se através de espaços vazios.
O Especialista (O VLA Congelado): O gerente só chama o especialista quando as coisas ficam complicadas. Quando o robô precisa realmente agarrar uma caixa de leite escorregadia, girar uma torneira ou pressionar um botão, o gerente diz: "Ok, especialista, é a sua vez!". O especialista faz sua mágica por alguns segundos e depois devolve o controle ao gerente.

O Ingrediente Secreto: Um Caderno de Memória

A verdadeira magia não é apenas a parceria; é a Memória.

Imagine que o gerente tem dois cadernos:

O Caderno de Tarefas: Após o robô resolver um problema com sucesso uma vez, o gerente escreve a sequência de etapas que seguiu. Mas a parte legal é que, em vez de escrever coordenadas exatas como "mover para x=1.2, y=0.5", ele escreve a lógica, como "mover para a tigela vermelha". Dessa forma, se a tigela estiver em um lugar diferente amanhã, o gerente ainda pode usar o mesmo plano, apenas redirecionando os passos para o novo local.
O Caderno Global: Este é uma coleção de "regras de bolso" e "lições aprendidas" de muitas tarefas diferentes. Contém notas como: "Se a garra fechar, mas o objeto não se mover, é uma pegada falsa — tente novamente", ou "Sempre verifique o sinal de sucesso antes de comemorar".

Quando uma nova tarefa chega, o gerente verifica esses cadernos. Se o robô falhar, o gerente não desiste simplesmente. Ele lê as "regras de falha", ajusta o plano, reposiciona o robô e tenta novamente com a ajuda do especialista. É como um humano aprendendo a andar de bicicleta: você cai, lembra o que deu errado, ajusta seu equilíbrio e tenta de novo.

O Que Este Sistema NÃO É

O artigo é muito claro sobre o que este sistema não faz. Ele argumenta explicitamente contra duas ideias comuns:

Ele NÃO tenta tornar o céreão do robô maior ou mais inteligente. Os autores não treinaram um novo modelo de IA massivo para fazer tudo. Eles mantiveram o cérebro congelado e pequeno.
Ele NÃO dá ao robô uma biblioteca infinita de novas habilidades. O gerente não inventa novas ferramentas na hora. Ele usa um conjunto pequeno e fixo de ferramentas (Mover, Girar, Agarrar, Soltar) e aprende como combiná-las perfeitamente.

O artigo sugere que tentar fazer com que uma única IA gigante faça tudo (planejamento, movimento e agarrar) é, na verdade, o problema. Ao dividir o trabalho, o sistema torna-se muito mais confiável.

Os Resultados: Isso Funciona?

Os autores testaram este sistema em vários mundos virtuais, desde jogos simples de mesa até simulações complexas de cozinha. Os resultados foram bastante impressionantes:

Em um teste padrão chamado LIBERO-Pro, onde as instruções foram alteradas ou os objetos foram movidos para novos lugares, o sistema Harness VLA teve sucesso 38,6 pontos percentuais a mais do que os melhores métodos anteriores.
Em uma simulação de cozinha chamada RoboCasa365, ele melhorou as taxas de sucesso em 25,4 pontos percentuais.
Em um teste de robô de braço duplo chamado RoboTwin, alcançou uma taxa de sucesso de 58,4%.

O artigo mostra que, ao deixar um gerente inteligente lidar com o planejamento e a memória, e usar apenas o cérebro "especialista" congelado para o ato de agarrar, o robô consegue lidar com mudanças do mundo real muito melhor do que antes. É um lembrete de que, às vezes, a melhor maneira de construir um super-robô não é dar a ele um céreão maior, mas sim um gerente melhor.

Resumo Técnico: Harness VLA

Declaração do Problema

A manipulação robótica condicionada à linguagem requer um sistema capaz tanto de controle preciso e rico em contato quanto de raciocínio robusto sobre linguagem, cenas e tarefas de longo horizonte. As abordagens atuais enfrentam um compromisso fundamental:

Modelos de Visão-Linguagem-Ação (VLA) de Ponta a Ponta: Estes modelos são excelentes em tarefas de contato local condicionadas por imagem (ex: agarrar objetos irregulares, girar torneiras), mas são treinados em trajetórias dentro da distribuição. Eles frequentemente falham sob perturbações de implantação, como retargeting semântico, re-vinculação de objetivos, mudanças de layout espacial ou quando habilidades curtas devem ser compostas em rotinas mais longas. Uma única falha de contato instável pode descarrilar todo um rollout monolítico.
Agentes de Codificação de LLM: Estes agentes fornecem forte raciocínio semântico e composicional ao sintetizar programas executáveis sobre APIs de percepção e controle. No entanto, primitivas puramente analíticas (ex: transporte de cinemática inversa, controle de gripper) têm dificuldade com agarres irregulares, posicionamento restrito e interação com objetos articulados. Além disso, escalar esses sistemas muitas vezes exige a expansão da biblioteca de habilidades, forçando o agente a validar a segurança e a reutilização das novas habilidades geradas.

O desafio central é combinar as forças visuomotoras locais dos VLAs com o raciocínio composicional de agentes, sem exigir o ajuste fino (finetuning) do VLA ou a expansão do vocabulário de primitivas no momento da implantação.

Metodologia: Harness VLA

Os autores propõem o Harness VLA, um framework de agente aumentado por memória que trata um VLA congelado não como uma política monolítica, mas como uma primitiva de contato rico e passível de tentativa (retryable) dentro de uma biblioteca fixa de controladores analíticos.

1. Arquitetura do Sistema

O sistema opera via uma interação de turno baseado em um loop autoregressivo entre um Planejador Agêntico ( $\Pi$ ) de alto nível e um motor de física.

Biblioteca de Primitivas Fixas ( $\mathcal{P}$ ): O planejador é restrito a um pequeno conjunto fixo de primitivas. Isso inclui:
- Primitivas Analíticas: Controladores determinísticos e baseados em modelo para tarefas sem contato (ex: MOVE TO, ROTATE WRIST, SET GRIPPER, NAVIGATE TO). Estas lidam com transporte em espaço livre, estágio, ajuste de postura e liberação.
- Primitiva VLA (VLA ACT): Uma única primitiva aprendida que encapsula um VLA pré-treinado e congelado. Ela é invocada apenas para fases locais e ricas em contato (ex: agarrar, inserção, atuação de fixadores).
Módulos de Memória:
- Memória Específica da Tarefa: Armazena traços de composição de primitivas bem-sucedidos (formato JSONL) de uma semente de referência. Esses traços são parametrizados (substituindo coordenadas concretas por consultas simbólicas) para permitir o re-grounding de poucos disparos (few-shot) em novos layouts espaciais.
- Memória Global: Armazena regras de sucesso reutilizáveis e modelos de falha (ex: "evitar agarres vazios", "re-estagiar se o contato falhar") destilados da exploração.

2. Loop de Execução

O framework segue uma execução no estilo Read-Eval-Print Loop (REPL):

Bootstrapping Exploratório: Em uma semente de referência, o planejador descobre autonomamente uma solução ao iterar através de composições de primitivas. Ele utiliza uma primitiva RESET para tentar novamente falhas. Após o sucesso, ele abstrai o traço para a Memória Específica da Tarefa e extrai heurísticas para a Memória Global.
Avaliação de Implantação: Em perturbações não vistas (ex: trocas de posição, redirecionamentos de instrução), o planejador recupera o traço da Memória Específica da Tarefa. Ele re-vincula dinamicamente o traço usando observações RGB-D ao vivo e consulta a Memória Global para evitar modos de falha conhecidos. O planejador orquestra a sequência: usando primitivas analíticas para estágio e transporte, e invocando VLA ACT apenas quando o robô está em uma configuração local favorável para o contato.

3. Princípios de Design Chave

Delegação Assimétrica: O grounding semântico, a composição de longo horizonte e o raciocínio de nível de cena são tratados pelo planejador. O VLA congelado é estritamente reservado para operações locais ricas em contato onde sua distribuição de treinamento é informativa.
Contato Tentável (Retryable Contact): O planejador trata o VLA ACT como uma tentativa local. Se uma fase de contato falhar (ex: agarre instável), o planejador pode re-estagiar o robô (mudar a pose de aproximação ou viewpoint) e tentar novamente a invocação do VLA, em vez de falhar em todo o episódio.
Sem Ajuste Fino (No Finetuning): O backbone do VLA permanece congelado. O sistema estende o alcance operacional do VLA mudando quando e como ele é invocado, não atualizando seus pesos.

Principais Contribuições

Framework Agêntico Aumentado por Memória: Uma arquitetura inovadora que expõe um VLA congelado como uma primitiva dentro de uma biblioteca fixa, permitendo manipulação de longo horizonte e perturbada sem ajuste fino do VLA ou expansão de vocabulário.
Análise Empírica de Primitivas Fixas: Demonstra que uma biblioteca de primitivas pequena e fixa é suficiente quando o planejador aprende a orquestrá-la. Invocações repetidas e estagiadas pelo planejador podem reformular tentativas frágeis do VLA, enquanto as primitivas analíticas resolvem a estrutura sem contato.
Desempenho Robusto em Benchmarks: O framework alcança resultados de estado da arte em quatro famílias de benchmarks, superando significativamente os baselines diretos de VLA e métodos agênticos anteriores.

Resultados Experimentais

Os autores avaliaram o Harness VLA em quatro famílias de benchmarks: LIBERO, LIBERO-Pro, RoboCasa365 e RoboTwin C2R.

LIBERO Padrão: O Harness VLA (usando um planejador Codex ou Claude Code) alcançou uma taxa de sucesso agregada de 96,0%, mantendo um desempenho competitivo com o VLA congelado subjacente (95,3%) enquanto permite robustez a perturbações.
LIBERO-Pro (Perturbado): Sob perturbações de redirecionamento de instrução e troca de posição, o Harness VLA superou significativamente o baseline mais forte (RATS).
- Harness VLA (CC): 82,4% de sucesso total.
- Harness VLA (Codex): 72,1% de sucesso total.
- Melhoria sobre o RATS (43,8%): +38,6 pontos percentuais.
- Melhoria sobre o baseline de RL direto (50,0%): +32,4 pontos percentuais.
RoboCasa365 (Cozinha Doméstica): O Harness VLA melhorou o baseline RLDX-1 congelado (30,0%) para 55,4% (Codex) e 48,6% (CC), um ganho de +25,4 pontos percentuais.
RoboTwin C2R (Bimanual Zero-Shot): Em um cenário de transferência de limpo-para-aleatório, o Harness VLA elevou a taxa de sucesso do backend LingBot-VLA congelado (50,4%) para 58,4%.

Análise de Mecanismo:

Re-grounding Semântico: O planejador analisa explicitamente as descrições de tarefas e re-vincula alvos, evitando que o VLA repita comportamentos do tempo de treinamento quando as instruções mudam.
Invocação Adaptativa: As taxas de sucesso aumentam rapidamente com as primeiras invocações de VLA estagiadas pelo planejador, demonstrando que tentar novamente os contatos após o re-estágio é crítico para a robustez.
Divisão de Trabalho: As primitivas analíticas lidam com a maioria dos transportes e estágios sem contato (ex: 84,2% das chamadas no LIBERO), reservando o VLA para as fases específicas de contato rico onde ele é mais eficaz.

Significância e Alegações

O artigo afirma que o Harness VLA demonstra que os VLAs pré-treinados são mais eficazes quando isolados para o controle visuomotor rico em contato, enquanto a abstração de vínculos semânticos e espaciais para um agente de nível superior evita as falhas catastróficas comuns em implantações monolíticas.

Os autores argumentam que sua abordagem oferece um caminho prático para a manipulação robusta sem o custo computacional de ajustar modelos VLA grandes para cada nova tarefa ou ambiente. Ao tratar o VLA como um "especialista em contato" e o agente como o "orquestrador", o sistema estende a utilidade de modelos congelados para cenários fora da distribuição. O trabalho destaca que a chave para a robustez não reside na expansão da biblioteca de habilidades, mas em aprender o alcance operacional de primitivas fixas através de composição guiada por memória e mecanismos de tentativa adaptativa.

Limitações: Os autores observam que o sistema depende de um loop de feedback aberto entre o planejador e o VLA, carece de ajuste fino conjunto via recompensas ambientais (sugerindo trabalho futuro com aprendizagem por reforço) e é limitado pela ausência de legendagem de imagem detalhada para cenas altamente congestionadas. Eles também sugerem a futura integração com sistemas de descoberta automática de habilidades (como o ASPIRE) para expandir o vocabulário de primitivas quando necessário.