🤖 AI

Elastic Queries Reinforcement Learning: Self-Aware Policy Execution for VLA Models

Este artigo introduz o Elastic Queries Reinforcement Learning (EQRL), um framework que aprimora modelos de Vision-Language-Action (VLA) ao adaptar dinamicamente os passos de inferência e os comprimentos dos chunks de ação com base na dificuldade do estado, reduzindo assim os custos computacionais enquanto mantém ou melhora o sucesso da tarefa na manipulação robótica.

Autores originais: Ge Wang, Xinyu Tan, Xiang Li, Man Luo, Chengsi Yao, Shenhao Yan, Jiahao Yang, Fan Feng, Honghao Cai, Xiangyuan Wang, Zhixin Mai, Yiming Zhao, Yatong Han, Zhen Li

Publicado 2026-06-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ge Wang, Xinyu Tan, Xiang Li, Man Luo, Chengsi Yao, Shenhao Yan, Jiahao Yang, Fan Feng, Honghao Cai, Xiangyuan Wang, Zhixin Mai, Yiming Zhao, Yatong Han, Zhen Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um chef robô altamente treinado e muito inteligente. Este chef leu todos os livros de culinária do mundo (o modelo "Vision-Language-Action" ou VLA) e sabe exatamente como picar, mexer e empratar um prato. No entanto, neste momento, ele é um pouco rígido. Não importa o que esteja fazendo, ele segue uma rotina estrita e imutável:

Ele pausa para pensar por exatamente 10 segundos antes de fazer qualquer movimento.
Ele planeja os próximos 5 movimentos em sua mente.
Ele executa esses 5 movimentos sem verificar se algo deu errado.
Então, ele pausa por outros 10 segundos para planejar os próximos 5 movimentos.

O Problema:
Esta rotina de "tamanho único" é ineficiente.

Momentos fáceis: Quando o chef está apenas caminhando pela cozinha para pegar uma colher, ele não precisa de 10 segundos de pensamento profundo. Ele poderia fazer isso em 1 segundo. Além disso, ele não precisa planejar 5 movimentos à frente; ele pode apenas pegar a colher e continuar andando.
Momentos difíceis: Quando o chef está despejando sopa quente em uma xícara pequena sem derramar, ele desesperadamente precisa desses 10 segundos de pensamento. E ele também precisa verificar seu trabalho após cada gota, não esperar até que 5 movimentos terminem.

Atualmente, o robô perde tempo pensando demais em tarefas fáceis e pensando de menos em tarefas difíceis.

A Solução: EQRL (Aprendizado por Reforço de Consultas Elásticas)
Os autores deste artigo criaram um "gerente inteligente" (chamado de adaptador) que se senta entre o chef robô e a cozinha. Este gerente pode esticar ou encolher a rotina do robô com base na dificuldade do momento atual.

Veja como funciona, usando uma Analogia de uma Viagem de Carro:

1. O Cronograma Elástico (O Sistema de "Semáforo")

Em vez de uma rotina fixa, o gerente olha para a estrada à frente (o estado atual do robô) e decide duas coisas instantaneamente:

Quanto "pensar" (Orçamento de Denoising): Se a estrada é uma rodovia reta e vazia (estado fácil), o gerente diz ao robô: "Não pense demais, apenas dê uma olhada rápida". Se a estrada é uma zona de construção caótica com pedras caindo (estado difícil), o gerente diz: "Pare! Pense profundamente e analise cada ângulo".
O quão longe dirigir antes de verificar (Comprimento do Chunk): Na rodovia, o gerente diz: "Dirija por 5 milhas antes de verificar o mapa". Na zona de construção, eles dizem: "Dirija 10 pés, pare, verifique o mapa, depois dirija novamente".

Essa flexibilidade é chamada de "Consultas Elásticas" (Elastic Queries). O robô estica seu tempo de pensamento e encurta sua distância de condução quando as coisas ficam difíceis, e faz o oposto quando as coisas são fáceis.

2. O "Sensor de Dificuldade" (O Crítico)

Como o gerente sabe quando as coisas estão difíceis? Eles não apenas adivinham.

O sistema usa uma equipe de "juízes" (um Ensemble de Críticos). Esses juízes olham para a situação e votam sobre o quão bom é um plano.
Se todos os juízes concordarem, a situação é fácil.
Se os juízes estiverem discutindo e discordando, a situação é difícil.
O gerente usa essa discordância como um sinal: "Ei, os juízes estão confusos! Esta é uma parte difícil. Vamos desacelerar, pensar mais e verificar nosso trabalho com mais frequência".

3. O Resultado: Economizando Energia Sem Perder a Corrida

Os autores testaram este sistema em simulações de computador (como videogames) e em robôs reais.

O Resultado: Os robôs usando este método "Elástico" terminaram suas tarefas com o mesmo sucesso (ou até melhor) que os robôs rígidos.
A Vitória: Como pararam de desperdiçar tempo pensando em tarefas fáceis, eles usaram de 20% a 24% menos poder de computação (menos "ciclos cerebrais").
Mundo Real: Em robôs reais despejando líquidos ou movendo objetos, os robôs elásticos foram mais rápidos e eficientes, gastando seu "poder cerebral" apenas quando estavam prestos a derramar ou derrubar algo.

Resumo

Pense no EQRL como ensinar um robô a conhecer seus próprios limites. Em vez de correr uma maratona em um ritmo constante e exaustivo, o robô aprende a trotar facilmente em terreno plano e a dar um sprint com foco intenso apenas quando encontra uma subida íngreme. Ele realiza a tarefa de forma mais rápida e com menos energia ao ser "elástico" em vez de rígido.

Resumo Técnico: Elastic Queries Reinforcement Learning (EQRL)

Definição do Problema

Modelos de Visão-Linguagem-Ação (VLA) emergiram como geradores poderosos para manipulação robótica, tipicamente utilizando arquiteturas baseadas em fluxo ou difusão para produzir blocos de ação (action chunks) temporalmente coerentes. No entanto, as interfaces de execução atuais são rígidas: elas empregam orçamentos de denoising (passos de amostragem) fixos e comprimentos de bloco de ação fixos, independentemente da dificuldade do estado. Essa rigidez leva à ineficiência; estados fáceis (ex: movimento em espaço livre) frequentemente recebem computação excessiva e replanejamento frequente, enquanto estados difíceis (ex: alinhamento rico em contato ou recuperação) podem sofrer com feedback e recursos computacionais insuficientes. Métodos de pós-treinamento existentes que adaptam VLAs via direcionamento no espaço latente deixam o cronograma de execução (orçamento de amostragem e comprimento do bloco) como hiperparâmetros manuais, impedindo que a política aloque computação dinamicamente com base na dificuldade do estado.

Metodologia: Estrutura EQRL

Os autores propõem o Elastic Queries Reinforcement Learning (EQRL), uma estrutura que trata a execução de VLA como um problema de decisão conjunta sobre direcionamento latente, orçamento de denoising e comprimento do bloco de ação, sem realizar o ajuste fino (fine-tuning) do modelo VLA subjacente congelado.

1. Ações de Consulta de Cronograma Latente

Em cada consulta $j$ , um adaptador de RL leve (ator) observa o estado atual $o_{t_j}$ e produz uma ação conjunta $u_j = (w_j, z^K_j, z^C_j)$ :

$w_j$ : Uma variável de direcionamento latente que guia o amostrador VLA congelado.
$z^K_j, z^C_j$ : Variáveis de cronograma contínuas que representam resíduos em torno de cronogramas base para o orçamento de denoising ( $K$ ) e comprimento do bloco ( $C$ ).

2. Parametrização de Cronograma Guiada por Dificuldade

Para garantir que o cronograma esteja ciente da dificuldade do estado, o EQRL utiliza um ensemble de críticos $\{Q^{(i)}_\psi\}$ treinado sobre o espaço de ação conjunto de latente-cronograma.

Sinal de Dificuldade: O sistema deriva um sinal de dificuldade de estado $s(o)$ a partir do desacordo (desvio padrão) das previsões do ensemble de críticos no cronograma base. Alto desacordo indica alta dificuldade.
Prior de Cronograma: Este sinal gera um "prior de cronograma" que aloca mais passos de denoising ( $K$ ) e blocos mais curtos ( $C$ ) para estados difíceis, e menos passos/blocos mais longos para estados fáceis.
Cronograma Final: Os parâmetros de execução finais são uma combinação deste prior derivado da dificuldade e dos resíduos aprendidos pelo ator, limitados (clipped) a intervalos inteiros válidos.

3. Objetivo de Aprendizado de Nível de Consulta

O EQRL formula o problema como aprendizado por reforço de macro-ações de nível de consulta:

Macro-Transições: A execução de um bloco de comprimento $C$ induz uma macro-transição no ambiente. O backup de Bellman utiliza um fator de desconto dependente do bloco $\gamma^L$ (onde $L$ é o número real de passos executados).
Estrutura de Recompensa:
- Recompensa de Tarefa: Um bônus de sucesso terminal é atribuído à consulta final de um episódio bem-sucedido.
- Custo de Computação: Um orçamento de Número de Avaliações de Função (NFE) amortizado por episódio é imposto. O custo é definido como a razão entre o total de passos de denoising e o total de ações executadas ( $\sum K / \sum C$ ). Episódios que excedem uma banda de orçamento incorrem em penalidades, enquanto aqueles dentro da banda recebem um bônus de economia.
Otimização: O ator é otimizado usando um objetivo de máxima entropia (estilo SAC) para maximizar o valor Q do crítico enquanto mantém a entropia. Uma perda de alinhamento auxiliar encoraja a alocação de computação local do ator a corresponder ao sinal de dificuldade derivado do crítico.

Principais Contribuições

Formulação de Execução Elástica: O artigo formula a execução de VLA congelado como um problema de RL de nível de consulta onde a política seleciona conjuntamente o direcionamento latente, o orçamento de denoising e o comprimento do bloco de ação.
Guia de Dificuldade Derivada do Crítico: Introduz um mecanismo para derivar sinais de alocação de computação dependentes do estado a partir do desacordo do ensemble de críticos, permitindo que a política "saiba" quando gastar mais computação.
RL de Macro-Ação de Comprimento Variável: Os autores desenvolvem uma estrutura de treinamento para blocos de comprimento variável usando desconto dependente do bloco e um objetivo de NFE amortizado por episódio para equilibrar desempenho e eficiência.

Resultados Experimentais

Os autores avaliaram o EQRL nos benchmarks de simulação LIBERO e ALOHA, bem como em tarefas de manipulação robótica offline e online (usando plataformas DISCOVER Robotics).

Desempenho em Simulação: O EQRL alcançou taxas de sucesso estado da arte ou melhoradas em comparação com os baselines (DSRL, RLinf-Noise, RLinf-SDE) enquanto reduzia significativamente os custos de inferência.
- No LIBERO-4Tasks, o EQRL melhorou o AUC de Sucesso em 0,04 e reduziu o NFE relativo em 24,3%.
- No ALOHA-Cube, o EQRL alcançou 100% de sucesso final (vs. 0,94 para DSRL) e reduziu o NFE relativo em 20,0%.
Desempenho em Robô Real: Tanto em configurações offline quanto online, o EQRL manteve sucesso de tarefa comparável ou superior enquanto reduzia o NFE relativo em aproximadamente 32% e reduzia o tempo de trajetória de parede (wall-clock) em 11–17%.
Estudos de Ablação: Experimentos na tarefa "Put Cheese" demonstraram que os ganhos não se devem meramente à redução do orçamento médio de computação. Variantes que apenas ajustavam passos, apenas ajustavam blocos ou usavam um orçamento fixo sem consciência de dificuldade tiveram desempenho inferior. Isso confirma a necessidade de cronograma conjunto e consciência de dificuldade derivada do crítico.

Significância e Alegações

O artigo alega que a execução de VLA é fundamentalmente um problema de alocação de recursos dependente do estado. O EQRL demonstra que uma política VLA congelada pode se tornar "elástica" através de um adaptador leve que aprende a alocar recursos computacionais dinamicamente.

Eficiência sem Fine-Tuning: O método preserva os vieses comportamentais do VLA pré-treinado enquanto adapta a eficiência da execução, evitando o custo de um ajuste fino completo do modelo.
Execução Adaptativa: Ao gastar mais computação e feedback em fases difíceis (ex: alinhamento de contato) e menos em fases fáceis (ex: aproximação em espaço livre), o EQRL melhora o equilíbrio entre custo de inferência e sucesso da tarefa.
Praticidade: Os resultados sugerem que a consulta elástica é uma interface viável para o aprendizado robótico no mundo real, traduzindo economias computacionais em acelerações práticas e melhores compromissos de tempo de contato.

Os autores reconhecem limitações, observando que o treinamento offline não pode observar perfeitamente os efeitos causais de diferentes cronogramas sem o feedback do ambiente, e que a adaptação atual para robôs reais exige ajuste fino por tarefa, o que limita a generalização entre habilidades de manipulação vastamente diferentes.