💻 computer science

Beyond Noise Steering: Dual-Latent Space Reinforcement Learning for Generative Robot Policy

Este artigo propõe o Dual-Latent Space Reinforcement Learning (DLSRL), um novo framework que aprimora políticas robóticas generativas pré-treinadas ao combinar o direcionamento de ruído inicial com a modulação de características intermediárias por meio de um gerador congelado, permitindo, assim, uma adaptação online eficiente sem atualizar a política base.

Autores originais: Pengfei Zhang, Teng Sun, Xianchao Xiu

Publicado 2026-09-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Pengfei Zhang, Teng Sun, Xianchao Xiu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Robôs que podem aprender ao observar humanos realizando tarefas não são mais ficção científica; eles são uma realidade em rápido crescimento no campo da inteligência artificial. Esses sistemas, frequentemente chamados de modelos de visão-linguagem-ação, agem como estudantes que leram uma vasta biblioteca de vídeos instrucionais e manuais antes mesmo de tocarem em uma ferramenta. Ao estudar milhões de exemplos, eles aprendem um sentido geral de como mover seus braços, agarrar objetos e seguir instruções. No entanto, assim como um estudante pode ter dificuldades ao ser solicitado a realizar uma tarefa familiar em uma sala ligeiramente diferente ou com uma nova ferramenta, esses robôs frequentemente falham quando o mundo real não corresponde perfeitamente aos dados nos quais foram treinados. Quando um robô encontra uma situação que nunca viu antes, ele precisa se adaptar rapidamente. O desafio para os cientistas é como ensinar esses sistemas massivos e pré-treinados a se ajustarem a novos ambientes sem ter que treiná-los do zero, um processo que seria lento demais e computacionalmente caro para o uso prático.

Por algum tempo, pesquisadores tentaram guiar esses robôs ajustando o próprio início de seu processo de tomada de decisão. Imagine um robô que gera uma sequência de movimentos começando com um padrão aleatório de ruído e gradualmente o refinando em um movimento suave. Os métodos existentes focaram em alterar esse padrão aleatório inicial para direcionar o robô para um melhor resultado. Embora isso ajude, é um pouco como tentar dirigir um carro apenas ajustando a posição inicial das rodas; uma vez que o carro está em movimento, o motorista não tem uma maneira direta de empurrar o veículo se ele começar a desviar do curso. Os "pensamentos" internos do robô sobre como se mover permanecem fixos, e o ajuste inicial não consegue corrigir facilmente erros pequenos e precisos que ocorrem mais tarde no movimento. Essa limitação significa que, mesmo com orientação, o robá pode ainda falhar em tarefas que exigem alta precisão, como colocar uma xícara em um pires ou parafusar um componente.

Para resolver isso, uma equipe de pesquisadores da Universidade de Xangai desenvolveu uma nova abordagem chamada Aprendizado por Reforço de Espaço Latente Duplo. Em vez de apenas ajustar o ponto de partida do movimento do robô, seu sistema aprende a dar um "empurrãozinho" nos pensamentos internos do robô enquanto o plano está sendo criado. Os pesquisadores construíram um módulo de controle leve que trabalha ao lado do cére-preparado e congelado do robô. Este módulo faz duas coisas simultaneamente: ele seleciona o padrão inicial de partida, como os métodos anteriores faziam, mas também gera um segundo sinal que é injetado diretamente nas camadas intermediárias da rede de processamento do robô. Pense nisso como ter um copiloto que não apenas ajuda a definir o destino, mas também alcança o volante e os pedais para fazer pequenos ajustes em tempo real enquanto o carro dirige, garantindo que o veículo permaneça no caminho exato necessário.

Os pesquisadores testaram este método em uma variedade de tarefas robóticas, incluindo levantar objetos, mover latas e empilhar blocos em ambientes simulados. Eles compararam seu novo sistema com os melhores métodos existentes que apenas ajustavam o ponto de partida. Os resultados mostraram que o sistema de controle duplo permitiu que os robôs aprendessem muito mais rápido. Em tarefas que exigem alta precisão, como mover uma lata para um lugar específico, o novo método alcançou uma taxa de sucesso de quase 99%, enquanto os métodos antigos tiveram dificuldade para passar dos 90%. Os robôs se adaptaram a novos desafios com menos tentativas, o que significa que puderam aprender com seus erros de forma mais eficiente. O estudo também demonstrou que esta abordagem funciona com diferentes tipos de cérebros robóticos, não apenas um design específico, sugerindo que é uma ferramenta versátil para melhorar o desempenho robótico.

Uma parte fundamental da descoberta foi entender quanta influência esse "empurrão" interno deveria ter. Os pesquisadores descobriram que, se pressionassem demais os pensamentos internos do robô, os movimentos tornavam-se instáveis e erráticos. No entanto, se aplicassem apenas a quantidade certa de pressão suave, o desempenho do robô melhorava de forma constante e suave. Esse equilíbrio permitiu que o robô mantivesse as habilidades gerais que já havia aprendido, enquanto realizava as correções específicas e refinadas necessárias para a nova tarefa. O sistema alcançou esses resultados sem alterar o modelo massivo pré-treinado em si, mantendo o núcleo do cérebro do robô intacto e atualizando apenas o módulo de controle pequeno e leve. Isso significa que o robô pode ser implantado em novas situações e aprender a se adaptar sobre a marcha, sem precisar de uma reformulação completa de sua inteligência subjacente.

As implicações deste trabalho são significativas para o futuro da robótica. Ao permitir que os robôs façam ajustes precisos durante a geração de seus movimentos, este método preenche a lacuna entre o conhecimento amplo e geral e as ações específicas e delicadas exigidas no mundo real. Os pesquisadores confirmaram suas descobertas através de extensas simulações, mostrando que a abordagem superou consistentemente as técnicas anteriores em múltiplas tarefas. Embora o trabalho tenha sido conduzido em uma simulação de computador, a velocidade e a eficiência da adaptação sugerem que esses robôs poderão em breve ser implantados em cenários do mundo real, aprendendo a lidar com novos objetos e ambientes com um nível de destreza que era anteriormente difícil de alcançar. O estudo conclui que, ao dar aos robôs uma maneira de direcionar suas representações internas, podemos criar máquinas que não são apenas inteligentes, mas também flexíveis e prontas para a natureza imprevisível do mundo físico.

Resumo Técnico: Aprendizado por Reforço de Espaço Latente Duplo para Políticas de Robôs Generativas

Declaração do Problema

Políticas de robôs generativas pré-treinadas, como as Políticas de Difusão e modelos de flow-matching, utilizam conjuntos de dados de larga escala para aprender priors de ação expressivos. No entanto, esses modelos frequentemente enfrentam dificuldades quando as tarefas subsequentes se desviam da distribuição de pré-treinamento, particularmente em tarefas de longo horizonte onde pequenos erros espaciais ou temporais levam à falha. Embora a adaptação online seja necessária, o ajuste fino (fine-tuning) completo de modelos de bilhões de parâmetros é computacionalmente proibitivo.

Métodos existentes de adaptação com eficiência de parâmetros, como o direcionamento baseado em Aprendizado por Reforço (RL) (Reinforcement Learning), operam tipicamente apenas nas fronteiras da geração de ação. Por exemplo, métodos como o Direcionamento de Difusão via RL (DSRL) aprendem uma política de ruído inicial condicionada à observação para direcionar um gerador congelado. Embora eficaz, essa abordagem influencia apenas o ponto de partida do processo de geração. Ela falha em modular representações de ação intermediárias, limitando sua capacidade de realizar correções precisas em locais de contato, magnitudes de ação ou trajetórias locais durante o processo de geração. Por outro meio, políticas residuais aplicam correções após a geração da ação, falhando em moldar a evolução interna das representações de ação. Há uma carência de um mecanismo de RL que combine a seleção de comportamento global com a modulação direta de representações de ação intermediárias dentro de um gerador congelado.

Metodologia: Aprendizado por Reforço de Espaço Latente Duplo (DLSRL)

Para abordar essas limitações, os autores propõem o Aprendizado por Reforço de Espaço Latente Duplo (DLSRL). Este framework introduz uma interface de controle inovadora que complementa o direcionamento de ruído inicial com o controle de nível de representação dentro de uma política generativa congelada.

1. Ator de Espaço Latente Duplo

Diferente dos métodos tradicionais de RL no espaço de ruído que apenas predizem um vetor de ruído inicial ( $z_t$ ), o ator DLSRL prediz duas variáveis latentes distintas condicionadas à observação atual ( $o_t$ ):

Variável latente de ruído inicial ( $z_t$ ): Direciona a geração do comportamento geral, de forma semelhante aos métodos existentes.
Variável latente de representação de ação ( $u_t$ ): Projetada para modulação de características intermediárias.

O ator é parametrizado como $\pi_\theta(\cdot | o_t)$ , produzindo a distribuição conjunta $(z_t, u_t)$ .

2. Mapeamento de Características do Adaptador e Injeção Residual

A variável latente de representação de ação $u_t$ é processada através de um mapeador de características de adaptador leve $A_\omega$ para produzir características de adaptador $f_t$ :
$f_t = A_\omega(u_t)$

Essas características são então injetadas na política base congelada $G_\phi$ . Especificamente, as características do adaptador são escalonadas por uma força de injeção $\lambda_{inj}$ e adicionadas residualmente aos estados ocultos dos tokens de ação em blocos selecionados de Transformers congelados:
$\tilde{H}^{(l)}_{t,k} = H^{(l)}_{t,k} + \lambda_{inj} f_t$
onde $H^{(l)}_{t,k}$ representa os estados ocultos do token de ação no nível $l$ e passo de geração $k$ . Este design permite o ajuste direto das representações de ação sem atualizar os parâmetros da política base ou alterar a arquitetura da rede. A política base gera o chunk de ação final como:
$a_t = G_\phi(o_t, z_t, f_t)$

3. Otimização da Política de Espaço Latente Duplo

O framework de treinamento emprega um mecanismo de destilação de valor para otimizar o ator de espaço latente duplo sem retropropagar através do gerador congelado:

Crítico no Espaço de Ação ( $Q^{act}_\psi$ ): Treinado em dados de interação online usando aprendizado de diferença temporal off-policy padrão para estimar o retorno dos chunks de ação.
Crítico no Espaço Latente ( $Q^{lat}_\nu$ ): Otimizado via um objetivo de destilação para corresponder aos valores preditos pelo crítico do espaço de ação. Este crítico aprende o efeito conjunto de $z_t$ e $f_t$ nos retornos da tarefa.
$L_{distill} = \mathbb{E}[(Q^{lat}_\nu(o_t, \hat{z}_t, \hat{f}_t) - \text{sg}[Q^{act}_\psi(o_t, \hat{a}_t)])^2]$
Atualização do Ator: O ator de espaço latente duplo é atualizado usando um objetivo regularizado por entropia que maximiza o valor do espaço latente:
$L_{actor} = \mathbb{E}[\alpha \log \pi^z_\theta(z_t | o_t) - Q^{lat}_\nu(o_t, z_t, f_t)]$

Durante a implantação, apenas o ator e o mapeador do adaptador são mantidos; os críticos são descartados.

Principais Contribuições

O artigo delineia três contribuições primárias:

Framework Inovador: A introdução de um framework de RL de espaço latente que otimiza simultaneamente as variáveis latentes de ruído inicial e de representação de ação, estendendo o direcionamento da política da fase de inicialização de amostragem para a fase de representação intermediária.
Mecanismo de Modulação Leve: O desenvolvimento de um mecanismo de modulação residual que mapeia latentes de representação de ação em características de adaptador alinhadas com tokens de ação, injetando-as nos estados ocultos de Transformers sem exigir atualizações na política base.
Validação Empírica: Uma série de experimentos através de políticas de Difusão e de flow-matching demonstrando que o DLSRL acelera a velocidade de adaptação online enquanto mantém um desempenho final competitivo.

Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks RoboMimic (Lift, Can, Square) e LIBERO (seis tarefas incluindo Stove-On, Bowl-Drawer-to-Plate, etc.) utilizando Políticas de Difusão baseadas em Transformer congelados e a política de flow-matching $\pi_0$ .

Velocidade de Adaptação: O DLSRL demonstrou consistentemente uma melhoria de desempenho mais rápida durante os estágios iniciais e intermediários de treinamento em comparação com baselines como DSRL, DPPO e JSRL.
Taxas de Sucesso:
- Na tarefa Can (RoboMimic), o DLSRL alcançou aproximadamente 99% de sucesso nos estágios finais, superando o DSRL (~90%).
- Nas tarefas LIBERO, o DLSRL atingiu o desempenho de saturação com menos interações com o ambiente do que o DSRL.
Eficiência: A Tabela I mostra que o DLSRL alcançou comprimentos de episódio médios mais curtos em todas as seis tarefas LIBERO, com reduções variando de 15,27% a 25,40% em comparação com o DSRL.
Estudos de Ablação:
- Remover o direcionamento de ruído inicial (DLSRL-Rep) ainda melhorou as taxas de sucesso de ~27% para ~52% na tarefa Can, confirmando que a modulação de nível de representação sozinha contribui para a adaptação.
- A análise da força de injeção ( $\lambda_{inj}$ ) revelou que, embora valores mais altos ($0,09$) oferecessem ganhos iniciais rápidos, eles causavam instabilidade. Um valor moderado ($0,06$) proporcionou o melhor equilíbrio, alcançando 100% de sucesso.

Significância e Alegações

Os autores afirmam que o DLSRL representa o primeiro trabalho a integrar o direcionamento de ruído inicial com a modulação do estado oculto do token de ação. A significância deste trabalho reside em sua capacidade de fornecer uma interface de controle adicional dentro de um gerador congelado, permitindo correções precisas de locais de contato e trajetórias sem o custo computacional de realizar o ajuste fino de grandes modelos generativos.

O artigo conclui que o DLSRL efetivamente acelera a adaptação de políticas de robôs online. Embora o método mostre uma velocidade de adaptação superior, os autores notam modestamente que a vantagem é mais pronunciada em tarefas que exigem alta precisão de ação (ex: Can, Square) em comparação com tarefas mais simples onde outros métodos podem eventualmente convergir para taxas de sucesso semelhantes. Trabalhos futuros planejam avaliar o framework em ambientes do mundo real e investigar os efeitos de escolhas arquiteturais específicas (camadas de injeção, passos, forças) no desempenho.