🤖 machine learning

SEAR: Sample Efficient Action Chunking Reinforcement Learning

O artigo apresenta o SEAR, um algoritmo de aprendizado por reforço off-policy eficiente em amostras que utiliza um crítico transformer causal com alvos de múltiplos horizontes e uma estratégia de replanejamento de horizonte recuante para permitir o aprendizado online eficaz com blocos de ações, superando métodos de estado da arte em tarefas de manipulação desafiadoras.

Autores originais: C. F. Maximilian Nagy, Onur Celik, Emiliyan Gospodinov, Florian Seligmann, Weiran Liao, Aryan Kaushik, Gerhard Neumann

Publicado 2026-08-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: C. F. Maximilian Nagy, Onur Celik, Emiliyan Gospodinov, Florian Seligmann, Weiran Liao, Aryan Kaushik, Gerhard Neumann

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a jogar um videogame complexo, como um labirinto onde ele tem que pegar chaves, abrir portas e resolver quebra-cabeças. No mundo da inteligência artificial, isso é chamado de Aprendizado por Reforço (Reinforcement Learning). Pense nisso como treinar um cachorro: você dá a ele um petisco (uma recompensa) quando ele faz algo certo, e ele aprende a repetir esse comportamento. Mas aqui está a parte complicada: se o jogo for muito longo, o cachorro pode esquecer que o petisco no final foi por causa da primeira coisa que ele fez. Ele precisa conectar os pontos entre o início e o fim.

Para ajudar o robô a aprender mais rápido, os cientistas usam um truque chamado Agrupamento de Ações (Action Chunking). Em vez de dizer ao robô "Mova seu braço para a esquerda", depois "Mova seu braço para cima", depois "Pegue a xícara", um pequeno passo de cada vez, eles dizem: "Aqui está uma sequência inteira: Mova para a esquerda, para cima e pegue". É como ensinar um pianista um compasso inteiro de música de uma só vez, em vez de uma nota por vez. Isso ajuda o robídio a ver o quadro geral e planejar melhor. No entanto, há uma armadilha. Se você apenas disser ao robô para tocar um bloco inteiro de música sem deixá-lo ouvir a música enquanto toca, ele pode se perder se errar uma nota. Ele precisa ser capaz de parar, ouvir e ajustar seu plano constantemente. Este artigo aborda o problema de como ensinar esses grandes "blocos" de ação aos robôs sem torná-los muito lentos ou desajeitados para reagir quando as coisas dão errado.

Conheça o SEAR (Sample Efficient Action Chunking Reinforcement Learning), um novo método projetado para ensinar robôs a planejar com antecedência sem perder a calma. Os pesquisadores descobriram que, embora dizer a um robô para executar uma sequência inteira de movimentos de uma vez (um "bloco") seja ótimo para o aprendizado, fazer isso da maneira antiga geralmente leva ao desastre. Se você apenas entregar ao robô uma lista de 10 movimentos e disser "vá", e ele cometer um erro no movimento 3, ele continuará seguindo cegamente até que a lista termine. Quando ele perceber que saiu do trilho, será tarde demais.

Os autores descobriram que a principal razão pela qual os métodos anteriores falharam foi que não deram ao robô "prática" suficiente nas pequenas partes do plano. Imagine tentar aprender uma coreografia de dança praticando a música inteira de 2 minutos apenas uma vez por dia. Você nunca acertaria os passos individuais. O SEAR resolve isso usando um tipo especial de professor, chamado Crítico Transformer Causal (Causal Transformer Critic). Em vez de apenas avaliar o robô pelo resultado final de toda a dança, este professor avalia o robô em cada passo da sequência conforme ele acontece. É como um instrutor de dança que interrompe a música após cada movimento para dizer: "Bom trabalho com os pés!" ou "Cuidado com o cotovelo!". Isso dá ao robô uma quantidade massiva de feedback de cada tentativa, fazendo-o aprender muito mais rápido e de forma mais eficiente.

Mas aprender os grandes blocos é apenas metade da batalha. O robô também precisa ser capaz de reagir rapidamente. Para resolver isso, o SEAR usa uma estratégia inteligente chamada Replanejamento Aleatório (Random Replanning). Em vez de forçar o robô a executar toda a lista de movimentos que planejou, o SEAR diz para ele executar apenas uma parte aleatória da lista — talvez apenas os três primeiros movimentos — antes de parar e perguntar: "Ok, qual é o plano agora?", com base de onde ele realmente está. Isso é como um GPS que não apenas lhe dá uma rota para toda a viagem e diz "dirija", mas recalcula seu caminho a cada poucos quarteirões para evitar congestionamentos. Isso mantém a "cobertura de estado-ação" do robô alta, o que significa que ele aprende a lidar com todos os tipos de situações, não apenas com aquelas para as quais planejou perfeitamente.

Os resultados são impressionantes. Quando testado no benchmark Metaworld, uma coleção de 20 tarefas de manipulação robótica muito difíceis (como pegar objetos ou apertar botões), o SEAR alcançou uma taxa de sucesso superior a 80%. Este é um salto enorme em comparação com os métodos anteriores, que conseguiam apenas cerca de 60%. Mais interessante ainda, os pesquisadores descobriram que o SEAR pode aprender usando esses grandes blocos durante o treinamento, mas pode mudar para decisões de passo único durante o teste real, tornando-se efetivamente um aprendiz de passo único super-rápido que foi treinado pensando em grandes blocos.

O artigo também testou o SEAR em um cenário "offline-to-online", onde o robô primeiro aprende com um enorme conjunto de dados de vídeos passados (offline) e depois tenta melhorar realizando a tarefa (online). Ao aplicar as técnicas do SEAR a um método existente chamado QC, os pesquisadores viram um aumento significativo no desempenho nas tarefas de cubo-triplo do OGBench, provando que essas ideias funcionam mesmo quando o robô começa com uma vantagem de dados passados.

No entanto, os autores fazem questão de notar que isso não é uma solução mágica para todos os robôs. Eles apontam que o SEAR funciona melhor para tarefas que levam algum tempo para serem concluídas e que não exigem reações de milésimos de segundo, como montar móveis ou mover objetos. Não funcionaria bem para coisas que precisam de reflexos instantâneos, como um cachorro robô correndo por uma floresta, porque a abordagem de "agrupamento" pode fazer com que a qualidade dos dados caia se o robô precisar reagir rápido demais. Mas para as tarefas lentas, deliberadas e complexas de manipulação robótica, o SEAR sugere uma nova maneira poderosa de ensinar máquinas a pensar à frente, aprender mais rápido e manter-se alertas.

Resumo Técnico: SEAR (Sample Efficient Action Chunking Reinforcement Learning)

Declaração do Problema

O action chunking (fragmentação de ações), uma técnica onde uma política prevê uma sequência de ações futuras em vez de um único passo, tem demonstrado sucesso notável em aprendizado por imitação e aprendizado por reforço (reinforcement learning - RL) offline. No RL, ele facilita uma propagação de valor mais rápida e uma exploração estruturada, o que é particularmente benéfico para tarefas de longo horizonte com recompensas esparsas. No entanto, aplicar o action chunking a algoritmos de RL online off-policy padrão sem considerações de design específicas leva a uma baixa eficiência de amostra e degradação de desempenho.

O artigo identifica dois modos primários de falha ao estender o action chunking para o RL online:

Erros de Aproximação do Crítico: O espaço de ação ampliado (uma sequência de $N$ ações) torna a aproximação da função Q difícil. Os métodos existentes frequentemente treinam os críticos para prever um único valor Q para todo o fragmento (chunk). Isso resulta em um descompasso onde a dimensão do espaço de ação aumenta com o tamanho do fragmento $N$ , mas o número de alvos de treinamento permanece constante, levando a atualizações de ator deficientes.
Redução da Cobertura de Estado-Ação: Executar fragmentos de ação de maneira em malha aberta (open-loop) reduz a frequência de decisão da política. Se uma política prevê $N$ ações, mas consulta o ambiente apenas a cada $N$ passos, o ator é raramente avaliado em estados intermediários. Isso cria "lacunas" na cobertura de estados, especialmente em ambientes com distribuições iniciais de estado estreitas. Quando tal política é implantada com um horizonte recuante (receding horizon — executando apenas um prefixo do fragmento), ela encontra estados fora da distribuição, causando queda de desempenho e anulando os benefícios do chunking.

Metodologia: SEAR

Os autores introduzem o SEAR (Sample Efficient Action Chunking Reinforcement Learning), um algoritmo off-policy projetado para superar essas limitações dentro da estrutura de RL de Máxima Entropia (MaxEnt-RL). O SEAR integra três componentes principais:

1. Alvos de Q-Função de Múltiplos Horizontes

Para abordar o problema de aproximação do crítico, o SEAR emprega uma estratégia de alvo de múltiplo horizonte. Em vez de treinar o crítico em um único alvo para o retorno de $N$ passos completo, ele gera alvos para cada prefixo do fragmento de ação ( $k=1$ até $N$ ).

Mecanismo: Para um fragmento de ação $a_{t:t+N}$ , o crítico é treinado para prever valores Q $Q^{(k)}(s_t, a_{t:t+k})$ para todos os prefixos.
Benefício: Isso efetivamente aumenta o número de alvos de treinamento por amostra, tornando a razão entre a dimensão do espaço de ação e os alvos de treinamento independente do tamanho do fragmento $N$ . Isso fornece um sinal de treinamento mais denso, estabilizando o aprendizado mesmo para grandes tamanhos de fragmento.

2. Crítico Transformer Causal

Para lidar com as dependências temporais inerentes às sequências de ação e aos alvos de múltiplos horizontes, o SEAR utiliza um transformer causal como espinha dorsal (backbone) do crítico.

Arquitetura: O transformer processa o estado e a sequência de ações, prevendo os valores Q para todos os prefixos simultaneamente.
Justificativa: A estrutura causal garante que o alvo de $k$ passos $G^{(k)}$ dependa apenas das primeiras $k$ ações, alinhando-se perfeitamente com o objetivo de treinamento de múltiplos horizontes. Esta arquitetura supera os críticos MLP padrão neste cenário.

3. Replanejamento Aleatório para Cobertura de Estado

Para restaurar a cobertura de estado-ação e permitir o controle eficaz de horizonte recuante, o SEAR introduz o replanejamento aleatório durante a coleta de dados.

Mecanismo: Em vez de executar um comprimento de prefixo fixo $k$ ou o fragmento total, o agente executa um prefixo aleatório de comprimento $k \sim \text{Uniform}(1, N)$ antes de replanejar.
Benefício: Isso quebra o padrão rígido de avaliar o ator apenas a cada $N$ passos. Garante que o ator seja consultado em vários estados intermediários, criando uma distribuição uniforme de cobertura de estado. Isso permite que a política seja robustamente avaliada com horizontes recuantes mais curtos no momento de teste sem sofrer de mudança de distribuição (distribution shift).

Principais Contribuições

O artigo reivindica as seguintes contribuições:

Algoritmo SEAR: Um método de RL off-policy para action chunking fundamentado na estrutura MaxEnt-RL, especificamente projetado para cenários online.
Alvos de Múltiplos Horizontes e Crítico Causal: A integração de um crítico transformer causal com retornos de $N$ passos de múltiplos horizontes, que melhora significativamente a eficiência de amostra ao fornecer alvos de treinamento por ação dentro de um fragmento.
Replanejamento Aleatório: Uma estratégia de coleta de dados que executa prefixos aleatórios de fragmentos de ação para restaurar a cobertura de estado-ação, permitindo o uso eficaz do controle de horizonte recuante.
Validação Empírica: Experimentos extensos demonstrando que o SEAR supera consistentemente métodos de RL online e offline-to-online de última geração.

Resultados Experimentais

Os autores avaliaram o SEAR em dois benchmarks: o benchmark de RL online Metaworld e o benchmark offline-to-online OGBench.

Metaworld (RL Online):
- O SEAR foi testado nos 20 ambientes mais difíceis do Metaworld.
- Alcançou uma taxa de sucesso de Média Interquartil (IQM) superior a 80%, superando substancialmente o SimbaV2 (um método não fragmentado de última geração) e o CQN-AS (um método fragmentado de última geração), que ambos estagnaram em torno de 60%.
- Uma extensão do SimbaV2 com action chunking alcançou apenas ~20% de sucesso, destacando a dificuldade de transferir técnicas de chunking offline para cenários online sem as escolhas de design específicas do SEAR.
- Estudos de ablação confirmaram que remover os alvos de múltiplos horizontes ou o replanejamento aleatório causou a queda de desempenho para os níveis de base (~20%).
OGBench (Offline-to-Online RL):
- Aplicar os componentes do SEAR (alvos de múltiplos horizontes e replanejamento aleatório) à estrutura QC melhorou o desempenho nas tarefas exigentes de cubo-triplo em comparação com o QC padrão e o QC-FQL.
- As melhorias foram mais pronunciadas no início da fase de treinamento online.
Análise de Horizonte Recuante:
- As políticas SEAR treinadas com fragmentos grandes (ex: $N=10$ ou $20$), mas implantadas com um horizonte recuante curto (ex: 3–5 passos), alcançaram o melhor desempenho.
- Notavelmente, o SEAR treinado com chunking e implantado com um horizonte recuante de 1 (efetivamente uma política de passo único) superou tanto o SEAR-1 não fragmentado quanto o SimbaV2, sugerindo que o chunking pode ser usado como um mecanismo apenas de treinamento para aprender melhores políticas de passo único.

Significância e Alegações

O artigo posiciona o SEAR como uma solução para os desafios específicos de aplicar o action chunking em aprendizado por reforço online. Os autores afirmam que os métodos anteriores falharam em cenários online porque não abordaram o duplo desafio da aproximação do crítico em espaços de ação de alta dimensão e a falta de cobertura de estado causada pela execução em malha aberta.

A significância do SEAR reside em sua capacidade de:

Desacoplar Treinamento e Avaliação: Permite o uso de grandes fragmentos de ação durante o treinamento para acelerar a propagação de valor e a exploração estruturada, mantendo alta reatividade no momento da avaliação através do controle de horizonte recuante.
Habilitar o Chunking Online: Demonstra que o action chunking é viável em cenários puramente online sem dados offline prévios, desde que o crítico seja treinado com alvos de múltiplos horizontes e a cobertura de estado do ator seja mantida via replanejamento aleatório.
Aplicabilidade Geral: As ideias centrais (alvos de múltiplos horizontes e replanejamento aleatório) mostram-se eficazes ao serem transferidas para cenários offline-to-online, sugerindo que são melhorias fundamentais para métodos de action chunking de forma ampla.

Os autores mantêm a modéstia quanto às limitações, observando que o action chunking é mais adequado para tarefas de longo horizonte (como manipulação robótica) e pode não ser adequado para domínios de alta reatividade (como locomoção), onde a degradação da qualidade dos dados devido à execução em malha aberta é severa demais. Eles também reconhecem o aumento do custo computacional do crítico transformer em comparação com métodos de passo único.