💻 computer science

SmoothRL: Online Reinforcement Learning During Asynchronous Execution

O SmoothRL é um framework de aprendizado por reforço online que permite o ajuste fino eficiente em amostras de políticas de robôs pré-treinadas dentro de loops de inferência assíncronos ao modelar explicitamente a linha do tempo de execução e propagar gradientes apenas através das novas regiões de ação executadas para garantir confiabilidade em tempo real e controle suave.

Autores originais: Guang Gao, Yuxuan Nong, Baifu Huang, Jianan Wang

Publicado 2026-09-01

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Guang Gao, Yuxuan Nong, Baifu Huang, Jianan Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os robôs há muito lutam para se mover com a graça fluida dos seres vivos. Embora a inteligência artificial tenha ensinado as máquinas a compreender a linguagem e a reconhecer objetos com uma precisão surpreendente, traduzir esse entendimento em movimento físico continua sendo um obstáculo persistente. O problema não é apenas que os robôs devem ser inteligentes; eles também devem ser rápidos e suaves. No mundo real, um braço robótico não pode pausar para pensar entre cada pequeno movimento. Se ele parar para calcular seu próximo passo, o movimento torna-se brusco e a tarefa falha. Para se mover suavemente, um robô deve prever uma série de movimentos futuros e executá-los enquanto calcula simultaneamente o próximo conjunto. Isso cria um complexo problema de tempo: o robô está agindo com base em instruções que foram geradas um momento atrás, enquanto o computador já está trabalhando nas instruções para o momento seguinte. Se o robô tentar aprender com seus erros operando sob essas condições, o processo de aprendizado frequentemente entra em colapência, porque o robô está sendo julgado por ações que nunca chegou a terminar de fato, ou ações que foi forçado a abandonar no meio do caminho.

Uma equipe de pesquisadores da Astribot desenvolveu um novo método chamado SmoothRL para resolver esse enigma específico de tempo. O trabalho deles permite que os robôs aprendam com a experiência em tempo real, mesmo enquanto operam em um cronograma complexo e sobreposto, onde o pensar e o mover acontecem ao mesmo tempo. Os pesquisadores focaram em uma incompatibilidade fundamental na forma como os robôs são treinados versus como são usados. No passado, os cientistas treinavam robôs assumindo que a máquina pararia, pensaria e depois se moveria em um ritmo perfeito e sincronizado. Mas, no mundo real, para manter o movimento suave, os robôs utilizam um sistema onde geram um "bloco" de movimentos futuros, enviam a primeira parte para os motores e imediatamente começam a calcular o próximo bloco enquanto a primeira parte ainda está sendo executada. Isso cria uma situação em que o robô está constantemente descartando partes de seus próprios planos porque um plano mais novo e atualizado chegou. Os pesquisadores perceberam que, para um robô aprender efetivamente neste ambiente, ele deve parar de tentar aprender com as partes de seu plano que foram descartadas e focar apenas nas partes que ele realmente executou.

O cerne de sua solução é uma maneira de ensinar o robô a ignorar as ações "fantasmagóricas" que ele gerou, mas não usou. Quando o robô cria um plano para os próximos segundos, ele divide esse plano em três zonas distintas. A primeira zona contém ações que já foram decididas pelo ciclo de cálculo anterior; o robô não pode alterá-las agora. A segunda zona contém as novas ações que o robô realmente executa enquanto o próximo cálculo está acontecendo. A terceira zona contém as ações futuras restantes que provavelmente serão substituídas pelo próximo cálculo antes que o robô sequer chegue a elas. Os pesquisadores construíram um sistema de treinamento que olha apenas para a segunda zona — as ações que o robô realmente executou. Eles ensinam o robô a ajustar seu comportamento baseando-se exclusivamente nas consequências dos movimentos que ele realmente fez, efetivamente cortando o sinal de aprendizado das partes do plano que foram descartadas. Isso garante que o robô aprenda com a realidade, não de um futuro hipotético que nunca aconteceu.

Para testar isso, os pesquisadores configuraram três tarefas físicas desafiadoras em um robô móvel com dois braços. A primeira tarefa envolvia arremessar um objeto em um cesto, um movimento que requer um balanço contínuo e ininterrupto. Se o robô hesitar ou der um solavanco no momento em que alterna entre os ciclos de cálculo, o arremesso falha. A segunda tarefa exigia que o robô tampasse uma caneta com extrema precisão, alinhando dois pequenos objetos dentro de uma tolerância de apenas alguns milímetros. A terceira tarefa envolvia cortar uma caixa de papelão guiando uma lâmina ao longo de uma pequena costura, um trabalho que exige precisão de nível milimétrico para evitar cortar a própria caixa. Em todos os três casos, o robô começou com um cérebro pré-treinado que era bom, mas não perfeito. Quando os pesquisadores permitiram que o robô praticasse usando o novo método de aprendizado assíncrono, os resultados foram dramáticos. A capacidade do robô de arremessar o objeto com sucesso saltou de trinta e nove por cento para noventa e quatro por cento. Sua habilidade em tampar a caneta subiu de meros oito por cento para oitenta e três por cento, e sua taxa de sucesso ao abrir a caixa melhorou de trinta por cento para noventa por cento.

A melhoria não foi apenas sobre realizar a tarefa com mais frequência; foi sobre como o robô se movia. Os pesquisadores mediram a suavidade do movimento do robô e descobriram que o novo método reduziu os solavancos repentinos e as acelerações bruscas em quase metade. Essa suavidade era crítica para a tarefa dinâmica de arremesso, onde uma pausa no movimento faria o objeto cair curto. O sistema também provou ser flexível o suficiente para lidar com a ajuda humana. Se um operador humano precisasse intervir para corrigir um erro, o robô poderia absorver essa ação humana diretamente em seu processo de aprendizado sem a necessidade de traduzi-la em um código diferente. A correção do humano tornou-se apenas mais um exemplo da maneira correta de se mover, permitindo que o robô aprendesse tanto com suas próprias tentativas quanto com a orientação humana simultaneamente.

Os pesquisadores descobriram que o aprendizado do robô nem sempre era uma linha reta. Na tarefa de abrir a caixa, o desempenho do robô na verdade caiu antes de melhorar, sugerindo que o sistema estava explorando novas maneiras de se mover que inicialmente pareciam piores antes de encontrar o caminho correto. Isso indica que o robô estava verdadeiramente aprendendo a se adaptar, em vez de apenas memorizar um conjunto fixo de movimentos. No entanto, os pesquisadores também observaram os limites de sua abordagem. A capacidade de aprendizado do robô ainda está ligada à qualidade de seu cérebro pré-treinado inicial. Se o robô base estiver fundamentalmente confuso sobre uma tarefa, os pequenos ajustes feitos por este sistema de aprendizado podem não ser suficientes para corrigir o problema. Além disso, o sistema depende que os cálculos do robô terminem dentro de um limite de tempo estrito; se o computador ficar muito lento, o tempo dos movimentos pode sair de sincronia, desestabilizando todo o processo.

Em última análise, este trabalho demonstra que, para que os robôs se tornem verdadeiramente úteis no mundo real, seus algoritmos de aprendizado devem corresponder à realidade desordenada e sobreposta de como eles se movem. Ao ensinar o robô a focar apenas nas ações que ele realmente completou e a ignorar aquelas que descartou, os pesquisadores criaram um caminho para que as máquinas aprendam tarefas complexas e de alta velocidade sem sacrificar a suavidade necessária para realizá-las. O resultado é um robô que pode arremessar, tampar e cortar com um nível de confiabilidade e fluidez que antes estava fora de alcance, provando que a chave para um melhor aprendizado robótico reside em compreender o momento preciso em que um plano se torna realidade.

Resumo Técnico: SmoothRL

1. Declaração do Problema

A implantação de políticas robóticas generalistas de última geração (ex: modelos de Visão-Linguagem-Ação e Modelos de Mundo-Ação) no mundo físico enfrenta um conflito fundamental entre confiabilidade e execução suave em tempo real.

Confiabilidade: Alcançar robustez para diversas tarefas do mundo real (ex: cortar pacotes selados) requer um Aprendizado por Reforço (RL) online com eficiência de amostragem para adaptar modelos pré-treinados.
Execução Suave: A escala crescente dos modelos de fundação leva a uma alta latência de inferência. A execução síncrona (esperar pela inferência antes de agir) introduz pausas nas fronteiras dos chunks, degradando o desempenho em tarefas dinâmicas.
O Descompasso: Sistemas modernos resolvem a latência utilizando inferência assíncrona (sobrepondo a computação da política com a execução da ação) e chunking de ação. No entanto, os métodos existentes de RL online tipicamente assumem execução síncrona. Isso cria um desvio de distribuição: as políticas são otimizadas sob dinâmicas (síncronas) que diferem das encontradas durante a implantação (assíncronas). Especificamente, na execução assíncrona, um chunk de ação gerado é apenas parcialmente executado antes de ser substituído por um novo chunk. Atualizações padrão de gradiente de valor incorretamente retropropagariam através de ações "descartadas" que nunca alcançaram o ambiente, contaminando o sinal de aprendizado.

2. Metodologia: SmoothRL

O SmoothRL é um framework de RL online projetado para ajustar políticas pré-treinadas dentro de um loop de inferência assíncrona. Ele adere a três requisitos principais: aprendizado Online, execução Assíncrona e otimização de Gradiente de Valor.

2.1. Loop de Inferência Assíncrona e Particionamento de Chunks

Para resolver o descompasso entre ações geradas e executadas, o SmoothRL modela explicitamente o processo assíncrono durante o treinamento. Sob um orçamento fixo de latência $n$ (onde o tempo de inferência é limitado), cada chunk de ação gerado com horizonte $H$ é particionado em três regiões distintas baseadas no índice do quadro:

Região Comprometida $[0, n)$ : Ações já emitidas pelo ciclo de inferência anterior. Estas são fixas e não podem ser alteradas pela política atual.
Região de Execução $[n, 2n)$ : As novas ações geradas que são efetivamente executadas pelo robô antes da chegada do próximo chunk.
Região Descartada $[2n, H)$ : Ações geradas no chunk atual que são substituídas pelo próximo ciclo de inferência antes que possam ser executadas.

2.2. Truncamento de Gradiente e Paradigma de Gradiente de Valor

O SmoothRL segue o paradigma de gradiente de valor, onde a função de valor-ação $Q$ atualiza os parâmetros da política $\theta$ via $\nabla_\theta J = \mathbb{E}[\nabla_a Q(s, a) \cdot \nabla_\theta \pi_\theta(s)]$ . Para garantir a correção sob assincronia:

Truncamento de Gradiente: O gradiente de valor $\nabla_a Q$ é computado apenas em relação à Região de Execução ( $a[n, 2n)$ ). Os gradientes não são propagados através das regiões Comprometida ou Descartada. Isso garante que as atualizações da política dependam exclusivamente das consequências das ações efetivamente executadas.
Condicionamento do Crítico: O crítico retém a Região Comprometida como entrada. Isso é necessário por duas razões:
1. Bootstrap Não Enviesado: O crítico deve ser condicionado à sequência completa de ações que gerou o intervalo de recompensa para garantir que o bootstrap de salto de chunk seja não enviesado.
2. Aumento de Estado: A região comprometida representa as ações "em voo", fornecendo o aumento de estado necessário para modelar o processo de decisão concorrente (onde o próximo chunk é gerado enquanto o atual está sendo executado).

2.3. Loop de Treinamento e Intervenção Humana

Assincronia Incorporada: O loop de inferência assíncrona roda durante os rollouts de treinamento, não apenas na implantação. As trajetórias de replay registram as ações que o robô realmente executou sob o mesmo cronograma de tempo, garantindo que a política nunca seja otimizada sob dinâmicas não vistas.
Espaço de Ação Bruto: O framework opera no espaço de ação bruto, em vez de no espaço latente. Isso permite que intervenções humanas (teleoperação) sejam incorporadas diretamente como alvos de regressão sem a necessidade de inversão latente.
Modos de Intervenção: Dois modos são suportados:
- Intervenção Absoluta: O chunk teleoperado substitui inteiramente a saída da política.
- Intervenção Residual: A entrada humana adiciona uma correção à saída da política.
  Ambos os modos são tratados identicamente a jusante: a ação emitida real é registrada na região comprometida e usada como o alvo de Clonagem Comportamental (BC).

2.4. Instanciação

Os autores implementam o SmoothRL usando uma política base congelada (ex: $\pi_{0.5}$ ) e uma rede acoplada leve e treinável (Ator-Crítico).

A política base gera um chunk de ação de referência e um token latente.
A rede acoplada prevê uma correção residual limitada à ação de referência.
A perda do Ator inclui um termo de maximização de $Q$ , um âncoras de BC (regularizando contra a ação de referência) e um regularizador de suavidade que impõe restrições de velocidade, aceleração e jerk para garantir a continuidade entre os limites dos chunks.

3. Principais Contribuições

Framework para RL Online Assíncrono: O SmoothRL é o primeiro framework que integra o ajuste fino de RL online diretamente em um loop de inferência assíncrona, resolvendo o descompasso "Reinforce em Implantação".
Particionamento de Papéis de Chunk: O particionamento explícito dos chunks de ação em regiões Comprometida, de Execução e Descartada permite um gerenciamento preciso de gradientes.
Truncamento de Gradiente: O método introduz um mecanismo para truncar gradientes de valor para a Região de Execução, garantindo que as atualizações da política sejam impulsionadas apenas pelas ações executadas, enquanto o crítico permanece condicionado ao histórico completo para um bootstrap não enviesado.
Integração Humana Direta: Ao operar no espaço de ação bruto, o framework incorpora naturalmente as intervenções humanas como alvos supervisionados e transições rotuladas por valor, facilitando o aprendizado em robôs reais de forma segura e eficiente.

4. Resultados Experimentais

O framework foi avaliado no robô bimanual móvel Astribot S1 em três tarefas que exigem alta precisão e controle dinâmico:

Arremesso Dinâmico: Arremessar um objeto em um recipiente alvo (requer movimento contínuo e tempo de liberação preciso).
Colocação de Tampa de Caneta: Alinhar uma caneta com uma tampa e fixá-la (requer precisão de pose relativa de nível milimétrico).
Abertura de Caixa: Cortar uma costura de fita com uma lâmina (requer precisão de inserção submilimétrica).

Melhorias de Desempenho:
Após 250 episódios de rollout online, o SmoothRL superou significativamente a política base congelada:

Arremesso Dinâmico: Melhorou de 39% para 94% de taxa de sucesso.
Colocação de Tampa de Caneta: Melhorou de 8% para 83% de taxa de sucesso.
Abertura de Caixa: Melhorou de 30% para 90% de taxa de sucesso.

Análise:

A política base exibiu vieses sistemáticos (ex: viés para a esquerda na abertura de caixa, erros de modulação de velocidade no arremesso).
O SmoothRL corrigiu efetivamente esses desvios sistemáticos.
Em "Abertura de Caixa", o desempenho caiu inicialmente (para 20%) antes de se recuperar, indicando a exploração necessária para descobrir correções eficazes.
O framework reduziu o jerk e a aceleração do movimento em 47% e 52%, respectivamente, em comparação com a política base, demonstrando maior suavidade.

5. Significância e Limitações

Significância:
O artigo argumenta que, para implantação no mundo real, o RL online deve ser realizado sob o mesmo paradigma de execução assíncrona usado durante a implantação. O SmoothRL preenche a lacração entre os requisitos de alta latência dos grandes modelos de fundação e a necessidade de adaptação em tempo real com eficiência de amostragem. Demonstra que, ao modelar explicitamente o cronograma assíncrono e truncar os gradientes para as ações executadas, é possível alcançar controle dinâmico de alta precisão em robôs reais sem sacrificar os benefícios dos grandes modelos pré-treinados.

Limitações (conforme declarado pelos autores):

Restrição de Latência de Inferência: O framework depende de um orçamento fixo de latência. Se a latência de inferência flutuar além deste orçamento, a entrega do chunk falhará, desestabilizando o loop.
Expressividade Limitada pela Política Base: A capacidade do módulo de RL é limitada pelas representações internas da política base congelada e pela natureza limitada das correções residuais. Se a política base exibir grandes vieses sistemáticos fora do vizinhança local da ação de referência, a instanciação atual pode carecer de expressividade para retificá-los totalmente.

Direções Futuras:
Os autores sugerem estender o framework para atualizações de política generativa total (não apenas resíduos), investigar a interação entre o aprendizado de política e a mistura de ações (action blending), e escalar a avaliação para distribuições de tarefas mais amplas para entender melhor os limites dos mecanismos de correção local.