💻 computer science

Normalizing Flows are Capable Models for Bi-manual Visuomotor Policy

O artigo apresenta a NF-P, uma política visuomotora baseada em fluxos normalizantes para manipulação bimanual que supera as limitações de custo computacional e incerteza dos modelos de difusão, oferecendo amostragem rápida, cálculo de verossimilhança e estratégias de otimização que resultam em melhor desempenho e eficiência em tarefas robóticas.

Autores originais: Jialong Li, Simon Kristoffersson Lind, Wenrui Xie, Maj Stenmark, Volker Krüger

Publicado 2026-02-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jialong Li, Simon Kristoffersson Lind, Wenrui Xie, Maj Stenmark, Volker Krüger

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô com dois braços a fazer tarefas complexas, como dobrar uma toalha ou empilhar blocos, apenas mostrando a ele como fazer (demonstração). O grande desafio é que o robô precisa não apenas "imitar" o movimento, mas entender a probabilidade de cada ação: "Se eu pegar este bloco aqui, qual é a chance de ele cair?" ou "Qual é o melhor caminho para dobrar essa toalha?".

Até agora, a tecnologia mais avançada para isso usava algo chamado Modelos de Difusão. Pense neles como um artista que tenta desenhar uma imagem borrando e desburrando o papel várias vezes até ficar perfeito. O problema? É lento (precisa de muitos passos) e o artista não consegue dizer com certeza: "Tenho 99% de certeza que este desenho está correto".

Este artigo apresenta uma nova solução chamada NF-P (Política de Fluxos Normalizantes). Aqui está a explicação simples:

1. O Que é o "Fluxo Normalizante"? (A Analogia do Caminho Direto)

Imagine que você tem um mapa de uma cidade muito complicada e cheia de becos (as ações complexas do robô) e quer chegar a um ponto simples e central (uma distribuição de probabilidade fácil, como uma bola de gude perfeita).

Os Modelos Antigos (Difusão): São como alguém que tenta encontrar o caminho andando de um lado para o outro, testando várias ruas, apagando e refazendo o trajeto várias vezes até chegar ao centro. É seguro, mas demorado.
O Novo Modelo (NF-P): É como ter um túnel mágico ou um elevador expresso. Ele aprende um caminho direto e reversível.
- Para treinar: Ele aprende a transformar o movimento complexo do robô em algo simples (o elevador desce).
- Para usar (inferência): Ele inverte o processo instantaneamente (o elevador sobe) para gerar a ação perfeita em uma única passada. É como ir direto do ponto A ao B sem parar no trânsito.

2. O Superpoder: "Saber a Probabilidade Exata"

A maior vantagem do NF-P é que ele consegue calcular a probabilidade exata de uma ação ser boa.

Analogia: Imagine que você está jogando dardos.
- O modelo antigo joga o dardo e diz: "Acho que foi bom, mas não tenho certeza".
- O NF-P joga o dardo e diz: "Isso foi um 99% de chance de acertar o alvo. Mas espere, se eu jogar este outro dardo aqui, a chance sobe para 99,9%."

Isso permite duas estratégias inteligentes:

Seleção em Lote (Stochastic Batch Selection): O robô gera 128 ideias de movimentos diferentes rapidinho e escolhe apenas a melhor (a que tem a maior "nota" de probabilidade). É como pedir 128 receitas de bolo e escolher a que tem a maior chance de sair perfeita.
Refinamento por Gradiente (Gradient Refinement): O robô pega uma ideia inicial e faz pequenos ajustes matemáticos para "subir a montanha" da probabilidade, refinando o movimento até ficar perfeito, sem precisar reiniciar o processo.

3. O Truque de Treinamento: "Pular os Tremores"

Quando humanos ensinam robôs (teleoperação), nossas mãos tremem um pouco ou param por segundos. Se o robô aprender cada tremor, ele fica nervoso.

A Solução do Artigo: Eles usaram uma técnica chamada "Amostragem com Passos" (Strided Sampling).
Analogia: Imagine assistir a um vídeo de alguém cozinhando. Em vez de assistir cada segundo (incluindo quando a pessoa coça a cabeça ou respira fundo), o robô assiste apenas a cada 4 segundos. Assim, ele ignora os "tremores" e foca apenas nos movimentos importantes (pegar o ovo, bater o ovo, fritar). Isso torna o aprendizado muito mais limpo e rápido.

4. Os Resultados: Mais Rápido e Mais Inteligente

Os autores testaram isso em simulações e em um robô real com dois braços (Kuka).

Velocidade: O modelo novo é muito mais rápido. Enquanto os modelos antigos levavam tempo para "pensar" (devido aos muitos passos de desborramento), o NF-P decide em menos de 20 milissegundos. É rápido o suficiente para reagir em tempo real.
Sucesso: Em tarefas difíceis, como empilhar blocos ou dobrar toalhas, o NF-P teve muito mais sucesso. O robô antigo (Difusão) muitas vezes ficava "preso" no meio da tarefa ou começava errado. O novo robô conseguia iniciar o movimento e completar a tarefa com muito mais confiança.
Dados: Eles mostraram que, mesmo com poucos dados de treinamento, o modelo funciona bem, e escala bem se tivermos mais dados.

Resumo Final

Este paper diz: "Pare de usar métodos lentos e incertos para ensinar robôs. Use Fluxos Normalizantes."

É como trocar um carro que precisa de várias marchas para acelerar (Difusão) por um carro elétrico de alta performance que acelera instantaneamente e tem um GPS que sabe exatamente a melhor rota (NF-P). O resultado é um robô que aprende mais rápido, age mais rápido e sabe exatamente o que está fazendo, tornando-o muito mais seguro e útil para tarefas do mundo real.

1. O Problema

O campo da robótica de propósito geral tem adotado modelos probabilísticos baseados em difusão para aprender comportamentos complexos de manipulação. No entanto, esses modelos apresentam trade-offs significativos:

Custo Computacional: A inferência requer múltiplos passos de "denoising" (remoção de ruído), o que é caro e lento para hardware com recursos limitados.
Incapacidade de Quantificar Incerteza: Modelos de difusão não fornecem estimativas tratáveis de verossimilhança (likelihood) da saída, dificultando a medição da confiança do modelo ou a otimização da trajetória gerada.
Distribuições Multimodais: Modelos de regressão determinísticos tradicionais (como Transformers baseados em MSE) tendem a colapsar em distribuições multimodais, regredindo para a média de demonstrações conflitantes em vez de capturar modos de comportamento distintos e válidos.

2. Metodologia: NF-P (Normalizing Flow Policy)

Os autores propõem o NF-P, uma política visuomotor baseada em Fluxos Normalizadores (Normalizing Flows) condicionais, projetada especificamente para manipulação bimanual.

Arquitetura Central: O modelo aprende uma transformação bijetiva e diferenciável ( $T$ $T$ ) que mapeia a distribuição complexa de ações do robô para uma prior simples (Gaussiana) e vice-versa. Isso permite:
- Amostragem em passada única (single-pass) via $x = T^{-1}(u)$ .
- Cálculo exato da verossimilhança ( $p(x)$ ) usando a fórmula de mudança de variáveis e o determinante jacobiano.
Codificação de Observação: Utiliza um ResNet18 pré-treinado para extrair embeddings de imagens RGB, combinados com o vetor da última ação, para condicionar o fluxo.
Amostragem com "Stride" (Passo Temporal): Para lidar com ruídos de alta frequência e tremores inerentes a dados de teleoperação humana, o modelo utiliza uma estratégia de amostragem com stride ( $s$ ) durante o treinamento. Em vez de prever cada quadro, o modelo foca em transições maiores entre estados, ignorando micro-movimentos indesejados, mantendo a densidade dos dados de treinamento.
Estratégias de Otimização na Inferência: A capacidade de calcular a verossimilhança exata permite duas estratégias de otimização inovadoras:
1. Seleção Estocástica em Lote (Stochastic Batch Selection - SBS): Gera um lote de $N$ trajetórias candidatas e seleciona aquela com a maior verossimilhança logarítmica.
2. Refinamento por Gradiente (Gradient Refinement - GR): Realiza uma otimização local ascendente (gradient ascent) na verossimilhança logarítmica de uma trajetória amostrada inicial, refinando-a para encontrar um máximo local na variedade de ações.

3. Contribuições Principais

Proposta do NF-P: Uma arquitetura de fluxo normalizador adaptada para políticas visuomotoras baseadas em RGB, incluindo amostragem com stride e otimização baseada em verossimilhança.
Desempenho Superior e Eficiência: Demonstração de que o NF-P iguala ou supera as políticas baseadas em difusão (DP) em taxas de sucesso, com treinamento mais rápido e latência de inferência drasticamente menor.
Estimativa de Incerteza Explícita: Pela primeira vez em políticas robóticas, oferece uma estimativa de incerteza fundamentada matematicamente (verossimilhança exata), permitindo exploração segura e otimização guiada por incerteza.
Escalabilidade: Evidência de que os Fluxos Normalizadores escalam bem com o tamanho do conjunto de dados, desmistificando a ideia de que são menos expressivos que outros modelos generativos.

4. Resultados Experimentais

Os experimentos foram conduzidos no framework de simulação RoboTwin 2.0 (50 tarefas bimanuais) e em um robô físico Kuka iiwa de dois braços.

Simulação (RoboTwin 2.0):
- O NF-P com refinamento por gradiente (NF-PGR) alcançou uma taxa de sucesso média de 38,06%, superando a linha de base de Difusão (DP) em 28,04%.
- Melhorias significativas foram observadas em tarefas de alta precisão e contato (ex: "Open Microwave": 77% vs 5% do DP).
Robô Real (Kuka Dual-Arm):
- Em tarefas como "Stack Block Two" e "Towel Folding", o NF-P superou o DP, alcançando taxas de sucesso de 60% e 75%, respectivamente, contra 15% e 55% do DP.
- Análise de Gargalos: O DP falhou frequentemente na inicialização e em transições entre sub-objetivos (ficando "preso"). O NF-P demonstrou maior robustez, reduzindo falhas iniciais e transições mais rápidas (30s vs 8min permitidos).
Eficiência Computacional:
- Treinamento: Convergência em ~~300 épocas (~~50 min em RTX 4090).
- Inferência: Latência inferior a 20ms para SBS e ~455ms para GR (ainda mais rápido que o DP padrão), permitindo loops de controle de alta frequência.

5. Significado e Conclusão

O trabalho estabelece os Fluxos Normalizadores como uma alternativa viável e superior às políticas baseadas em difusão para controle robótico em tempo real.

Vantagem Chave: A combinação de inferência determinística de passada única com cálculo exato de verossimilhança resolve o dilema entre expressividade e eficiência computacional.
Impacto: Permite a implementação de políticas robóticas que não apenas aprendem comportamentos complexos e multimodais, mas também podem quantificar sua própria confiança e otimizar trajetórias em tempo real sem o custo computacional proibitivo de modelos de difusão.
Aplicabilidade: O modelo é particularmente adequado para ambientes de hardware real com restrições de recursos, onde a responsividade e a segurança (via estimativa de incerteza) são críticas.

Em suma, o NF-P demonstra que é possível obter o melhor dos dois mundos: a capacidade de modelar distribuições complexas de ações e a eficiência necessária para o controle robótico em tempo real.