🤖 machine learning

Multistep Quasimetric Learning for Scalable Goal-conditioned Reinforcement Learning

Este artigo apresenta um método offline de Aprendizado por Reforço Condicionado a Objetivos (GCRL) escalável que integra atualizações locais e globais para estimar distâncias temporais, superando métodos existentes em tarefas de longo horizonte e permitindo a "costura" (stitching) de trajetórias em manipulação robótica do mundo real a partir de dados visuais não rotulados.

Autores originais: Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine

Publicado 2026-02-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a cozinhar um jantar complexo, mas você só tem um vídeo de alguém fazendo apenas uma parte do processo (como descascar uma batata) e outro vídeo de outra pessoa apenas fritando a carne. O desafio é: como fazer o robô juntar essas duas habilidades soltas para criar um prato completo, mesmo que ele nunca tenha visto o prato inteiro sendo feito?

Este é o problema que o artigo "Multistep Quasimetric Estimation (MQE)" tenta resolver. Vamos descomplicar a ciência por trás disso usando analogias do dia a dia.

1. O Problema: O "GPS" que se perde no caminho

Na Inteligência Artificial, ensinar um robô a chegar a um objetivo (como pegar um objeto ou atravessar um labirinto) é difícil quando o caminho é muito longo.

O jeito antigo (TD Learning): É como tentar aprender a direção de casa olhando apenas para a próxima rua. "Se eu virar à direita aqui, chego na próxima esquina". O problema é que, se você errar um pouco na primeira esquina, o erro se acumula e, no final, você está em outro país. É preciso, mas muito frágil para viagens longas.
O jeito global (Monte Carlo): É como olhar para o mapa inteiro e ver o destino final de uma vez. É ótimo para entender o panorama, mas não garante que você fará a curva certa na próxima esquina.

A maioria dos robôs atuais falha em tarefas longas porque ficam confusos entre olhar apenas para o próximo passo ou tentar ver o destino final de uma vez só.

2. A Solução: O "Mapa de Dobradura" (MQE)

Os autores criaram um método chamado MQE. Pense nele como um novo tipo de GPS que combina o melhor dos dois mundos.

A Analogia do "Ponto de Checagem" (Waypoints)

Imagine que você está dirigindo de São Paulo ao Rio de Janeiro (uma viagem longa).

O método antigo olhava apenas para o próximo posto de gasolina.
O MQE olha para o próximo posto, mas também escolhe aleatoriamente um ponto de parada no meio do caminho (um "waypoint") e pergunta: "Se eu chegar até aquele ponto de parada, quão perto estarei do Rio?".

Ao fazer isso repetidamente, o robô aprende a "costurar" (stitching) pequenos trechos de conhecimento para formar um caminho longo e coerente. Ele não precisa ver o destino final o tempo todo; ele apenas precisa saber que, se chegar ao ponto X, estará no caminho certo para o destino Y.

A Regra do Triângulo (Quasimétrica)

O nome técnico "Quasimétrica" soa assustador, mas é apenas uma regra de lógica simples:

"A distância de A até C nunca pode ser maior do que a distância de A até B mais a distância de B até C."

É como dizer: "Não faz sentido que ir de casa até o trabalho seja mais longo do que ir de casa até o mercado e depois do mercado até o trabalho". O MQE força o cérebro do robô a respeitar essa regra matemática, criando um mapa mental onde as distâncias fazem sentido lógico, evitando que o robô se perca em ilusões.

3. O Grande Teste: O Robô na Cozinha Real

O artigo não ficou apenas na teoria. Eles testaram isso em dois cenários:

Labirintos Gigantes (Simulação): Eles criaram um labirinto 50% maior do que os maiores já testados antes (chamado de "Colossal"). Enquanto outros robôs desistiam ou batiam nas paredes, o robô com MQE conseguiu atravessar o labirinto inteiro, mesmo tendo sido treinado apenas em trechos curtos. Foi como ensinar alguém a andar em uma rua pequena e, de repente, ele conseguir caminhar por uma cidade inteira sem se perder.
O Braço Robótico (Mundo Real): Usando um braço robótico real (o "BridgeData"), eles pediram para o robô fazer tarefas complexas, como:
- Pegar 4 objetos diferentes e colocá-los em uma bandeja (algo que nunca foi mostrado no vídeo de treinamento).
- Abrir uma gaveta e colocar um cogumelo dentro dela.

O resultado? O robô conseguiu "costurar" as ações. Ele aprendeu a abrir a gaveta e, em seguida, a colocar o objeto, mesmo que nenhum vídeo no banco de dados mostrasse as duas coisas acontecendo juntas. Outros métodos falharam miseravelmente nessas tarefas longas.

Resumo da Ópera

O MQE é como dar ao robô uma capacidade de "pensamento de longo prazo" sem precisar de um professor humano para cada passo.

Sem MQE: O robô é como um turista que só sabe virar à direita na próxima esquina e acaba se perdendo.
Com MQE: O robô é como um navegador experiente que sabe que, se chegar naquela praça específica, já estará no caminho certo para o destino, mesmo que a viagem seja longa.

Essa descoberta é um passo gigante para que robôs possam aprender tarefas complexas do mundo real apenas assistindo a vídeos de pessoas fazendo partes pequenas das tarefas, sem precisar de milhões de horas de treinamento direto. É a inteligência artificial aprendendo a "costurar" o conhecimento para criar algo novo e maior.

Resumo Técnico: Multistep Quasimetric Estimation (MQE)

1. O Problema

O aprendizado de como alcançar objetivos em ambientes complexos é um desafio central na IA, especialmente em cenários de longo horizonte (long-horizon). Métodos modernos de Aprendizado por Reforço Condicionado a Objetivos (GCRL) enfrentam dificuldades em duas frentes principais:

Erros de Composição: Em tarefas longas, métodos baseados em Temporal Difference (TD) sofrem com erros de bootstrap que se acumulam, degradando o desempenho à medida que o horizonte aumenta.
Falta de Garantias vs. Desempenho: Métodos de Monte Carlo (MC) que realizam atualizações globais (usando retornos de múltiplos passos) funcionam bem na prática, mas carecem de garantias teópticas de otimalidade e muitas vezes recuperam apenas a função Q do comportamento ( $Q_\beta$ ), e não a ótima ( $Q^*$ ).
Generalização de Horizonte e Composicionalidade: A maioria dos métodos offline falha ao tentar "costurar" (stitching) comportamentos aprendidos em tarefas curtas para resolver tarefas longas e complexas, ou ao generalizar para horizontes muito maiores do que os vistos no treinamento.

2. Metodologia: Multistep Quasimetric Estimation (MQE)

O MQE é um método de GCRL offline que integra a propagação global de valor (via retornos de múltiplos passos) com arquiteturas de quase-métrica para estimar distâncias temporais.

Principais Componentes:

Arquitetura de Quase-Métrica:
- Em vez de aprender diretamente valores Q, o método aprende uma função de distância $d(s, g)$ entre o estado atual e o objetivo.
- Utiliza a arquitetura Metric Residual Network (MRN), que garante que a função aprendida satisfaça as propriedades de quase-métrica (não-negatividade, identidade e desigualdade triangular), permitindo que a distância seja usada como uma métrica de progresso.
- A função Q é definida como $Q_g(s, a) = V_g(g) e^{-d((s,a), g)}$ , onde uma menor distância implica um maior valor Q.
Retornos de Múltiplos Passos (Multistep Returns):
- Diferente de métodos anteriores que usam apenas atualizações de um passo (TD) ou MC puro, o MQE introduz um mecanismo de backup multistep dentro da arquitetura de quase-métrica.
- O método amostra "pontos de passagem" (waypoints, $s_w$ ) ao longo da trajetória futura, utilizando uma distribuição combinada de Bernoulli e Geométrica.
- O objetivo de aprendizado minimiza a diferença entre a distância atual e a distância do ponto de passagem descontada: $e^{-d((s,a),g)} \leftarrow \mathbb{E}[\gamma^{k'} e^{-d(s_w, g)}]$ . Isso permite a propagação rápida de valores através de longas sequências de estados.
Invariância à Ação (Action Invariance):
- Para garantir que a função de valor seja consistente, o método impõe uma restrição de invariância à ação: a distância entre um estado $s$ e o par $(s, a)$ deve ser zero para qualquer ação $a$ .
- Isso é feito através de uma função de perda suave ( $L_I$ ) que evita soluções triviais (como zerar todos os pesos) e estabiliza o treinamento, permitindo extrair uma política robusta mesmo a partir de dados ruidosos.
Extração da Política:
- A política é extraída minimizando a distância aprendida entre o estado atual e o objetivo, regularizada por comportamento (DDPG + BC), sem a necessidade de hierarquias explícitas ou planejadores de alto nível.

3. Contribuições Chave

Primeira Integração de Múltiplos Passos com Quase-Métricas: O MQE é o primeiro método a combinar efetivamente retornos de múltiplos passos (global) com arquiteturas de quase-métrica, superando as limitações de métodos puramente locais (TD) ou puramente globais (MC).
Generalização de Horizonte Superior: O método demonstra uma capacidade excepcional de generalizar para horizontes muito maiores do que os presentes nos dados de treinamento (até 4000 passos), algo que métodos anteriores falhavam em fazer.
Costura (Stitching) em Robótica Real: O MQE é capaz de "costurar" comportamentos aprendidos em tarefas simples para resolver tarefas compostas complexas em robótica do mundo real (domínio BridgeData), sem necessidade de dados rotulados de tarefas compostas.
Estabilidade e Simplicidade: Ao contrário de métodos hierárquicos complexos, o MQE utiliza um único crítico e uma única política, sendo mais simples de implementar e mais estável durante o treinamento.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks simulados (OGBench) e em robótica real (BridgeData).

Benchmarks Simulados (OGBench):
- O MQE superou significativamente o estado da arte (SOTA) em 90 tarefas, incluindo ambientes de navegação (AntMaze) e manipulação.
- Em tarefas de "stitch" (costura) com horizontes até 1000% maiores que os dados de treinamento (ex: labirintos "Colossal" de 4000 passos), o MQE foi o único método a manter taxas de sucesso não nulas, enquanto outros métodos (como HIQL, TMD, GCIQL) falharam quase completamente.
- Em ambientes baseados em pixels (visuais), o MQE também demonstrou robustez, superando métodos concorrentes na maioria das tarefas.
Avaliação em Robótica Real (BridgeData):
- O método foi testado em tarefas de manipulação robótica que exigem composição de múltiplos primitivos (ex: pegar e colocar 4 objetos sequencialmente, abrir uma gaveta e colocar um objeto dentro).
- O MQE alcançou sucesso em tarefas de 4 etapas consecutivas e tarefas com dependências temporais, onde métodos baseados em Behavior Cloning (GCBC) e outros métodos offline (GCIQL, TRA) falharam ou tiveram desempenho drasticamente reduzido à medida que a complexidade aumentava.
- Isso demonstra uma generalização composicional real, permitindo que o robô execute comportamentos longos a partir de um conjunto de dados offline não rotulado.

5. Significado e Impacto

O trabalho do MQE representa um avanço significativo na viabilidade do Aprendizado por Reforço Offline para aplicações do mundo real.

Quebra de Barreiras de Horizonte: Resolve o problema fundamental de como escalar o RL para tarefas que exigem milhares de passos de decisão, algo crítico para robótica autônoma.
Eliminação de Hierarquias Explícitas: Demonstra que a complexidade de tarefas longas pode ser resolvida aprendendo uma métrica temporal robusta, sem a necessidade de projetar manualmente hierarquias de tarefas ou sub-objetivos.
Aplicabilidade Prática: A capacidade de realizar "stitching" em dados reais de robótica sugere que o MQE pode ser usado para treinar agentes gerais (generalists) a partir de grandes conjuntos de dados de demonstração, acelerando o desenvolvimento de robôs autônomos.

Em resumo, o MQE oferece uma solução teórica e prática unificada que combina a estabilidade do aprendizado local com a eficiência da propagação global, estabelecendo um novo padrão de desempenho para GCRL offline em tarefas de longo horizonte e ambientes complexos.