🤖 machine learning

Goal-Conditioned Agents that Learn Everything All at Once

Este artigo apresenta o Aprendizado de Tudo Tudo de Uma Vez (LEO), um método que permite atualizações eficientes, paralelas e off-policy para todos os objetivos no aprendizado por reforço condicionado a objetivos, ao gerar simultaneamente valores e ações para cada objetivo, alcançando assim ganhos significativos de desempenho e aceleramentos massivos em relação às técnicas tradicionais de rerotulagem.

Autores originais: Michael Matthews, Matthew Jackson, Michael Beukman, Thomas Foster, Alistair Letcher, Scott Fujimoto, Cédric Colas, Jakob Foerster

Publicado 2026-05-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Michael Matthews, Matthew Jackson, Michael Beukman, Thomas Foster, Alistair Letcher, Scott Fujimoto, Cédric Colas, Jakob Foerster

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a navegar por um labirinto gigante e em constante mudança. Na maneira antiga de fazer isso (chamada de Aprendizado por Reforço Condicionado a Objetivos), você daria ao robô uma instrução específica, como "Vá para a cozinha". O robô vagaria pelo labirinto, bateria em paredes e, eventualmente, talvez encontrasse a cozinha.

Quando o robô termina, o professor analisa o caminho que ele percorreu. Se o robô recebeu a ordem de ir para a cozinha, mas acidentalmente passou pela biblioteca no caminho, o método antigo diria: "Aquela parte da biblioteca foi um erro; descarte-a. Só nos importamos com a cozinha."

O Problema: Isso é um desperdício de informação! O robô aprendeu muito sobre a biblioteca enquanto tentava encontrar a cozinha. Ao descartar esses dados, o robô precisa reaprender sobre a biblioteca mais tarde, caso você algum dia peça para ele ir até lá.

O "Arranjo" Antigo (Replay de Experiência em Perspectiva):
Anteriormente, pesquisadores tentaram corrigir isso analisando o caminho do robô e dizendo: "Oh, ele acabou na biblioteca! Vamos fingir que queríamos que ele fosse à biblioteca o tempo todo." Isso ajuda um pouco, mas é como tentar reetiquetar um filme inteiro depois de assisti-lo. É lento, e você só pode fazê-lo para alguns finais diferentes por vez.

A Nova Solução: "Aprender Tudo de Uma Vez" (LEO)
Os autores deste artigo propõem uma maneira mais inteligente. Em vez de ensinar ao robô um objetivo por vez, eles constroem um "super-cérebro" que aprende todos os objetivos possíveis simultaneamente.

Pense nisso como um chef cozinhando um banquete massivo.

A Maneira Antiga: O chef prepara um prato (a cozinha), prova-o, joga fora as anotações sobre como picou as cebolas e começa de novo para preparar o próximo prato (a biblioteca).
A Maneira LEO: O chef prepara o banquete inteiro de uma só vez. Ele tem um quadro gigante com 512 receitas diferentes (objetivos) escritas nele. Enquanto pica uma cebola, ele atualiza instantaneamente seu conhecimento para todas as 512 receitas ao mesmo tempo. Ele percebe: "Ei, picar cebolas é útil para a sopa, o ensopado e a salada!"

Como funciona tecnicamente (mas de forma simples):
Normalmente, uma rede de computadores pergunta: "Qual é o melhor movimento para este objetivo específico?"
O LEO altera a rede para que ela pergunte: "Qual é o melhor movimento para cada único objetivo agora?" Ela gera uma lista gigante de respostas para todos os destinos possíveis em uma única passagem. Isso torna o aprendizado incrivelmente rápido (mais de 250 vezes mais rápido que o antigo método de "re-etiquetagem"), porque o robô não precisa repetir a mesma jornada centenas de vezes.

O Obstáculo: O Problema da "Fusão Tardia"
Os autores encontraram uma pequena falha. Como o robô precisa pensar em todos os objetivos ao mesmo tempo, às vezes ele fica confuso. É como um aluno tentando estudar para 500 provas diferentes exatamente no mesmo momento. Ele pode ter uma sensação geral do material, mas pode não ser tão afiado em responder a uma pergunta específica quanto um aluno que estudou apenas para aquela prova.

No artigo, isso significou que o LEO era excelente para resolver objetivos difíceis e complexos, mas às vezes piorava em objetivos simples, porque estava "diluindo" seu foco.

O Arranjo Definitivo: "Dual LEO" (O Sistema Professor-Aluno)
Para resolver isso, os autores criaram uma parceria:

O Professor (LEO): Esta rede é a "esponja de dados". Ela aprende tudo sobre tudo, mesmo que seja um pouco bagunçado. Ela fornece um mapa aproximado do mundo.
O Aluno (Rede Padrão): Esta rede é a especialista. Ela foca apenas no objetivo específico que você está pedindo para ela realizar no momento.

O Professor diz ao Aluno: "Ei, eu sei a direção geral para a biblioteca, mesmo que não seja perfeito. Aqui está uma dica." O Aluno pega essa dica e a refina para se tornar um especialista em chegar à biblioteca.

Os Resultados
A equipe testou isso em um jogo de vídeo complexo chamado Craftax (um pouco como Minecraft) e em algumas tarefas de movimento de robôs.

Na versão grande e difícil do jogo com 512 objetivos diferentes, o novo método Dual LEO foi o claro vencedor, superando todos os outros métodos.
Aprendeu muito mais rápido e conseguiu lidar com uma enorme variedade de tarefas que outros métodos desistiram.
Eles também mostraram que isso funciona para movimentos contínuos (como um braço robótico movendo-se suavemente), não apenas para etapas de jogos de vídeo.

Em Resumo
Este artigo apresenta um método onde uma IA aprende a resolver todos os problemas possíveis ao mesmo tempo, em vez de um por um. Quando se torna muito amplo e perde o foco, eles o emparelham com uma rede especialista "aluno" que usa o conhecimento amplo como guia. Isso permite que robôs e IAs de jogos aprendam quantidades massivas de informação muito mais rápido e de forma mais eficiente do que antes.

Resumo Técnico: Aprender Tudo de Uma Vez (LEO)

Declaração do Problema

O Aprendizado por Reforço Condicionado a Objetivos (GCRL) visa treinar agentes que possam executar uma variedade diversificada de tarefas sob comando. Um desafio fundamental no GCRL é a eficiência de dados. Quando um agente explora um ambiente para alcançar um objetivo específico comandado, a trajetória resultante contém informações ricas relevantes para muitos outros objetivos potenciais. Atualizações on-policy padrão ou métodos que apenas reetiquetam trajetórias com um único objetivo alternativo (por exemplo, Replay de Experiência em Perspectiva, HER) descartam a vasta maioria dessas informações.

Embora o aprendizado "todos-os-objetivos" — atualizar a função de valor em relação a todos os objetivos possíveis para cada transição — ofereça um caminho teórico para a extração máxima de informações, historicamente tem sido computacionalmente inviável. A reetiquetagem ingênua de objetivos escala linearmente com o número de objetivos, tornando-a impraticável para conjuntos de objetivos grandes ou contínuos. Além disso, abordagens existentes frequentemente lutam para equilibrar o custo computacional de atualizar contra todos os objetivos com a capacidade representacional necessária para aprender políticas de alta fidelidade para comandos específicos.

Metodologia

O artigo propõe Aprender Tudo de Uma Vez (LEO), um método projetado para realizar atualizações paralelas eficientes de todos-os-objetivos em conjuntos de objetivos discretos arbitrários.

1. A Arquitetura LEO

Em vez de condicionar a rede de valor a um objetivo específico (como em Aproximadores de Função de Valor Universal, UVFA), o LO reparametriza a rede para produzir valores para todos os objetivos simultaneamente.

Currying: A função Q é transformada de $Q(s, g) \to \mathbb{R}^A$ para $Q(s) \to \mathbb{R}^{G \times A}$ , onde $G$ é o conjunto de objetivos e $A$ é o conjunto de ações.
Atualizações Eficientes: Isso permite que o agente realize uma única passagem forward para gerar valores Q para todos os objetivos e uma única passagem backward para atualizar a rede usando os vetores de recompensa para todos os objetivos. Isso elimina o custo de escala linear da reetiquetagem ingênua.
Inferência: Durante a execução, o agente simplesmente indexa o vetor de saída correspondente ao objetivo comandado.

2. A Limitação de Fusão Tardia e Dual LEO

Os autores identificam um compromisso crítico na arquitetura LEO. Embora o LEO se destaque em absorver informações de todos os objetivos, ele sofre de fusão tardia. Como a rede deve produzir saídas para todos os objetivos antes que o objetivo comandado específico seja selecionado, isso cria um gargalo de informação. A rede é forçada a aprender uma representação adequada para todos os objetivos simultaneamente, o que pode degradar o desempenho em objetivos específicos, particularmente naqueles mais fáceis, onde uma representação focada (fusão precoce) é superior.

Para abordar isso, o artigo introduz o Dual LEO, que combina as forças do LEO e das redes condicionadas a objetivos padrão no estilo UVFA:

Dinâmica Professor-Aluno: Uma rede LEO (o professor) e uma rede UVFA (o aluno) são treinadas independentemente no mesmo fluxo de dados.
Transferência de Informação: A rede LEO atua como uma "esponja de dados", internalizando informações máximas e fornecendo orientação grosseira e direcional para objetivos que a rede UVFA ainda não viu ou resolveu.
Variantes de Implementação:
- Dual LEO (PQN): O valor Q final é uma combinação linear das estimativas LEO e UVFA ( $\alpha Q_{LEO} + (1-\alpha) Q_{UVFA}$ ).
- Dual LEO (PPO): A rede LEO fornece termos de perda adicionais para guiar o ator e o crítico do PPO em direção às estimativas de política e valor do LEO, particularmente para objetivos onde a rede UVFA carece de sinais positivos.

3. Extensão para Controle Contínuo

Os autores estendem o LEO para ambientes de controle contínuo (por exemplo, Ant Maze) discretizando o espaço de objetivos contínuo em uma grade. Objetivos contínuos são ajustados ao ponto da grade quantizada mais próximo, permitindo que o mecanismo de atualização de todos-os-objetivos funcione. A rede de política é similarmente adaptada para produzir ações para todas as cabeças de objetivos discretos.

Principais Contribuições

Método LEO: Uma abordagem inovadora que permite atualizações eficientes de todos-os-objetivos em conjuntos de objetivos discretos arbitrários, produzindo valores para todos os objetivos em uma única passagem de rede, alcançando uma aceleração de >250× sobre a reetiquetagem de todos-os-objetivos ingênua.
Benchmark CraftaxGC: A introdução de um benchmark desafiador, gerado proceduralmente e parcialmente observável de GCRL baseado no Craftax, apresentando um grande conjunto heterogêneo de objetivos semânticos (por exemplo, contagens de inventário, adjacências específicas de blocos, níveis de masmorra) que não podem ser resolvidos por mapeamento simples de estado-alvo.
Dual LEO: Uma arquitetura híbrida que mitiga o gargalo de fusão tardia do LEO puro usando o LEO como professor para inicializar uma rede estudante condicionada a objetivos padrão, alcançando desempenho state-of-the-art.
Versatilidade: Demonstração de que o conceito LEO se estende além de ambientes discretos para tarefas de controle contínuo, mantendo competitividade com baselines existentes.

Resultados Experimentais

Os autores avaliam seus métodos no CraftaxGC (com 136 e 512 objetivos) e no JaxGCRL (tarefas Ant Maze).

CraftaxGC (Conjunto Grande de Objetivos): No benchmark completo do Craftax (512 objetivos), métodos UVFA padrão (PPO, PQN) e PQN+HER performam mal devido a recompensas esparsas e à incapacidade de aproveitar dados off-policy efetivamente. O LEO supera significativamente essas baselines. Dual LEO (PPO) alcança o melhor desempenho final, superando massivamente todos os outros métodos.
CraftaxGC (Conjunto Pequeno de Objetivos): No Craftax-Classic menor (136 objetivos), o PPO simples performa relativamente bem. O LEO supera sua base PQN, mas é ligeiramente mais fraco que PQN+HER. No entanto, as variantes Dual LEO consistentemente superam suas partes constituintes, demonstrando a robustez da abordagem professor-aluno.
Desempenho Específico por Objetivo: A análise revela que, enquanto o LEO se destaca em objetivos difíceis (onde fornece o único sinal positivo), ele pode ter desempenho inferior em objetivos fáceis comparado ao UVFA devido ao gargalo de fusão tardia. O Dual LEO resolve isso, mantendo alto desempenho em objetivos difíceis sem sacrificar o desempenho em objetivos fáceis.
Controle Contínuo: Em tarefas Ant Maze, o SAC+LEO supera as baselines em labirintos menores. Em labirintos maiores, o desempenho é comparável ao SAC+HER e ao RL Contrastivo (CRL).
Velocidade: O LEO alcança uma desaceleração de 34% comparado ao aprendizado de objetivo único, mas é 264× mais rápido que a reetiquetagem de todos-os-objetivos ingênua.

Significado e Alegações

O artigo alega que o LEO desbloqueia o potencial do aprendizado de todos-os-objetivos em escala, fornecendo uma ferramenta prática para praticantes de RL em ambientes complexos. Os autores postulam que o compromisso central no GCRL reside entre:

Abordagens no estilo UVFA: Que generalizam bem via fusão precoce, mas podem lutar para ingerir grandes quantidades de dados off-policy eficientemente.
Abordagens no estilo LEO: Que ingerem informações máximas eficientemente, mas lutam com representação de alta fidelidade devido à fusão tardia.

O Dual LEO é apresentado como uma solução que preenche essa lacuna, permitindo que agentes internalizem informações grosseiras de todos os objetivos enquanto refinam políticas específicas através de uma rede dedicada condicionada a objetivos. Os autores enfatizam que, ao desbloquear o aprendizado eficiente de todos-os-objetivos, o LEO permite que os agentes reencenhem experiências prévias no contexto de novos objetivos, efetivamente multiplicando a informação extraída de cada trajetória. O trabalho é de código aberto para facilitar pesquisas adicionais em domínios complexos e condicionados a objetivos.