🤖 machine learning

Inverting the Bellman Equation: From $Q$ -Values to World Models

Este artigo desafia a separação tradicional entre o aprendizado por reforço baseado em modelo e o baseado em modelo ao provar que agentes baseados em valor treinados em diversas funções de recompensa codificam implicitamente um modelo de mundo único, o qual pode ser explicitamente extraído via um novo método chamado $P$ -learning para alcançar uma forte generalização em tarefas fora da distribuição.

Autores originais: Alistair Letcher, Mattie Fellows, Alexander D. Goldie, Jonathan Richens, Jakob N. Foerster, Oliver Richardson

Publicado 2026-06-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Alistair Letcher, Mattie Fellows, Alexander D. Goldie, Jonathan Richens, Jakob N. Foerster, Oliver Richardson

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a navegar em um labirinto. Tradicionalmente, existem duas maneiras de fazer isso:

O Criador de Mapas (Baseado em Modelo): Você dá ao robô um papel em branco e pede que ele desenhe um mapa do labirinto, aprendendo exatamente onde estão as paredes e para onde as portas levam.
O Aprendiz de Memória Muscular (Sem Modelo): Você não pede um mapa. Você apenas diz ao robô: "Se você for para a esquerda aqui, você ganha um biscoito. Se for para a direita, você leva um choque". O robô aprende uma lista de "bons movimentos" para situações específicas, mas não entende necessariamente por que esses movimentos funcionam ou como o labirinto é construído.

Por muito tempo, os cientistas pensaram que essas duas abordagens eram completamente separadas. Eles acreditavam que o "Aprendiz de Memória Muscular" apenas sabia o que fazer para obter uma recompensa, mas não conhecia de fato as regras do mundo em que vivia.

A Grande Descoberta
Este artigo diz: Na verdade, o Aprendiz de Memória Muscular conhece o mapa. Ele apenas o está escondendo.

Os autores descobriram que, se você treinar um robô em uma grande variedade de objetivos diferentes (não apenas "chegar à saída", mas "chegar ao ponto vermelho", "chegar ao ponto azul", "chegar ao canto", etc.), o cérebro interno do robô (seus "valores Q") codifica secretamente um mapa perfeito e preciso de todo o mundo. Ele sabe exatamente para onde cada ação o levará, mesmo que nunca lhe tenham sido pedidas explicitamente para desenhar um mapa.

O Truque de Mágica: "P-Learning"
O artigo introduz um novo método chamado P-Learning (que significa "Aprendizado de Probabilidade" ou "Aprendizado de Modelo de Mundo"). Pense nisso como uma ferramenta de engenharia reversa.

Aprendizado Padrão (Q-Learning): Você tem um mapa (o mundo) e tenta descobrir os melhores movimentos (os valores Q).
P-Learning: Você tem os melhores movimentos (os valores Q) e tenta descobrir o mapa (o mundo).

Os autores mostram que você pode pegar um robô que já aprendeu a resolver muitas tarefas diferentes, olhar para sua lista interna de "valores para fazer" e matematicamente "inverter" as equações para extrair o mapa oculto que ele estava usando o tempo todo. É como olhar para a refeição perfeitamente cozida de um chef e ser capaz de deduzir a receita exata e os ingredientes que ele usou, mesmo que ele nunca tenha escrito a receita.

O Mistério do "Um Objetivo" vs. "Muitos Objetivos"
O artigo também responde a uma pergunta intrigante: Quantos objetivos diferentes o robô precisa ver para aprender o mapa completo?

Em um mundo simples e previsível (Determinístico): O robô só precisa ver um objetivo para entender todo o mapa. É como aprender um quebra-cabeça onde cada peça se encaixa em apenas um lugar; uma vez que você vê a imagem, você sabe onde tudo vai.
Em um mundo caótico e imprevisível (Estocástico): O robô precisa ver muitos objetivos diferentes (aproximadamente tantos quanto existam salas no labirinto) para ter certeza do mapa. É como tentar aprender as regras de um jogo onde dados são lançados; você precisa ver muitos resultados diferentes para entender as probabilidades.

A Surpresa: Superpoderes Escondidos
A parte mais surpreendente dos experimentos é o que acontece quando você usa esse "mapa extraído" para resolver novos problemas que o robô nunca viu antes.

Em um experimento, eles treinaram um braço robótico apenas para alcançar posições específicas (como "tocar o ponto vermelho"). Eles então usaram o P-Learning para extrair o mapa oculto do robô. Quando pediram ao robô para usar esse mapa para alcançar uma velocidade específica (um objetivo para o qual ele nunca foi treinado), ele teve sucesso!

Isso sugere que o robô havia aprendido a física subjacente do braço (como as articulações se movem para criar velocidade), embora tenha sido instruído apenas a se importar com a posição. É como se você tivesse ensinado uma pessoa a dirigir apenas dizendo "mantenha-se na faixa", e então ela pudesse subitamente dirigir perfeitamente em uma pista de corrida porque secretamente entendeu como o motor e a direção de um carro funcionam.

Em Resumo

Ideia Antiga: Agentes sem modelo (aqueles que apenas aprendem recompensas) não conhecem o mundo; eles apenas sabem o que fazer.
Nova Ideia: Se você treiná-los em muitos objetivos diferentes, eles constroem secretamente um modelo perfeito do mundo dentro de suas cabeças.
A Ferramenta: O P-Learning é uma forma de "ler" esse modelo oculto de um agente.
O Resultado: Esse modelo oculto é tão preciso que permite ao agente resolver problemas novos e estranhos para os quais ele nunca foi treinado, provando que o aprendizado "sem modelo" e o "baseado em modelo" são, na verdade, dois lados da mesma moeda.

Resumo Técnico: Invertendo a Equação de Bellman: De Valores-Q para Modelos de Mundo

Declaração do Problema

O aprendizado por reforço (RL) é tradicionalmente dividido nos paradigmas sem modelo (model-free) e com modelo (model-based). Agentes sem modelo estimam funções de valor ( $Q$ ) vinculadas a políticas e funções de recompensa específicas, contornando o aprendizado explícito da dinâmica do ambiente (o núcleo de transição $P$ ). Um obstáculo teórico fundamental neste domínio é o problema da equivalência de valor: modelos de mundo distintos podem gerar funções de valor e políticas ótimas idênticas, implicando que agentes sem modelo não codificam unicamente o ambiente em que habitam.

Embora os agentes sejam cada vez mais treinados em diversos objetivos via RL Condicionado a Objetivos (GCRL), permanece incerto se a coleção de funções de valor aprendidas através desses objetivos codifica implicitamente um modelo de mundo único e preciso. Este artigo aborda a questão central: Quando é que agentes sem modelo codificam implicitamente um modelo preciso de seu ambiente?

Metodologia: P-learning

Os autores introduzem o P-learning, um análogo inverso ao Q-learning projetado para extrair um modelo de mundo implícito de um agente treinado.

Conceito: Enquanto o Q-learning atualiza iterativamente uma função de valor $Q$ para satisfazer a equação de Bellman $T^\star(Q) = Q$ para um $P$ fixo, o P-learning trata a função de valor $Q$ (e a política $\pi$ e recompensa $r$ associadas) como fixas. Ele então atualiza um candidato a modelo de mundo $P_\phi$ para minimizar o resíduo de Bellman:
$L(\phi) = \| T^\pi_\phi(Q) - Q \|_d^2$
onde $T^\pi_\phi$ é o operador de Bellman parametrizado pelo modelo de mundo $P_\phi$ .
Mecanismo: O P-learning amostra valores- $Q$ , políticas e recompensas do agente para decodificar o modelo interno. No cenário tabular, os autores provam que o P-learning converge para uma solução envolvendo a pseudo-inversa de Moore-Penrose de uma matriz $M$ derivada das recompensas e funções de valor. Especificamente, se $M$ tiver posto total, o modelo extraído é único e dado por $P_\infty = M^+ Q$ .
Diferenciabilidade: Para configurações contínuas ou determinísticas, o método utiliza otimização baseada em gradiente (ou truques de reparametrização) para atualizar os parâmetros do modelo de mundo, efetivamente "invertendo" a equação de Bellman.

Principais Contribuições Teóricas

O artigo estabelece condições suficientes sob as quais o núcleo de transição $P$ é unicamente identificável a partir de um conjunto de valores- $Q$ condicionados a objetivos $(Q_g, \pi_g, r_g)_{g \in G}$ , rompendo assim a equivalência de valor.

MDPs Finitos:
- Determinísticos: Um único objetivo genérico é suficiente para identificar unicamente $P$ (Teorema 2). A unicidade mantém-se para quase todas as funções de recompensa, desde que a matriz $M$ resultante seja colunamente injetiva.
- Estocásticos: Os objetivos devem abrangir o espaço de estados (ou seja, o posto da matriz de recompensa deve ser igual ao número de estados) para garantir que $P$ seja unicamente identificável (Teorema 3). Isso ocorre para funções de recompensa ou políticas genéricas.
- Aproximação: Os autores fornecem limites de erro estreitos mostrando que, se os valores- $Q$ forem $\epsilon$ -aproximados, o erro do modelo extraído escala linearmente com $\epsilon$ .
MDPs Contínuos:
- Determinísticos: Um número finito de objetivos pode ser suficiente sob condições específicas (ex: recompensas Gaussianas com terminação). Para recompensas de indicador, é necessário um conjunto de objetivos que cubra o espaço de estados com um raio específico (Teorema 4).
- Estocásticos: A identificabilidade é impulsionada pela cobertura do conjunto de objetivos, em vez da contagem. Para recompensas Gaussianas, um conjunto de objetivos com um interior não vazio é suficiente; para recompensas de indicador, o conjunto deve cobrir o espaço de estados expandido pelo raio da recompensa (Teoremas 6 e 7).
MDPs Locais: O artigo estende os resultados para $N$ -MDPs locais (onde as transições são restritas a uma vizinhança), mostrando que menos objetivos são necessários se o suporte do núcleo de transição for conhecido.

Resultados Empíricos

Os autores validam sua teoria e método em vários ambientes, demonstrando que o P-learning pode extrair modelos de mundo altamente precisos mesmo quando as garantias teóricas (ex: objetivos infinitos) não são atendidas.

FourRooms (MDPs Finitos):
- Determinístico: Recuperação exata de $P$ com $|G|=1$ .
- Windy (Local Estocástico): Recuperação quase perfeita com $|G|=4$ .
- Teleporting (Totalmente Estocástico): Planejamento quase ótimo com $|G|=20$ , significativamente menor que o limite teórico de pior caso de $|S|=68$ .
Reacher (Contínuo, Determinístico):
- Treinado em apenas $|G|=4$ objetivos baseados em posição, o modelo de mundo extraído alcançou alta fidelidade (NMSE $1.2 \times 10^{-4}$ ) apesar de valores- $Q$ imperfeitos.
- Generalização Zero-Shot: Políticas treinadas exclusivamente dentro do modelo de mundo implícito extraído alcançaram desempenho próximo ao ótimo em objetivos fora da distribuição (ex: alcançar velocidades angulares ou configurações de juntas específicas) que nunca foram vistos durante o treinamento. Isso sugere que o agente codificou a dinâmica para variáveis (velocidade, ângulos) para as quais nunca foi explicitamente recompensado.
MountainCar (Contínuo, Determinístico):
- Agentes treinados em objetivos baseados em posição e agentes treinados em objetivos baseados em velocidade convergiram para modelos de mundo implícitos quase idênticos.
- O planejamento dentro desses modelos permitiu a transferência bem-sucedida zero-shot para tarefas envolvendo a variável não treinada (ex: um agente treinado em posição resolvendo um objetivo baseado em velocidade).

Significância e Alegações

O artigo argumenta que o RL Condicionado a Objetivos atua como um método híbrido implícito, preenchendo a lacuna entre o aprendizado sem modelo e com modelo.

Modelos de Mundo Implícitos: Agentes sem modelo treinados em um conjunto suficientemente rico de objetivos codificam implicitamente um modelo de mundo único e preciso, mesmo em ambientes estocásticos e contínuos.
Generalização Oculta: Esses modelos implícitos contêm "capacidades de generalização ocultas", permitindo que os agentes resolvam tarefas definidas em variáveis ortogonais às suas recompensas de treinamento (ex: aprender dinâmicas de velocidade a partir de recompensas de posição).
Correlação de Desempenho: Existe uma forte correlação ( $\rho = 0.98$ ) entre o desempenho de um agente e a precisão de seu modelo de mundo internalizado, sugerindo que agentes de GCRL de alto desempenho desenvolvem naturalmente melhores representações de mundo.
Utilidade do P-Learning: O algoritmo P-learning proposto fornece uma ferramenta prática para extrair esses modelos internos, permitindo o reaproveitamento de agentes sem modelo para novas tarefas sem interação adicional com o ambiente.

Os autores concluem que, embora o P-learning não seja um substituto para o RL explícito com modelo, ele revela uma conexão fundamental: o treinamento diversificado e rico em recompensas permite que os agentes sem modelo "aprendam tudo" sobre a dinâmica do ambiente, codificando efetivamente um modelo de mundo dentro de suas funções de valor.