🤖 machine learning

Distributional Active Inference

Este artigo apresenta uma abstração formal que integra a inferência ativa ao framework de aprendizagem por reforço distributiva, permitindo o controle ótimo com eficiência de amostragem para sistemas robóticos sem exigir a modelagem explícita da dinâmica de transição.

Autores originais: Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

Publicado 2026-08-06

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a navegar em um mundo caótico e imprevisível. Para fazer isso bem, o robô precisa de dois superpoderes: ele deve ser capaz de organizar uma inundação de dados sensoriais (como o que vê e ouve) em algo útil, e deve ser capaz de planejar para um futuro distante para fazer movimentos inteligentes. Por décadas, o campo do Aprendizado por Reforço (RL - Reinforcement Learning) tem sido o método padrão para ensinar máquinas a planejar. Pense no RL como um aluno que aprende por tentativa e erro, tentando maximizar uma pontuação ao adivinhar quais ações levam às melhores recompensas. No entanto, esse aluno é frequentemente ineficiente; ele precisa tentar as coisas milhões de vezes para aprender e tem dificuldade quando o mundo é complexo demais para ser simulado perfeitamente em sua mente.

Apresentamos a Inferência Ativa, uma teoria inspirada em como os cérebros biológicos funcionam. Em vez de apenas adivinhar, o céreio é visto como uma máquina de predição que tenta constantemente minimizar a surpresa do que experimenta. Ele planeja imaginando diferentes futuros e escolhendo aquele que parece mais "certo" ou menos surpreendente. Embora isso pareça poderoso, a Inferência Ativa tradicional ficou estagnada em um canto: ela geralmente exige que o robô construa um mapa perfeito e detalhado de como o mundo funciona (um "modelo de mundo") antes de poder planejar. Construir esses mapas é computacionalmente caro e, muitas vezes, impossível para tarefas complexas. A grande questão que os cientistas têm feito é: Podemos obter os benefícios inteligentes de planejamento da Inferência Ativa sem o pesado fardo de construir um mapa perfeito do mundo?

Este artigo introduz um novo método chamado Inferência Ativa Distribucional (DAIF - Distributional Active Inference) que responde "sim". Os pesquisadores propõem um atalho inteligente. Em vez de tentar prever exatamente o que acontecerá a seguir (como uma temperatura ou posição específica), o DAIF foca em prever o intervalo completo de futuros possíveis e suas probabilidades de uma só vez. Eles chamam isso de aprendizado "distribucional". Imagine que, em vez de adivinhar se choverá amanhã, você aprende a previsão do tempo completa: 20% de chance de garoa, 50% de chance de sol e 30% de chance de uma tempestade. Ao aprender esse quadro completo de possibilidades, o robô pode planejar de forma eficaz sem precisar saber as leis exatas da física que regem a chuva.

O artigo sugere que, ao combinar a abordagem de "quadro completo" do aprendizado distribucional com a lógica de "minimização de surpresa" da Inferência Ativa, os robôs podem aprender de forma muito mais rápida e eficiente. Os autores testaram essa ideia em simulações de computador. Em jogos simples de mundo em grade (grid-world), eles descobriram que seu novo método, o DAIF, conseguia resolver problemas que outros métodos não conseguiam resolver, especialmente quando os problemas ficavam mais difíceis e exigiam olhar mais adiante. Em simulações mais complexas e semelhantes ao mundo real, envolvendo robôs moles e controle baseado em vídeo, o DAIF superou consistentemente os melhores métodos atuais, aprendendo a controlar esses sistemas com menos tentativas. Os resultados sugerem que essa abordagem permite que agentes lidem com ambientes complexos com poder computacional limitado, de forma muito semelhante ao cérebro humano, organizando a informação de maneira eficiente em vez de forçar brutalmente uma simulação perfeita da realidade.

Resumo Técnico: Inferência Ativa Distribucional

Declaração do Problema

O controle ótimo em ambientes robóticos complexos enfrenta dois desafios interligados: a organização eficiente da informação do estado sensorial e o planejamento de ações de longo prazo. Embora o Aprendizado por Reforço (RL) aborde o planejamento, ele frequentemente sofre de ineficiência de amostragem porque foca tipicamente apenas neste último aspecto. A Inferência Ativa (AIF), uma teoria de processo que explica a inteligência biológica, aborda ambos ao minimizar a Energia Livre Esperada (EFE) através de um ciclo ação-percepção. No entanto, as aplicações atuais de AIF em inteligência artificial estão amplamente restritas a abordagens baseadas em modelos que exigem o aprendizado de dinâmicas de transição explícitas, o que é computacionalmente caro e muitas vezes inviável para simulações de alta fidelidade (forward simulation).

O problema central que este artigo aborda é como integrar as vantagens de desempenho da Inferência Ativa em um framework que não exija o aprendizado de um modelo de transição explícito, tornando a AIF acessível a configurações model-free e distribucionais.

Metodologia

Os autores propõem um framework teórico e algorítmico de três etapas para unir a Inferência Ativa ao RL Distribucional:

1. Formulação Rigorosa de Inferência Ativa

Os autores re-derivam o objetivo da AIF a partir de princípios fundamentais de inferência Bayesiana e causal. Ao aplicar o do-calculus à configuração padrão de inferência variacional, eles demonstram que o objetivo padrão da AIF admite uma forma equivalente mais simples.

Eles mostram que intervir no estado observável $X$ com uma distribuição desejada $P_R(X)$ (atuando como a recompensa) desconecta o observável das variáveis latentes $(Y, S)$ sob a regra do produto.
Isso leva a um ELBO (Evidence Lower Bound) simplificado onde o objetivo consiste em um termo de reconstrução, um termo de entropia de política e um termo que maximiza a log-probabilidade da distribuição de estado desejada sob a trajetória prevista.
Crucialmente, esta formulação revela que a AIF pode ser vista como uma forma de codificação preditiva onde o agente otimiza um modelo de mundo para se ajustar a resultados desejados, sem necessariamente exigir uma inferência complexa de latentes posteriores para cada passo.

2. RL de Push-Forward (Empurramento à Frente)

Para integrar a AIF sem modelagem de transição explícita, os autores introduzem o Push-Forward Reinforcement Learning, um framework teórico que generaliza o RL Distribucional.

Medidas de Trajetória: Eles definem a distribuição de retorno não apenas como uma expectativa, mas como um "push-forward" da medida de trajetória induzida por uma política através de um funcional de retorno.
Abstração de Estado: Eles formalizam a relação entre abstrações de estado (espaços latentes) e RL distribucional. Ao definir um encoder $S$ e um decoder $P_D$ , mostram que realizar RL distribucional em um espaço latente é equivalente a aplicar um operador de kernel composto.
Módulo de Contração: Um resultado teórico chave (Teorema 3.5) estabelece que o módulo de contração do operador de Bellman distribucional em um espaço latente é escalonado pelo produto das constantes de Lipschitz do encoder ( $L_E$ ) e do decoder ( $L_D$ ). Se o espaço latente fornecer compressão eficiente (pequeno $L_E$ ) e capturar estrutura relevante para a recompensa (pequeno $L_D$ ), a convergência dos backups de Bellman é acelerada.
Template Algorítmico: Eles propõem a Iteração de Política de Push-Forward (PPI), que minimiza o resíduo de Bellman no espaço de medidas de codificação em vez de estados brutos, efetivamente unificando as visões baseada em modelo (model-based) e livre de modelo (model-free).

3. Inferência Ativa Distribucional (DAIF)

Os autores instanciam a teoria acima em um algoritmo prático chamado Inferência Ativa Distribucional (DAIF).

Mecanismo: O DAIF aprende uma distribuição paramétrica amortizada estado-ação (um encoder) que mapeia observações para um espaço latente. Em seguida, realiza o ajuste de quantis por diferença temporal (temporal-difference quantile matching) neste espaço latente.
Detalhes de Implementação:
- O problema de regressão de quantis é formulado como Estimativa de Máxima Verossimilhança (MLE) de uma Distribuição de Laplace Assimétrica (ALD).
- A incerteza em torno das estimativas de quantis é modelada usando uma prior Gamma Inversa no parâmetro de escala ( $\sigma_\tau$ ). Esta variância posterior atua como uma incerteza epistêmica implícita, induzindo exploração semelhante ao Thompson sampling sem bônus de exploração explícitos.
- O algoritmo utiliza uma arquitetura actor-critic profunda com twin critics, min-clipping para alvos de Bellman e atualizações atrasadas do ator (semelhante ao TD3), mas substitui os alvos de valor padrão pelas distribuições de retorno derivadas do objetivo da AIF.
Distinção Chave: Ao contrário da AIF tradicional, o DAIF não aprende um modelo de transição forward ( $P(X'|X, A)$ ). Em vez disso, ele aprende a distribuição de retorno diretamente de transições amostradas no espaço latente, herdando os benefícios de abstração de estado da AIF enquanto evita o custo de modelagem da dinâmica de transição.

Contribuições Principais

Unificação Teórica: O artigo fornece uma abstração formal abrangendo RL baseado em modelo, distribucional e livre de modelo, demonstrando como a AIF pode ser integrada perfeitamente ao framework distribucional.
Objetivo de AIF Simplificado: Usando do-calculus, os autores derivam um objetivo de AIF simplificado que elimina a necessidade de inferência complexa de latentes posteriores na formulação padrão, alinhando-o mais estreitamente com a maquinaria de inferência variacional usada no RL moderno.
Framework de Push-Forward: A introdução do "Push-Forward RL" fornece um elo matemático rigoroso entre abstrações de estado e operadores de Bellman distribucionais, mostrando como a compressão do espaço latente afeta as taxas de convergência.
Algoritmo DAIF: A proposta do DAIF, um algoritmo prático que alcança ganhos de desempenho semelhantes aos da AIF (planejamento eficiente via abstração de estado) sem o overhead computacional de aprender modelos de transição explícitos.

Resultados Experimentais

Os autores avaliam o DAIF em tarefas tabulares e de controle contínuo:

Experimentos Tabulares (Latent RiverSwim): Em um mundo de grade onde a dinâmica relevante para a recompensa reside em um manifold latente 1D, o DAIF supera significativamente os baselines baseados em modelo (PSRL-PI) e distribucionais (IQQL) conforme o horizonte de planejamento aumenta. Quando a abstração de estado não oferece vantagem (RiverSwim comum), o DAção DAIF apresenta desempenho comparável ao RL distribucional.
Controle Contínuo: O DAIF foi testado em três suítes de benchmarks:
- EvoGym: Locomoção e manipulação de robôs moles.
- DeepMind Control Suite (DMC): Controle contínuo com morfologia variável.
- DMC Vision: Controle a partir de observações de pixels brutos.
Desempenho: O DAIF alcançou consistentemente o estado da arte em todas as suítes, particularmente em ambientes com dinâmicas complexas ou espaços de estado de alta dimensão (ex: "Catcher-v0", "Dog Run", "Quadruped Run").
Eficiência: Embora o DAIF exija aproximadamente 12% mais tempo de execução (wall-clock time) do que os actor-critics distribucionais padrão, esse overhead é menor do que o de outros métodos baseados em modelo ou pesados em exploração, como DSAC (26%) e DRND (37%).

Significância e Alegações

O artigo afirma que a Inferência Ativa é particularmente poderosa quando o agente possui capacidades computacionais limitadas, espelhando as condições dos cérebros biológicos. Ao tratar a AIF como uma extensão simples do RL distribucional, os autores argumentam que os ganhos de desempenho da AIF (organização eficiente da informação sensorial para planejamento) podem ser realizados sem o custo proibitivo de aprender modelos forward explícitos.

O trabalho sugere que o "problema duplo" da organização sensorial e do planejamento é melhor resolvido aprendendo uma representação latente onde a distribuição de retorno é comprimida e estruturada, em vez de modelar toda a dinâmica de transição do ambiente. Os autores posicionam o DAIF não como um substituto para todo o RL, mas como um método robusto para controlar ambientes desafiadores onde a eficiência de amostragem e as restrições computacionais são críticas. Eles reconhecem limitações, observando que o DAIF não separa explicitamente os termos de valor epistêmico e instrumental (confiando na incerteza implícita) e que o tamanho do gargalo latente é atualmente dependente da arquitetura, em vez de ser aprendido adaptativamente.