🤖 AI

World models of environment, agent and joint agent-environment systems

Este artigo propõe um framework utilizando mecânica computacional para distinguir e definir modelos preditivos canônicos para o ambiente, o agente e sua interação conjunta, demonstrando como o acoplamento de malha fechada e a restrição de suporte podem alterar fundamentalmente a estrutura e a complexidade desses modelos de mundo.

Autores originais: Manuel Baltieri, Filippo Torresan, Yivan Zhang, Alexander Boyd, Fernando E. Rosas

Publicado 2026-08-24

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Manuel Baltieri, Filippo Torresan, Yivan Zhang, Alexander Boyd, Fernando E. Rosas

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na era moderna da inteligência artificial, um desafio central é ensinar as máquinas a compreender o mundo ao seu redor. Para tomar decisões, um agente inteligente — seja um robô, um programa de software ou um cérebro digital — precisa de um "modelo de mundo". Este não é um globo físico, mas um mapa interno ou um conjunto de regras que permite ao sistema prever o que acontecerá a seguir. Se um robô sabe que pressionar um botão geralmente abre uma porta, ele possui um modelo simples dessa interação. Durante décadas, pesquisadores focaram em como esses modelos preveem o futuro com base no que o agente faz. Eles perguntam: "Se eu realizar esta ação, o que verei?". Essa abordagem tem sido incrivelmente bem-sucedida, permitindo que máquinas aprendam tarefas complexas ao simular resultados antes de agir. No entanto, essa visão tradicional assume que o modelo é construído unicamente para entender o ambiente como um palco passivo esperando pelos movimentos do agente. Ela trata o próprio comportamento do agente como um dado fixo, em vez de uma parte dinâmica da história.

Uma equipe de pesquisadores propôs agora uma forma mais matizada de olhar para esses modelos. Eles argumentam que, para entender verdadeiramente como uma inteligência artificial pensa, devemos distinguir não apenas o que ela prevê, mas qual canal de informação ela está modelando. Em qualquer interação entre um agente e seus arredores, existem três maneiras distintas de visualizar o fluxo de causa e efeito. Primeiro, há a visão do ambiente, que prevê o que será visto dada uma ação específica. Segundo, há a visão do próprio agente, que prevê qual ação ele tomará a seguir dado o que vê. Terceiro, há a visão de todo o sistema trabalhando em conjunto, prevendo a sequência real de ações e observações que se desenrola quando os dois estão travados em um ciclo. Os pesquisadores utilizaram um arcabouço matemático conhecido como mecânica computacional para definir os modelos mais eficientes e mínimos para cada uma dessas três perspectivas. O trabalho deles revela que esses modelos são estruturas fundamentalmente diferentes, e não apenas variações da mesma coisa.

A descoberta mais surpreendente desta pesquisa diz respeito ao que acontece quando um agente está realmente operando em um ciclo fechado com seu ambiente. Em teoria, um agente poderia imaginar cada ação possível que poderia realizar, mesmo aquelas que ele jamais escolheria executar. Um modelo construído sobre essa visão "irrestrita" deve dar conta de todas as possibilidades contrafatuais. Os pesquisadores descobriram que, para muitos sistemas, como um modelo irrestrito é incrivelmente complexo, às vezes exigindo um número infinito de estados internos para rastrear todas as possibilidades. No entanto, quando observaram o modelo que considera apenas as ações que o agente realmente toma — as ações "suportadas" — o cenário mudou dramaticamente. Eles provaram que o modelo do comportamento real do agente é sempre determinado pelo modelo do sistema conjunto. Em outras palavras, as possibilidades complexas e infinitas do ambiente colapsam em uma estrutura muito mais simples e finita quando visualizadas através da lente das escolhas reais do agente.

Para ilustrar isso, os pesquisadores construíram um exemplo específico envolvendo um ambiente binário simples e um controlador com uma memória limitada. Neste cenário, o ambiente possui um estado oculto que pode ser zero ou um. Certas ações resetam este estado aleatoriamente, enquanto outras o mantêm o mesmo. Se você tentar construir um modelo que preveja o comportamento do ambiente para qualquer sequência possível de ações, o modelo torna-se infinitamente grande. Isso ocorre porque um agente poderia teoricamente manter o estado fixo por um tempo arbitrariamente longo, criando um número infinito de estados de crença únicos. Mas quando os pesquisadores introduziram um controlador específico que realiza apenas um conjunto limitado de ações — resetando o estado ocasionalmente e mantendo-o por um número fixo e curto de passos antes de resetar novamente — a complexidade desapareceu. O modelo do ambiente, restrito apenas às ações que o controlador realmente realiza, tornou-se finito e gerenciável. As possibilidades "infinitas" simplesmente nunca foram realizadas na interação real.

Essa distinção é crucial para entender o que uma IA está realmente aprendendo. Os pesquisadores mostraram que o estado interno que uma IA usa para tomar decisões não é necessariamente um mapa de todo o mundo possível. Em vez disso, é frequentemente um mapa das interações específicas que ela experimentou. O modelo do ambiente, quando restrito ao comportamento real do agente, é uma versão simplificada do processo conjunto total. Os pesquisadores demonstraram que os estados deste modelo simplificado são derivados diretamente dos estados do sistema conjunto. Isso significa que a complexidade do modelo de mundo de um agente não é uma propriedade inerente do ambiente sozinho, mas um resultado do acoplamento específico entre o agente e o mundo. Se o agente é limitado no que pode fazer, seu modelo do mundo é correspondentemente limitado e mais simples.

As implicações deste trabalho estendem-se à forma como interpretamos e confiamos na inteligência artificial. Se quisermos saber o que uma IA acredita sobre seu mundo, não podemos simplesmente olhar para suas previsões no vácuo. Devemos perguntar: ela está prevendo o ambiente sob todas as ações possíveis, ou está prevendo o ambiente com base na política específica que está seguindo? Os pesquisadores argumentam que estas são duas perguntas diferentes que exigem dois modelos diferentes. Uma IA pode ter um modelo de mundo muito simples porque só entra em contato com uma pequena fatia da realidade. Isso não significa que a IA seja "burra" ou que o mundo seja simples; significa que o modelo da IA é adaptado ao seu papel específico no sistema. Ao separar o modelo do ambiente, o modelo do agente e o modelo do processo conjunto, os pesquisadores fornecem uma linguagem mais clara para descrever o que esses sistemas estão realmente fazendo.

Esta abordagem também esclarece a diferença entre planejamento e aprendizado. Quando um agente aprende a partir de dados, ele está frequentemente aprendendo de um conjunto específico de interações, não de todas as interações possíveis. O arcabouço dos pesquisadores nos permite ver que o modelo aprendido a partir desses dados é um modelo "restrito pelo suporte". Ele é válido e preciso para as situações que o agente realmente enfrentará, mesmo que falhe em descrever o panorama teórico completo do ambiente. Isso ajuda a explicar por que alguns sistemas de IA funcionam bem na prática, apesar de possuírem modelos que parecem incompletos ou simplificados do ponto de vista teórico. Eles não estão tentando modelar o impossível; estão modelando o real.

O estudo conclui que a estrutura de um modelo de mundo não é fixa, mas moldada pela própria interação. A maneira como um agente e o ambiente estão acoplados determina a complexidade do modelo necessário para prever o futuro deles. Isso desafia a ideia de que existe um único modelo perfeito do mundo que um agente deve se esforçar para aprender. Em vez disso, o "melhor" modelo depende da pergunta que está sendo feita. Se a pergunta for "o que acontece se eu fizer X?", a resposta pode exigir um modelo complexo. Mas se a pergunta for "o que acontece a seguir dado que estou fazendo Y?", a resposta pode ser encontrada em uma estrutura muito mais simples. Ao definir esses modelos com precisão, os pesquisadores forneceram uma ferramenta para entender melhor a mecânica da inteligência, mostrando que a complexidade da mente de uma máquina é, muitas vezes, um reflexo das restrições de seu corpo e de seu mundo.

Resumo Técnico: Modelos de Mundo de Sistemas de Ambiente, Agente e Agente-Ambiente Conjuntos

Declaração do Problema

Modelos de mundo são centrais para o aprendizado por reforço (RL) baseado em modelos, mas suas definições formais frequentemente variam com base nas variáveis específicas que preveem (por exemplo, observações, recompensas, estados latentes). Os autores argumentam que existe uma distinção mais fundamental: qual canal um modelo de mundo representa. Nas interações agente-ambiente, os modelos são tipicamente discutidos como representações do ambiente, mas os agentes também podem modelar a si mesmos, outros agentes ou o sistema acoplado. Sem distinguir o canal subjacente, torna-se difícil esclarecer o que um estado latente aprendido realmente representa (por exemplo, uma crença sobre o ambiente versus uma representação do comportamento da política) ou comparar os níveis de abstração e complexidade de diferentes modelos.

O artigo aborda a necessidade de distinguir formalmente três canais preditivos distintos:

O Canal do Ambiente ( $O_{:} | A_{:}$ ): Prever observações futuras dadas ações futuras.
O Canal do Agente ( $A_{:} | O_{:}$ ): Prever ações futuras dadas observações futuras.
O Processo Conjunto ( $(A, O)_{:}$ ): Prever os traços acoplados de ação-observação realizados, vistos como um canal de entrada nula.

Os autores destacam que esses canais induzem relações de equivalência causal distintas, levando a diferentes noções de abstração, complexidade de modelo e utilidade. Além disso, modelos "irrestritos" padrão frequentemente consideram entradas contrafatuais que podem nunca ocorrer em uma interação de malha fechada específica, o que pode levar a espaços de estados desnecessariamente complexos ou infinitos em comparação com modelos restritos ao suporte real da interação.

Metodologia

O artigo utiliza a mecânica computacional para definir modelos preditivos canônicos para os três canais. As ferramentas principais são as $\epsilon$ -máquinas (para processos autônomos) e as $\epsilon$ -transdutores (para processos de entrada-saída), que fornecem representações únicas, mínimas e unifilares de processos estocásticos.

1. Modelos Canônicos Irrestritos

Os autores definem modelos canônicos baseados na relação de equivalência sobre históricos de ação-observação ( $h_{:t}$ ):

Modelo de Ambiente Canônico: Definido pela relação de equivalência $\sim_E$ , onde dois históricos são equivalentes se atribuem a mesma distribuição de probabilidade a todas as sequências de observações futuras sob todas as possíveis continuações de ações futuras. Isso recupera as Representações de Estado Preditivo (PSRs) como $\epsilon$ -transdutores.
Modelo de Agente Canônico: Definido por $\sim_M$ , onde históricos são equivalentes se preveem as mesmas sequências de ações futuras sob todas as possíveis continuações de observações futuras. Isso serve como um modelo de estado preditivo canônico para o comportamento de política ou controlador.
Modelo Conjunto Canônico: Definido por $\sim_J$ , onde históricos são equivalentes se preveem os mesmos traços de ação-observação para o processo autônomo realizado. Isso corresponde à $\epsilon$ -máquina do sistema acoplado.

Os autores demonstram que esses três modelos são geralmente distintos. Os estatísticos suficientes mínimos para prever observações futuras (modelo de ambiente) diferem daqueles para prever ações futuras (modelo de agente) ou o traço conjunto (modelo conjunto). Consequentemente, os espaços de estado desses modelos não coincidem necessariamente nem se relacionam via construções de produto simples.

2. Modelos Canônicos Restritos ao Suporte

Para abordar a questão da complexidade contrafactual, o artigo introduz modelos canônicos restritos ao suporte. Esses modelos são induzidos por um acoplamento de malha fechada específico (por exemplo, uma política fixa interagindo com o ambiente).

Restrição de Suporte: A equivalência preditiva é definida apenas sobre continuações de entrada futuras que são suportadas pelo processo conjunto realizado.
Totalização: Para consultas não suportadas (ações que o agente não pode tomar, ou observações que o ambiente não pode gerar), o modelo emite um símbolo de sumidouro especial $\perp$ .
Construção: Os autores definem um canal de ambiente restrito ao suporte $\tilde{O}_{:} | A_{:}$ e um canal de agente $\tilde{A}_{:} | O_{:}$ (dual). Os modelos canônicos para esses canais são construídos como $\epsilon$ -transdutores com um estado de sumidouro de totalização.

3. Resultados Estruturais

Uma contribuição teórica fundamental é a relação entre o Modelo Conjunto e os Modelos de Ambiente/Agente Restritos ao Suporte.

Fatoração: Os estados causais não-sumidouro do modelo de ambiente restrito ao suporte fatoram através dos estados causais do modelo conjunto canônico.
Indução: A estrutura de transição do modelo de ambiente restrito ao suporte é diretamente induzida pelo modelo conjunto.
Dualidade: A construção do lado do agente é a dual da construção do lado do ambiente.

Isso implica que a complexidade do modelo de ambiente restrito ao suporte é limitada pela complexidade do modelo conjunto, enquanto o modelo de ambiente irrestrito pode ser significativamente mais complexo (ou infinito) se o espaço de ações for restringido pelo agente.

Principais Contribuições

Caracterização Baseada em Canais: O artigo propõe um framework sistemático para categorizar modelos de mundo pelo canal que eles modelam (ambiente, agente ou conjunto), em vez de apenas pelas variáveis que preveem. Isso esclarece o significado semântico dos estados latentes aprendidos.
Definições Canônicas: Fornece definições formais para modelos de agente e conjuntos canônicos usando $\epsilon$ -transdutores e $\epsilon$ -máquinas, estendendo o conceito de Representações de Estado Preditivo (PSRs) além do canal do ambiente.
Modelos Restritos ao Suporte: Introduz e formaliza modelos restritos ao suporte induzidos por acoplamento de malha fechada. Esses modelos distinguem entre modelagem de mundo contrafactual e previsão condicionada à política, lidando com consultas não suportadas via um sumidouro de totalização.
Teoremas Estruturais: O artigo prova que o modelo de ambiente restrito ao suporte canônico é totalmente determinado pelo modelo conjunto canônico. Especificamente, os estados não-sumidouro do modelo restrito são quocientes dos estados causais conjuntos, e suas transições são induzidas pela dinâmica conjunta.
Separação de Complexidade: Através de um exemplo binário, os autores mostram que um modelo de ambiente irrestrito pode ter estados infinitos (devido ao acúmulo de crenças ilimitado sob ações arbitrárias), enquanto o modelo de ambiente restrito ao suporte induzido por um acoplamento de controlador de estado finito permanece finito.

Resultados

Distinção Teórica: Os três modelos canônicos (ambiente, agente, conjunto) possuem geralmente espaços de estado e estruturas de transição diferentes porque resolvem problemas de predição diferentes (prever $O$ dado $A$ , $A$ dado $O$ , ou $(A,O)$ dado nada).
Teorema de Fatoração: O Teorema 16 estabelece que o mapa dos estados causais conjuntos para os estados do ambiente restrito ao suporte é sobrejetor. Isso significa que o modelo de ambiente restrito ao suporte não pode ser mais complexo do que o modelo conjunto (mais um estado de sumidouro).
Finito vs. Infinito: No exemplo fornecido (Exemplo 9), o modelo de ambiente irrestrito é infinito porque sequências arbitrárias de ações de "espera" (hold) geram crenças posteriores distintas e infinitas. No entanto, quando acoplado a um controlador de estado finito que limita a duração das sequências de "espera", o modelo de ambiente restrito ao suporte resultante é finito. Isso demonstra que representações compactas aprendidas de rollouts (restritas ao suporte) não precisam representar toda a dinâmica contrafactual do ambiente.

Significância e Alegações

O artigo afirma esclarecer o status ontológico dos modelos de mundo em IA e RL. Ao identificar explicitamente o canal, os pesquisadores podem interpretar melhor o que uma representação aprendida codifica:

Interpretabilidade: Fornece alvos de referência para a interpretabilidade mecanística. Pode-se perguntar se um estado latente é um estado do canal do ambiente, do canal do agente ou do processo conjunto.
Gestão de Complexidade: Explica por que modelos aprendidos de políticas específicas (on-policy) podem ser mais simples do que a verdadeira dinâmica do ambiente. O framework de suporte restrito formaliza a ideia de que um agente só precisa modelar as interações que ele realmente realiza, não todas as possibilidades contrafatuais.
Framework Unificado: Unifica conceitos de representações de estado preditivo, destilação de política, controladores de estado finito e agência incorporada sob um único framework de mecânica computacional.

Os autores mantêm um escopo modesto, focando na caracterização formal desses modelos e seus relacionamentos estruturais. Eles sugerem que trabalhos futuros podem aplicar essas definições para analisar modelos de IA treinados (por exemplo, transformers) para identificar tipos específicos de crenças (ambientais vs. autorreferenciais) usando apresentações de estado misto, mas o presente artigo estabelece a base teórica para tal análise.