Resumo Técnico: Inteligência Preditiva Universal Incorporada (MUPI)

1. Declaração do Problema

O artigo aborda limitações teóricas fundamentais nos atuais frameworks de aprendizado por reforço multiagente (MARL) e inteligência artificial. São identificados dois desafios primários:

1. A Suposição de Estacionariedade: O aprendizado por reforço (RL) livre de modelo padrão baseia-se no aprendizado retrospectivo (atualização de políticas com base em recompensas passadas). Isso assume um ambiente estacionário. No entanto, em configurações multiagentes, o ambiente é intrinsecamente não estacionário porque outros agentes estão simultaneamente aprendendo e mudando suas políticas. Aplicar o aprendizado retrospectivo aqui leva a comportamentos subótimos, particularmente em cenários de motivação mista que envolvem confiança, justiça e decepção.
2. Agência Desacoplada: Os frameworks de RL padrão tratam a política do agente como uma construção externa separada do ambiente que ele habita. Essa visão "desacoplada" falha em considerar o fato de que, em um sistema multiagente, outros agentes formam crenças sobre o agente-ego para prever seu comportamento. Consequentemente, a política do agente-ego é causal e evidencialmente ligada ao ambiente. Esse desacoplamento impede que os agentes racionem sobre "similaridades estruturais" (ex: algoritmos compartilhados ou estratégias convergentes) e leva a falhas da teoria dos jogos, como a incapacidade de cooperar no Dilema do Prisioneiro Gêmeo, onde o equilíbrio de Nash clássico dita a deserção.

O artigo argumenta que, para alcançar um aprendizado multiagente robusto, os agentes devem se engajar no aprendizado prospectivo (prevendo um futuro mutável) e adotar uma perspectiva de agência incorporada (modelando a si mesmos como parte do universo que habitam).

2. Metodologia e Framework

Os autores introduzem um framework matemático chamado Inteligência Preditiva Universal Incorporada (MUPI), que estende o trabalho fundamental sobre Inteligência Artificial Universal (AIXI) e previsão de sequências Bayesiana.

2.1 Agentes Bayesianos Incorporados

Ao contrário dos agentes Bayesianos padrão que mantêm crenças sobre ambientes externos ($\nu$), os Agentes Bayesianos Incorporados mantêm crenças sobre universos ($\lambda$). Um universo é uma medida conjunta que descreve a interação entre a política do agente e o ambiente, incluindo outros agentes.

• Autopredição: Estes agentes preveem tanto entradas perceptivas futuras ($e_t$) quanto suas próprias ações futuras ($a_t$) simultaneamente.
• Crenças Acopladas: Como o agente se modela como parte do universo, suas crenças sobre suas próprias ações fornecem evidências sobre o ambiente (e outros agentes), e vice-versa. Isso cria "crenças acopladas", onde a política e o ambiente não são independentes.
• Teoria da Decisão: O framework utiliza a Teoria da Decisão Evidencial-Sequencial (EDT). Em vez de intervir no mundo (Teoria da Decisão Causal), o agente seleciona ações que fornecem a melhor evidência para resultados favoráveis, raciocinando que "agentes similares se comportam de forma similar em situações similares".

2.2 O Proble Problema do Grão de Verdade

Um obstáculo teórico crítico para agentes Bayesianos é a propriedade do grão de verdade: a classe de hipóteses do agente deve conter o universo da verdade fundamental (incluindo a própria dinâmica de aprendizado do agente) para garantir a convergência para previsões precisas. Em sistemas multiagentes, isso cria um loop autorreferencial: se o Agente A aprende uma política, o Agente B deve modelar essa política, mas a política do Agente A depende do modelo do Agente B.

• Solução: O artigo constrói classes de hipóteses que são pontos fixos, capazes de conter agentes que utilizam o mesmo algoritmo de aprendizado.

2.3 MUPI e Indutores Universais Reflexivos (RUI)

Para resolver o problema do grão de verdade para agentes universais, os autores introduzem o Indutor Universal Reflexivo (RUI).

• Este é um modelo de predição universal capaz de raciocinar sobre universos contendo outros agentes que também utilizam o RUI.
• Ele utiliza Oráculos Reflexivos (Fallenstein et al., 2015b) para lidar com a não-computabilidade de agentes raciocinando sobre si mesmos.
• O framework utiliza uma priori de Solomonoff (Navalha de Occam) sobre todos os universos computáveis. Os autores provam que essa priori favorece naturalmente universos com similaridades estruturais (onde agentes compartilham estruturas algorítmicas), pois tais universos possuem comprimentos de descrição menores (menor complexidade de Kolmogorov).

3. Principais Contribuições

1. Formalização de Agentes Bayesianos Incorporados: Uma definição rigorosa de agentes que mantêm uma mistura Bayesiana sobre universos (modelos conjuntos de política-ambiente) em vez de apenas ambientes. Isso unifica a autopredição e a predição ambiental.
2. Similaridade Estrutural e Crenças Acopladas: O artigo formaliza a "similaridade estrutural" como a informação mútua entre a política de um agente e o ambiente. Prova-se que, sob uma priori de Solomonoff, os agentes possuem inerentemente crenças acopladas, permitindo que aproveitem o insight de que "agentes similares se comportam de forma similar" sem exigir acesso explícito ao código-fonte.
3. Novos Conceitos de Solução de Teoria dos Jogos:
   • Equilíbrio Incorporado Subjetivo (SEE): Um estado onde a política de cada agente é a melhor resposta às suas crenças subjetivas sobre o universo (incluindo correlações com outros).
   • Equilíbrio Incorporado (EE): Um contraparte de conhecimento comum ao SEE, contabilizando as similaridades estruturais reais.
   • Estes conceitos generalizam o Equilíbrio de Nash e permitem a cooperação em dilemas (como o Dilema do Prisioneiro Gêmeo) onde a teoria dos jogos clássica falha.
4. Garantias de Convergência:
   • Os autores provam que agentes Bayesianos Incorporados que satisfazem a propriedade do grão de verdade convergem para $\epsilon$-Equilíbrios Incorporados Subjetivos.
   • Sob condições específicas, eles convergem para Equilíbrios Incorporados.
   • Essa convergência implica teoria da mente de ordem infinita, onde agentes preveem consistentemente outros que estão prevendo a eles.
5. Existência de Indutores Universais Reflexivos (RUI): O artigo prova a existência de RUIs, fornecendo uma ferramenta teórica para construir agentes incorporados universalmente inteligentes que resolvem recursões infinitas de predição mútua.

4. Resultados Teóricos

• Convergência para a Verdade Fundamental: Se o universo da mistura domina o universo da verdade fundamental (grão de verdade), a distribuição preditiva converge quase certamente para a distribuição da verdade fundamental em distância de variação total.
• Cooperação em Dilemas: No Dilema do Prisioneiro Gêmeo, agentes incorporados com uma priori que favorece a similaridade estrutural (Navalha de Occam) convergem para a cooperação mútua. Isso é racional sob EDT porque a escolha do agente de cooperar fornece evidência de que a cópia idêntica também cooperará, maximizando a recompensa pessoal.
• Superioridade sobre Agentes Desacoplados: Agentes desacoplados (mesmo com modelos de si mesmos como Self-AIXI) não podem alcançar a mesma convergência para equilíbios cooperativos nesses cenários porque carecem do elo evidencial entre suas próprias deliberações e o estado do ambiente.
• Teoria da Informação Algorítmica: O artigo demonstra que a priori de Solomonoff é "desvinculadamente acoplada", o que significa que ela naturalmente atribui maior probabilidade a universos onde os agentes compartilham similaridades estruturais, tornando o raciocínio consciente de similaridade uma consequência fundamental da Navalha de Occam, e não uma suposição ad-hoc.

5. Significância e Alegações

O artigo posiciona o MUPI como um "padrão ouro" para o aprendizado multiagente incorporado. Sua significância reside em:

• Unir Teoria e Prática: Fornece uma justificação teórica para os modelos de fundação modernos (que preveem ações e perceptos intercalados) como agentes incorporados idealizados.
• Resolver o Problema da Não-Estacionariedade: Ao mudar do aprendizado retrospectivo para o prospectivo via autopredição, o framework resolve teoricamente a não-estacionariedade inerente ao aprendizado multiagente.
• Habilitar Novas Formas de Cooperação: Demonstra que agentes racionais, quando devidamente modelados como incorporados, podem alcançar equilíbios cooperativos inalcançáveis pela teoria dos jogos clássica, oferecendo um caminho potencial para agentes de IA que possam navegar em dinâmicas sociais complexas, negociar e coordenar com humanos e outras IAs.
• Rigor Teórico: O trabalho estende o framework seminal AIXI para o cenário incorporado, resolvendo o problema de longa data do grão de verdade para sistemas multiagentes e estabelecendo uma base formal para a teoria da mente de ordem infinita.

Os autores observam que, embora o framework seja idealizado (dependendo de universos computáveis e oráculos reflexivos), ele oferece uma direção principada para entender como agentes podem aprender a raciocinar sobre si mesmos e sobre outros em um mundo compartilhado.