🤖 AI

Integrating Counterfactual Simulations with Language Models for Explaining Multi-Agent Behaviour

Este artigo apresenta o AXIS, um framework que utiliza grandes modelos de linguagem para interrogar simuladores de ambiente com prompts contrafatuais, gerando, assim, explicações centradas no ser humano para sistemas multiagentes que melhoram significativamente a correção percebida e a precisão da predição de objetivos em comparação com os baselines existentes.

Autores originais: Bálint Gyevnár, Christopher G. Lucas, Stefano V. Albrecht, Shay B. Cohen

Publicado 2026-06-30

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bálint Gyevnár, Christopher G. Lucas, Stefano V. Albrecht, Shay B. Cohen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a uma complexa performance de dança com cinco dançarinos (os agentes) movendo-se pelo palco. De repente, um dançarino faz um movimento estranho. Você pergunta: "Por que ele fez aquilo?"

No mundo dos sistemas autônomos (como carros autônomos), obter uma boa resposta para essa pergunta é difícil. A "dança" acontece em um ambiente caótico, e os dançarinos estão reagindo uns aos outros de maneiras que são difíceis de desvendar.

Este artigo apresenta um novo método chamado AXIS (Explicações Agênticas via Interrogação de Simulação) para ajudar a explicar esses movimentos. Pense no AXIS não como um relatório estático, mas como um detetive com uma máquina do tempo e um roteirista mágico.

Veja como ele funciona, dividido em etapas simples:

1. O Detetive (O Grande Modelo de Linguagem)

O "detetive" é uma IA inteligente (um Grande Modelo de Linguagem ou LLM). Seu trabalho é conversar com você e descobrir a história por trás da ação. Mas ele não apenas adivinha; ele possui uma ferramenta especial.

2. A Máquina do Tempo (O Simulador)

O detetive tem acesso a uma simulação perfeita do mundo. Isso é como um videogame que pode reproduzir exatamente o momento em que a ação aconteceu.

3. O Interrogatório (Perguntar "E se?")

Em vez de apenas olhar para o vídeo e adivinhar, o detetive começa a fazer perguntas específicas à máquina do tempo usando "prompts de interrogatório". É como um cientista realizando experimentos:

"Remover": "E se apagássemos aquele outro carro da cena inteira? Nosso motorista ainda teria mudado de faixa?"
"E se": "E se aquele outro carro tivesse seguido reto em vez de virar? Nosso motorista teria esperado?"

4. A Síntese (Montando o Quebra-Cabeça)

A máquina do tempo executa esses cenários e fornece novos dados ao detetive. O detetive então observa as diferenças:

Cenário A (Vida real): Carro 1 vira, Carro 0 desvia.
Cenário B (Máquina do tempo): Carro 1 segue reto, Carro 0 não desvia.

O detetive percebe: "Aha! O Carro 0 desviou porque o Carro 1 virou. Se o Carro 1 não tivesse virado, nada teria acontecido."

O detetive então escreve uma explicação amigável para humanos baseada nesses experimentos de "e se", em vez de apenas descrever os dados brutos.

Por que isso é melhor do que o modo antigo?

O artigo compara o AXIS com outros dois métodos:

A abordagem "Apenas o Modelo": Isso é como pedir ao detetive para olhar o vídeo uma única vez e adivinhar o motivo sem testar nada. O artigo descobriu que isso frequentemente leva a respostas genéricas, erradas ou superficiais (ex: "Eles se moveram porque havia espaço", perdendo o motivo real).
A abordagem "Sem Explicação": Apenas entregar os dados brutos para que o usuário os entenda por conta própria.

Os Resultados:
Quando os pesquisadores testaram isso em cenários de carros autônomos (como entrar em uma rodovia ou navegar em uma rotatória), o AXIS teve um desempenho significativamente melhor:

Mais Preciso: As explicações foram julgadas como mais corretas (cerca de 7,7% a 17% mais do que a linha de base).
Melhores Previsões: Quando as pessoas leram a explicação do AXS, elas foram muito melhores em adivinhar o que o carro faria a seguir ou para onde ele estava tentando ir (até 23% mais precisas para alguns modelos).
Foco na Causalidade: O "detetive" aprendeu a fazer as perguntas de "e se" certas para encontrar a verdadeira causa, em vez de apenas listar fatos.

O Problema (Limitações)

O artigo é honesto sobre onde o sistema enfrenta dificuldades:

Atores Irracionais: Se um "dançarino" na simulação fizer algo completamente louco ou quebrar as regras de trânsito, o detetive às vezes fica confuso porque assume que todos estão agindo logicamente.
Atores Ocultos: Se um carro estiver escondido atrás de um prédio (ocultação), o detetive às vezes deixa passar que esse carro oculto é o verdadeiro motivo da ação, pois ele não consegue "ver" esse carro na simulação.
O Juiz: Para testar o quão boas eram as explicações, os pesquisadores usaram outra IA para avaliá-las (já que estudos humanos são caros). Embora isso tenha funcionado, o artigo observa que os juízes de IA podem ter seus próprios vieses, como preferir respostas curtas ou ficar confusos com excesso de detalhes.

A Conclusão

O AXIS é um sistema que ajuda a IA a explicar suas decisões ao simular realidades alternativas. Em vez de apenas dizer "Eu fiz X", ele pergunta: "O que teria acontecido se eu não fizesse X?" e usa a resposta para contar uma história clara de causa e efeito para o usuário humano. Ele funciona melhor quando os agentes estão agindo logicamente e o ambiente está visível.

Resumo Técnico: Integração de Simulações Contrafatuais com Modelos de Linguagem para Explicar o Comportamento de Multiagentes

Definição do Problema
Sistemas Multiagentes (MAS) autônomos, como carros autônomos e algoritmos de negociação, enfrentam desafios significativos de confiança devido a riscos como descoordenação e desalinhamento de objetivos. Embora a IA explicável (XAI) seja crucial para a calibração da confiança, os métodos atuais para Tomada de Decisão Sequencial (SDM) explicável enfrentam três obstáculos principais: (1) a complexidade dos ambientes (espaços de alta dimensão, observabilidade parcial, dinâmica não estacionária); (2) o "fator humano", onde as explicações devem alinhar-se com diversos processos cognitivos e preferências; e (3) a falta de métricas de avaliação padronizadas. As abordagens existentes frequentemente focam em explicações mecanísticas de baixo nível (ex: mapas de saliência) em vez de explicações de "ação" de alto nível que descrevem o comportamento do agente em termos de relações causais entre ações, crenças e resultados.

Metodologia: AXIS
Os autores propõem o AXIS (Agentic eXplanations via Interrogative Simulation), um framework que gera explicações de ação centradas no ser humano combinando Grandes Modelos de Linguagem (LLMs) com simuladores de ambiente. O AXIS operacionaliza o Modelo de Tamanho de Efeito Contrafatual (CESM), que postula que uma causa é selecionada para uma explicação se ela coocorre com um evento sob condições de fundo diferentes, porém similares.

O framework AXIS funciona através de um processo de interrogação e síntese de múltiplra rodadas:

Contextualização: O sistema recupera o estado atual do MAS (modelado como um Jogo Estocástico Parcialmente Observável, ou POSG) e verbaliza observações, ações e elementos estáticos do ambiente em texto para o LLM.
Interrogação: O LLM propõe prompts de intervenção (ex: remover, e se, adicionar, o quê) ao simulador. Esses prompts são baseados em opções (abstrações de ações de alto nível) para reduzir a lacuna entre os estados de baixo nível do simulador e as capacidades de raciocínio do LLM.
Simulação: O simulador executa a intervenção proposta, simulando o ambiente para frente para gerar trajetórias e recompensas contrafatuais.
Síntese: Os resultados da simulação são verbalizados e alimentados de volta ao LLM, que sintetiza a informação contrafatual em uma explicação parcial.
Iteração: Este ciclo se repete por um número máximo de rodadas ( $N_{max}$ ), permitindo que o LLM refine sua compreensão das relações causais antes de gerar uma explicação final.

Principais Contribuições

Formalização: O problema da explicação de ação para MAS é formalizado no contexto de jogos estocásticos parcialmente observáveis.
Framework: A introdução do AXIS, um novo método para gerar explicações de ação usando simulações contrafatuais e LLMs.
Metodologia de Avaliação: Um framework de avaliação abrangente para SDM explicável que combina:
- Análise qualitativa de correção.
- Testes de robustez contra hiperparâmetros e variações de modelos.
- Métricas de preferência subjetiva (completude, satisfação, detalhamento, confiabilidade).
- Métricas objetivas de aplicabilidade (precisão de objetivo e de próxima ação).
- O uso de um LLM externo como juiz para escalar a avaliação.
Validação Empírica: Experimentos conduzidos em planejamento de movimento para condução autônoma em dez cenários (racionais, irracionais e de oclusão) utilizando cinco LLMs diferentes.

Resultos
A avaliação, realizada em cenários de condução autônoma com até cinco agentes, yielded os seguintes achados:

Correção Percebida: O AXIS melhorou a correção percebida das explicações em pelo menos 7,7% em todos os modelos testados em comparação com a linha de base "ModelOnly" (onde o LLM recebe apenas o contexto inicial sem simulação).
Predição de Objetivo: O AXIS melhorou a precisão da predição de objetivos em 23% para quatro dos cinco modelos testados.
Predição de Ação: Os resultados foram comparáveis ou superiores para a predição de ações em quatro modelos.
Utilidade da Interrogação: A análise do uso de prompts revelou que modelos que utilizaram prompts remover e e se (que facilitam o raciocínio contrafatual) alcançaram pontuações de correção mais altas. Modelos que falharam em usar esses prompts (ex: DeepSeek-V3) tiveram desempenho insatisfatório.
Limitações no Raciocínio: Embora eficaz em cenários racionais, o AXIS teve dificuldades com o comportamento de agentes irracionais e fatores ocluídos. Os LLMs tenderam a assumir a adesão racional às regras e falharam em propor intervenções que forçassem o comportamento irracional ou em inferir corretamente agentes ocluídos, destacando limitações atuais no raciocínio de LLMs em relação à observabilidade parcial.
Variância de Modelo: Nenhum LLM único dominou todas as métricas. Modelos de raciocínio mais fortes (ex: o4-mini, DeepSeek-R1) forneceram alta correção percebida, mas por vezes menores pontuações de aplicabilidade, potencialmente devido ao excesso de contexto "confundindo" o LLM avaliador.

Significância e Alegações
O artigo afirma que o AXIS representa um passo significativo à frente na explicabilidade de MAS ao mudar da atribuição de características estática e post-hoc para o raciocínio contrafatual dinâmico e interativo. Os autores afirmam que seu processo de interrogação-síntese permite a seleção dos fatores causais mais relevantes, resultando em explicações que são mais precisas e acionáveis para tarefas subsequentes, como a predição de objetivos.

No entanto, os autores mantêm uma postura modesta em relação às suas alegações:

Eles reconhecem que o uso de um LLM como avaliador introduz potenciais vieses, particularmente na pontuação de preferência subjetiva, e pedem por estudos futuros com seres humanos.
Eles observam que o sucesso do método é atualmente limitado pelas capacidades dos LLMs subjacentes, especificamente no que diz respeito ao raciocínio sobre irracionalidade e observabilidade parcial.
Eles destacam que a falta de linhas de base padronizadas no campo limita comparações diretas, embora tenham estabelecido uma linha de base "ModelOnly" para contextualizar suas melhorias.
O trabalho é apresentado como uma prova de conceito para a integração de simulação e modelos de linguagem, sendo que a escalabilidade para um maior número de agentes e domínios discretos permanece como uma questão aberta para pesquisas futuras.