🤖 AI

Semantic Cooperative Games for Contribution Attribution in LLM-Based Multi-Agent Systems

Este artigo introduz os Jogos Cooperativos Semânticos (SCG) e seu algoritmo de trajetória única eficiente, o SLIC, que utilizam um hipergrafo de geração semântica e o Valor de Shapley Semântico para fornecer uma atribuição de contribuição rápida, livre de contrafatuais e interpretável para sistemas multiagentes baseados em LLM, reduzindo significativamente os custos computacionais enquanto mantém a precisão.

Autores originais: Pengyi Jiang, Xiaoguang Zhu, Quanyan Zhu

Publicado 2026-07-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Pengyi Jiang, Xiaoguang Zhu, Quanyan Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um grupo de amigos tentando resolver um quebra-cabeça gigante e complexo juntos. Eles passam notas uns para os outros, cada pessoa adicionando uma peça, corrigindo um erro ou sugerindo um novo ângulo. No mundo da inteligência artificial, esses "amigos" são Modelos de Linguagem de Grande Escala (LLMs) trabalhando em equipe, conhecidos como um sistema multiagente. Eles não apenas conversam; eles seguem um fluxo de trabalho rigoroso para construir coisas como diagnósticos médicos, resumos jurídicos ou códigos. Mas aqui está a parte complicada: quando o quebra-cabeça final é resolvido (ou falha), como sabemos quem realmente merece o crédito? Foi a pessoa que encontrou a primeira pista, a que conectou os pontos ou a que conferiu as bordas?

Por muito tempo, cientistas tentaram descobrir isso usando um método chamado "valoração contrafactual". Pense nisso como um detetive que, após um crime, pergunta: "E se apagássemos esta pessoa da história?". Eles deletariam um agente, executariam toda a conversa do zero e veriam se o resultado mudaria. Se a resposta mudasse, esse agente era importante. Mas isso é como tentar consertar um relógio quebrado desmontando-o, reconstruindo-o de dez maneiras diferentes e esperando que a hora esteja certa. Leva uma eternidade, custa muita energia e, como a IA pode ser um pouco imprevisível (como um lançamento de dados), os resultados costentes oscilam. É uma forma bagunçada e cara de encontrar a verdade.

É aqui que um novo artigo entra com uma ideia inteligente e mais rápida. Em vez de re-lançar os dados ou reconstruir o relógio, os autores propõem olhar para a única conversa real que já aconteceu e rastrear os "rastros de migalhas" de significado. Eles chamam seu método de Jogos Cooperativos Semânticos (SCG) e seu algoritmo de SLIC.

Veja como funciona, usando uma analogia lúdica: Imagine que a conversa da equipe é uma teia de fios gigante e emaranhada. Cada nó no fio é uma peça de informação (um "nó semântico"), e o fio que os conecta mostra como uma ideia levou a outra. Alguns fios são segurados pelo Agente A, outros pelo Agente B. O artigo sugere que não precisamos cortar o fio e amarrá-lo novamente para ver quem importa. Em vez disso, podemos olhar para a teia terminada e perguntar: "Quais nós são absolutamente necessários para sustentar a imagem final?"

Os autores perceberam que, em muitos casos, se o Agente A escreve uma frase e o Agente B apenas a repete, o Agente B não adicionou nada de novo. No antigo método de "re-execução", você poderia acidentalmente dar crédito ao Agente B apenas porque deletou o Agente A e o sistema entrou em pânico. Mas o novo algoritmo SLIC usa um truque lógico chamado "absorção Booleana". É como perceber que, se você tem uma chave e uma chave reserva, e a porta abre apenas com a primeira chave, a segunda é redundante. O SLIC detecta essas redundâncias instantaneamente ao observar o fluxo de ideias, não ao adivinhar o que poderia ter acontecido.

O artigo prova que, sob condições normais e diretas, este novo método dá exatamente a mesma resposta que o antigo método lento de re-execução. Mas a verdadeira magia está na velocidade e na estabilidade. Em um teste usando um benchmark médico (um conjunto de dados para verificar IAs relacionadas à saúde), o novo método reduziu o custo computacional em 93,3%. Isso é uma queda massiva! Significa que podemos descobrir quem fez o trabalho pesado em uma equipe de agentes de IA sem precisar rodar a simulação cem vezes.

Além disso, em cenários mais complexos e bagunçados, onde os agentes têm diferentes funções, o novo método não fornece apenas uma pontuação; ele conta uma história. Ele consegue detectar quando um agente está sustentando o sistema estruturalmente (como um pilar em um edifício), mesmo que não tenha escrito muito texto, ou quando a falha de um agente causaria um colapso. Ele se alinha muito bem com o que acontece quando você realmente interfere nos agentes (como dar a eles "alucinações" ou informações falsas), com pontuações de alinhamento chegando a 1,000 em alguns testes.

Então, qual é a conclusão? Não precisamos quebrar a máquina para ver como ela funciona. Ao rastrear o caminho das ideias em uma única conversa real, podemos decidir de forma justa e rápida quem contribuiu com o quê. É uma mudança de "adivinhar quebrando" para "entender rastreando", tornando muito mais fácil construir equipes de agentes de IA melhores e mais confiáveis no futuro.

Resumo Técnico: Jogos Cooperativos Semânticos para Atribuição de Contribuição em Sistemas Multi-Agentes Baseados em LLM

Declaração do Problema

O artigo aborda o Problema de Atribuição de Contribuição (CAP) em sistemas multi-agentes baseados em Grandes Modelos de Linguagem (LLM). Nesses sistemas, os resultados finais emergem de sequências complexas de ações de agentes, trocas de mensagens e dependências de fluxo de trabalho ordenadas. Os métodos de atribuição existentes dependem predominantamente de valoração contrafactual, onde as contribuições são estimadas removendo agentes, mascarando mensagens ou comparando pontuações entre subconjuntos alterados do sistema.

Os autores identificam duas limitações críticas nas abordagens contrafatuais atuais dentro de fluxos de trabalho mediados por linguagem:

Dependência de Fluxo de Trabalho: A contribuição não é apenas uma função da presença de um agente, mas depende da ordem específica de execução, regras de roteamento e dependências a jusante. Um contrafactual baseado em conjuntos (ex: remover um subconjunto de agentes) falha em capturar a estrutura de dependência de ordem parcial inerente aos fluxos de trabalho de LLM.
Custo e Instabilidade: Reexecutar fluxos de trabalho para gerar contrafatuais introduz altos custos computacionais (repetições de chamadas de modelo) e alta variância devido à natureza estocástica da decodificação de LLM, sensibilidade ao prompt e detalhes de orquestração.

O artigo argumenta que a atribuição deve ser tratada não meramente como um problema de comparação de valores, mas como um problema estrutural de fluxo de trabalho, onde as contribuições são derivadas da trajetória realizada de transformações semânticas, em vez de reexecuções hipotéticas.

Metodologia: Jogos Cooperativos Semânticos (SCG) e SLIC

Para enfrentar esses desafios, os autores propõem os Jogos Cooperativos Semânticos (SCG), um framework que modela um fluxo de linguagem realizado como um hipergrafo de geração semântica, e o SLIC (Semantic Logic Inversion for Contribution), um algoritmo de trajetória única para computar contribuições.

1. Hipergrafo de Geração Semântica

O núcleo do SCG é a transformação de um traço de fluxo de trabalho realizado em um hipergrafo $G = (S, L, N; \alpha, \omega, O, I)$ :

Nós Semânticos ( $S$ ): Extraídos rastreando recursivamente para trás dos nós de saída portadores de valor (definidos por uma rubrica) até seus predecessores no fluxo de linguagem. Os nós são categorizados como nativos, derivados ou persistentes.
Hiperarestas ( $L$ ): Links direcionados representando transformações semânticas onde um conjunto de nós de entrada produz um nó de saída.
Mapa de Propriedade ( $\alpha$ ): Mapeia cada hiperaresta para o agente específico que a gerou.
Nós de Saída ( $O$ ) e Pesos ( $\omega$ ): Os nós semânticos específicos avaliados por uma rubrica, atribuídos pesos que refletem seu valor de tarefa.

2. Valor de Shapley Semântico (SSV)

Em vez de consultar uma função de valor via reexecuções, o SCG induz uma função de valor semântico ao nível do agente diretamente da estrutura do hipergrafo.

Lógica de Suporte: Para cada nó de saída, o sistema identifica os suportes mínimos ao nível de link (conjuntos de links suficientes para produzir o nó).
Absorção Booleana: Esses suportes são elevados ao nível do agente e simplificados usando absorção booleana (ex: $(A \land B) \lor A \equiv A$ ) para remover caminhos logicamente redundantes.
Expansão Multilinear: As funções de suporte booleano simplificadas são expandidas em coeficientes multilineares (Möbius) únicos.
Alocação: O Valor de Shapley Semântico (SSV) é computado alocando esses coeficientes entre os agentes envolvidos em cada termo de suporte, aderindo aos axiomas de Shapley (eficiência, simetria, dummy, aditividade).

3. O Algoritmo SLIC

O SLIC computa o SSV em uma única passagem sem reexecuções contrafatuais:

Rastrear para Trás: Rastrear predecessores recursivamente a partir dos nós de saída da rubrica para construir o hipergrafo de geração semântica.
Extrair Suportes: Identificar suportes mínimos ao nível de link para cada nó de saída.
Mapear e Absorver: Mapear links para agentes, aplicar absorção booleana para derivar famílias de suporte de agentes mínimas e eliminar redundâncias.
Computar SSV: Expandir as funções de suporte em coeficientes multilineares e agregar contribuições ponderadas.

Garantia Teórica

Os autores provam que, sob condições padrão (alcance de valor baseado em conjuntos, observabilidade total e ausência de dependência de máscara ou ordem), o Valor de Shapley Semântico reduz-se exatamente ao valor de Shapley clássico. Isso estabelece o SSV como uma extensão fundamentada da teoria dos jogos cooperativos para estruturas semânticas.

Principais Contribuições

Framework SCG: Um novo framework de jogo cooperativo semântico que representa fluxos de linguagem realizados como hipergrafos de geração semântica, induzindo funções de valor ao nível do agente a partir de suportes semânticos dependentes do fluxo de trabalho.
Valor de Shapley Semântico (SSV): Uma definição de alocação de contribuição sobre estruturas de suporte semântico que estende o valor de Shapley clássico de coalizões não ordenadas para hipergrafos semânticos.
Algoritmo SLIC: Um algoritmo de trajetória única que computa o SSV sem reexecuções contrafatuais, utilizando absorção booleana e alocação multilinear para lidar com redundância e suporte conjunto.
Equivalência Teórica: Uma prova demonstrando que o SSV coincide com o valor de Shapley clássico sob condições padrão de jogos de coalizão.

Resultados Experimentais

Experimento 1: Consistência com o Shapley Clássico (Benchmark Médico)

Utilizando o domínio HealthBench, os autores construíram um fluxo de trabalho multi-agente médico controlado onde os agentes resolviam subproblemas independentes (satisfazendo as suposições de redução).

Comparação: O SLIC foi comparado contra o Monte Carlo Shapley (Verdade Fundamental/Ground Truth), Leave-One-Out (LOO) e um Juiz Holístico de LLM.
Desempenho: O SLIC alcançou um $\tau_b$ de Kendall de 0,814 e um erro L1 de 6,61, superando significativamente o LOO (0,575, 15,08) e o Juiz Holístico (0,479, 12,90).
Eficiência: O SLIC reduziu o custo computacional em 93,3% em comparação com a linha de base Monte Carlo, mantendo alta consistência, exigindo apenas uma execução de trajetória única.

Experimento 2: Diagnóstico de Fluxos de Trabalho de Múltiplos Papéis Complexos

Em configurações sem decomposição de verdade fundamental (sumarização de reuniões, raciocínio numérico, aplicação de regras, segurança médica), os autores avaliaram o SSV contra quedas de pontuação induzidas por perturbações.

Alinhamento: Os perfis de SSV mostraram forte alinhamento (Spearman $\rho$ médio = 0,868) com perfis de queda de pontuação induzidos por intervenções de alucinação média e forte.
Insight: O SSV identificou com sucesso agentes cuja remoção ou corrupção causou degradação significativa no sistema. Também expôs casos onde a contribuição semântica e o privilégio estrutural divergem (ex: um agente com trabalho semântico limitado, mas alto controle estrutural) e onde as linhas de base de remoção falham devido à redundância.

Significância e Alegações

O artigo afirma que o SLIC fornece um método de atribuição rápido, livre de contrafatuais e interpretável para sistemas multi-agentes complexos baseados em LLM. Ao mudar o foco de "o que acontece se removermos um agente" para "qual suporte semântico um agente forneceu na trajetória realizada", o método:

Elimina a necessidade de reexecuções caras e instáveis.
Captura explicitamente estados semânticos intermediários e transformações.
Lida com redundância e suporte conjunto através de lógica booleana e absorção.
Oferece uma base fundamentada para tarefas a jusante, como diagnóstico de falhas, comparação de fluxos de trabalho, poda de agentes e análise de robustez.

Os autores enfatizam que esta abordagem trata o fluxo de linguagem como a camada observável do fluxo de informação, tornando a atribuição de contribuição um problema de análise estrutural, em vez de um problema de estimativa de valor de caixa-preta.