Resumo Técnico: Evidências Diversas, Previsões Melhores: Deliberação Multiagente sob Assimetria de Informação

Declaração do Problema

Sistemas multiagentes que utilizam Grandes Modelos de Linguagem (LLMs) são cada vez mais empregados para prever eventos futuros, operando sob a premissa de que a deliberação entre múltiplos agentes melhora o raciocínio e a calibração. No entanto, as abordagens existentes tipicamente fornecem aos agentes corpora de evidências idênticos. Os autores identificam uma falha crítica neste design: quando os agentes compartilham informações idênticas, a deliberação colapsa em um "efeito de manada" (herding) em vez de uma genuína revisão de crenças. Em tais configurações homogêneas, os agentes alcançam as mesmas conclusões de forma independente, e a troca iterativa meramente reforça os priors compartilhados. Trabalhos teóricos recentes sugerem que, sob entradas idênticas, o debate multiagente se comporta como um martingale, onde a precisão esperada não melhora ao longo das rodadas, e estudos empíricos mostram que os erros de LLMs são altamente correlacionados (frequentemente >60%) entre diferentes provedores. Consequentemente, sistemas multiagentes com entrada homogênea oferecem pouca vantagem sobre baselines de agente único.

Metodologia: InfoDelphi e Assimetria de Informação Projetada

Para abordar a correlação de erros em configurações homogêneas, os autores propõem a assimetria de informação projetada, tratando a assimetria de informação não como uma limitação, mas como um princípio de design a ser explorado. Eles instanciam este princípio no InfoDelphi, um framework de previsão multiagente.

1. Fundamentação Teórica

Os autores formalizam o benefício da assimetria de informação usando a decomposição viés-variância-covariância do erro quadrático médio (MSE) de ensemble.

• Erros Correlacionados: Quando os agentes recebem evidências ($E$) idênticas, seus erros de previsão são impulsionados pelas mesmas fontes, levando a uma alta correlação de erro interagente ($Cov(\epsilon_i, \epsilon_j) \approx Var(\epsilon)$). Isso faz com que o termo de diversidade no MSE do ensemble colapse, negando os benefícios da agregação.
• Descorrelação via Particionamento: Os autores propõem o particionamento do corpus de evidências $E$ em um subconjunto público compartilhado ($E_{pub}$) e subconjuntos privados disjuntos ($E_{priv}$).
  • Seja $\rho$ a razão de evidência pública.
  • A análise teórica (Proposição 3.1) demonstra que a correlação de erro interagente diminui monotonicamente à medida que $\rho$ diminui de 1 (todo público) para 0 (todo privado).
  • Especificamente, com uma razão pública de $\rho=0.5$ e componentes de variância iguais, a correlação interagente cai para 0.5 (metade da baseline de 1.0).
• Compartilhamento de Racionales: Para garantir que os agentes possam se beneficiar dos sinais privados uns dos outros, o framework exige a troca de racionais (traços de raciocínio) em vez de apenas estimativas numéricas de probabilidade. Os autores argumentam, via Desigualdade do Processamento de Dados, que trocar apenas números forma uma cadeia de Markov onde a informação sobre a verdade fundamental só pode diminuir. O compartilhamento de racionais quebra essa cadeia, permitendo que a evidência privada se propague através das fronteiras dos agentes.

2. O Framework InfoDelphi

O InfoDelphi opera em três estágios:

1. Roteamento de Evidências: O corpus de evidências é particionado usando classificação de relevância BM25.
   • Os documentos com maior pontuação (mais relevantes para a consulta) formam o pool público compartilhado ($E_{pub}$), fornecendo uma base comum para a comunicação.
   • Os documentos restantes são atribuídos aos agentes em um sistema round-robin baseado em pontuações de relevância, criando subconjuntos privados disjuntos ($E_{priv}$). Isso garante que cada agente detenha uma evidência periférica única enquanto compartilha o contexto central.
2. Deliberação Iterativa: Os agentes participam de múltiplas rodadas de previsão. Em cada rodada, um agente condiciona sua visão privada ($E_{pub} \cup E_{priv}$) e um resumo do histórico das previsões anteriores de outros agentes, que inclui racionais estruturados.
3. Agregação Ponderada por Confiança: As previsões finais são agregadas no espaço de logits. Os pesos de agregação ($w_j$) são determinados pela extremidade da previsão do agente ($|logit(p_j)|$). Este mecanismo amplifica as previsões de agentes que detêm evidências privadas mais fortes, pois eles tendem a produzir previsões mais extremas (confiantes).

Principais Contribuições

1. Assimetria de Informação Projetada: O artigo propõe tratar a assimetria de informação como um princípio de design de primeira classe para o raciocínio multiagente, provando teoricamente que o particionamento de evidências públicas/privadas reduz a correlação de erro interagente.
2. Framework InfoDelphi: Os autores introduzem um framework concreto implementando este princípio através de roteamento de evidências consciente de relevância, deliberação iterativa baseada em racionais e agregação ponderada por confiança.
3. Benchmark POLYGYM: Para isolar a utilização de informação da qualidade da recuperação, os autores constroem o POLYGYM, um benchmark controlado de 375 questões de previsão binária derivadas de mercados de previsão do mundo real (Polymarket). Crucialmente, todos os métodos operam sobre o mesmo pool de evidências pré-recuperado e fixo, eliminando a variabilidade das estratégias de busca.

Resultados Experimentais

Experimentos foram conduzidos no POLYGYM usando $J=3$ agentes e $R=2$ rodadas de deliberação.

• Desempenho: O InfoDelphi alcançou um escore de Brier de 0,178 e 77,9% de acurácia. Isso supera os baselines de agente único mais fortes (ex: Chain-of-Thought, Superforecaster) e baselines multiagentes (ex: Standard Debate, MoA) em 12–18% no escore de Brier e 4–8 pontos percentuais em acurácia.
• Necessidade de Diversidade: Estudos de ablação confirmaram que remover a assimetria de informação (definindo $\rho=1.0$, ou seja, tudo público) elimina a maioria dos ganhos de deliberação, reduzindo o desempenho para níveis comparáveis ao debate padrão.
• Importância do Compartilhamento de Racionais: Remover o compartilhamento de racionais (trocando apenas números) degradou significativamente o desempenho (escore de Brier aumentou para 0,211), validando a afirmação teórica de que a troca de sistemas fechados numéricos não pode melhorar a acurácia coletiva.
• Generalização: O framework demonstrou melhorias consistentes através de diferentes backends de modelos, incluindo GPT-5.4-mini, DeepSeek-V3.2 e Llama-4-Scout, com ganhos escalando com a capacidade do modelo.
• Validação do Mecanismo: A análise mostrou que a agregação ponderada por confiança funciona porque agentes com evidência privada mais forte produzem previsões mais extremas. Além disso, a assimetria de informação preservou a diversidade interagente (apenas 73% de redução de variância) comparado a configurações homogêneas (90–92% de redução de variância), evitando que o sistema colapsasse em uma câmara de eco de consenso.

Significância e Alegações

O artigo afirma que a diversidade de entrada é o habilitador chave para o raciocínio multiagente eficaz. Os autores argumentam que a prática padrão de fornecer janelas de contexto idênticas a todos os agentes limita fundamentalmente o valor da interação multiagente. Ao introduzir a assimetria de informação projetada, o InfoDelphi converte a deliberação redundante em revisão de crenças produtiva.

Os autores posicionam a previsão probabilística como um teste exigente deste princípio, requerendo a síntese de evidências ruidosas e contraditórias. Eles sugerem que as melhorias robustas observadas neste cenário indicam ampla aplicabilidade a outros sistemas multiagentes onde agentes raciocinam sobre evidências compartilhadas, como resposta colaborativa a perguntas e avaliação de hipóteses científicas.

O artigo mantém modéstia quanto às suas limitações, reconhecendo que a prova teórica depende de suposições idealizadas (decomposição de erro linear, independência de ruído privado) e que a implementação atual utiliza métodos padrão prontos para uso para roteamento e agregação, deixando espaço para alternativas mais sofisticadas. Adicionalmente, os autores observam que o limite superior do framework ainda é restringido pela qualidade da recuperação inicial de evidências.