Resumo Técnico: Localmente Coerente, Globalmente Incoerente

1. Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLMs) multi-componentes frequentemente decompõem problemas conjuntos complexos em subtarefas tratadas por subagentes ou ferramentas especialistas. Embora componentes individuais possam ser localmente coerentes (internamente consistentes e calibrados em suas questões específicas), a agregação de suas saídas pode violar axiomas básicos de probabilidade. Este fenômeno, denominado "localmente coerente, globalmente incoerente", resulta em um estado de crença composto que atribui uma massa de probabilidade total maior que 1 (ou viola restrições lógicas como $P(A) + P(\neg A) = 1$).

Métricas de avaliação existentes (precisão por questão, calibração, previsão conformal) operam sobre saídas individuais de modelos e falham em detectar violações lógicas entre componentes. Consequentemente, agentes multi-componentes podem produzir exposições de "Dutch-book" — combinações de apostas que garantem uma perda para o sistema — estritamente devido à incoerência introduzida durante a composição, mesmo quando cada componente é individualmente sólido.

2. Metodologia

Estrutura Teórica

O artigo formaliza o modo de falha usando geometria convexa e teoria da probabilidade:

• Resíduo Compositivo ($\varepsilon^\star$): Definido como a distância $L_2$ entre a cota composta (após reparos locais) e o poliedro coerente conjunto ($M_\star$). Este poliedro representa o conjunto de todos os vetores de probabilidade que satisfazem as restrições lógicas conjuntas (ex: partições, negações, conjunções).
• Dicotomia de Estrutura de Produto (Teorema 3.3): O artigo estabelece uma condição necessária e suficiente para que a coerência local implique coerência global. Sob "agregação selecionada pelo proprietário" (onde cada componente possui um subconjunto distinto de coordenadas), a coerência global é garantida se e somente se o poliedro conjunto fatorizar-se como um produto cartesiano de poliedros locais ($M_\star = M_\boxtimes$). Se existirem restrições de acoplamento entre componentes (ex: uma partição somando 1), a coerência local é insuficiente, e $\varepsilon^\star > 0$ é possível.
• Previsão de Magnitude (Corolário 3.9): O resíduo quadrático esperado é previsto por uma forma de quociente de Rayleigh baseada na covariância do painel especialista e no vetor normal da restrição vinculante. Isso permite uma previsão em forma fechada da magnitude da incoerência antes que o roteamento ocorra.
• Limite de Exposição (Corolário 3.5): Sob o Teorema Fundamental da Precificação de Ativos (FTAP), a exposição ao Dutch-book no nível do sistema é limitada por $\sqrt{m^\star} \varepsilon^\star$, onde $m^\star$ é o número de coordenadas conjuntas.

Reparo Algorítmico

• Projeção Hierárquica de Boyle–Dykstra: Para reparar composições incoerentes de forma determinística, os autores propõem um algoritmo de projeção cíclica. Este projeta iterativamente a cota composta sobre poliedros locais e o conjunto de acoplamento (restrições) até a convergência para o poliedro coerente conjunto.
• Monitoramento Sequencial: Um processo-e válido a qualquer momento é introduzido para monitorar fluxos de resíduos compositivos ao longo do tempo, permitindo que operadores detectem incoerência persistente sem fixar um horizonte de parada com antecedência.

Configuração Experimental

Os autores avaliaram 1.876 cliques de ensemble em quatro classes de relações lógicas: Negação, Conjunção, Disjunção e Partição.

• Modelos: Um painel de nível médio (Claude-Haiku-4.5, GPT-5.4-mini/nano, Llama-3.3-70b) e um painel de fronteira (incluindo GPT-5.5, Claude-Opus-4.7, DeepSeek-V3.2).
• Benchmarks: Paleka (consistência entre questões) e Polymarket (eventos de partição).
• Protocolos: Atribuição aleatória de questões a especialistas, roteamento estruturado e harnesses de discrição do planejador.

3. Resultados Principais

Achados Empíricos

• Prevalência de Incoerência: $\varepsilon^\star > 0$ foi observado em 33–94% dos cliques, dependendo da classe de relação. Tarefas de partição mostraram a maior taxa de falha (94%), seguida por negação (66%), disjunção (43%) e conjunção (33%).
• Previsão de Magnitude: A previsão pelo quociente de Rayleigh correspondeu aos resíduos observados dentro de 7% para três das quatro classes de relação. A classe de conjunção subestimou ligeiramente (0,83×) devido à média do painel estar no interior do semiespaço de Fréchet, um regime previsto pela teoria.
• Impacto na Tomada de Decisão: Em 1.770 apostas resolvidas, a composição ingênua incorreu em um arrependimento de +0,115 nats por aposta sob uma regra de alocação proporcional. O reparo JCD hierárquico reduziu isso para próximo de zero, igualando o desempenho de um oráculo de único LLM.
• Falha de Mitigações do Lado do LLM:
  • Recuperação: Aumentar especialistas com ferramentas de busca falhou em reduzir $\varepsilon^\star$; em 20/30 casos, aumentou a incoerência.
  • Engenharia de Prompt: Prompting consciente de partição reduziu resíduos, mas deixou 53% das partições com $\varepsilon^\star > 0,05$.
  • LLMs Agregadores: Delegar coerência a um LLM agregador reduziu o resíduo médio, mas ainda resultou em 15% das partições excedendo o limiar de 0,05 e 7% regredindo em relação à composição ingênua.
  • Modelos de Fronteira: Mesmo com um painel apenas de fronteira, $\varepsilon^\star > 0$ persistiu em 97,8% das apostas de partição, embora a magnitude tenha diminuído 39%.

Validação do Mecanismo

• Visibilidade de Acoplamento: Um experimento onde especialistas foram explicitamente mostrados as restrições de partição e as cotações dos pares ("INFORMADO") reduziu $\varepsilon^\star$ significativamente em comparação com prompts isolados ("CEGO"), confirmando que a falha surge porque os especialistas carecem de visibilidade sobre restrições entre componentes.
• Topologia de Roteamento: Roteamento estruturado (atribuir modelos específicos a tipos específicos de relação) não eliminou a incoerência, embora tenha alterado a distribuição dos resíduos.

4. Contribuições

1. Formalização de um Modo de Falha: O artigo define e caracteriza o regime "localmente coerente, globalmente incoerente", provando que a calibração por componente é insuficiente para coerência no nível do sistema sob acoplamento.
2. Certificado de Tempo de Execução ($\varepsilon^\star$): Introduz uma métrica computável e livre de distribuição para incoerência no nível do sistema que requer apenas a saída composta e restrições declaradas.
3. Dicotomia Teórica: Fornece uma condição precisa (Teorema 3.3) para quando a coerência local é suficiente, distinguindo entre fatorização de estrutura de produto e restrições acopladas.
4. Reparo Construtivo: Demonstra que a projeção hierárquica de Boyle–Dykstra pode eliminar determinísticamente $\varepsilon^\star$ ao custo de uma única resolução de programação quadrática (QP), superando todas as alternativas baseadas em prompt ou agregadores LLM.
5. Benchmark Empírico: Estabelece um benchmark decomponível onde a ordem de dificuldade (Partição > Negação > Disjunção > Conjunção) alinha-se com previsões teóricas sobre a restritividade do poliedro.

5. Significado e Alegações

O artigo alega que a coerência no nível do sistema é uma propriedade distinta da calibração por componente que deve ser gerenciada explicitamente em sistemas multiagentes. A contribuição primária é o reenquadramento operacional de $\varepsilon^\star$ como um certificado de tempo de execução que pode detectar e reparar exposições a Dutch-book que nenhum componente individual consegue identificar.

Os autores enfatizam que:

• Engenharia de prompt e recuperação são insuficientes para resolver este problema; a falha é estrutural à composição de previsões probabilísticas isoladas.
• Reparo geométrico é necessário e suficiente para restaurar a coerência quando o conjunto de acoplamento é explícito.
• A falha persiste através de escalas de modelos, indicando que aumentar a capacidade do modelo não resolve inerentemente a incoerência compositiva.

O trabalho posiciona $\varepsilon^\star$ como uma barreira crítica para aplicações de alto risco (previsão, suporte à decisão) onde a consistência lógica é primordial, oferecendo uma correção determinística que complementa métodos existentes de quantificação de incerteza, como previsão conformal.