Résumé Technique : Localement Cohérent, Globalement Incohérent

1. Énoncé du Problème

Les agents de modèles de langage (LLM) multi-composants décomposent souvent des problèmes complexes conjoints en sous-tâches gérées par des sous-agents ou des outils spécialisés. Bien que les composants individuels puissent être localement cohérents (internement cohérents et calibrés sur leurs sous-questions spécifiques), l'agrégation de leurs sorties peut violer les axiomes fondamentaux de la probabilité. Ce phénomène, qualifié de « localement cohérent, globalement incohérent », aboutit à un état de croyance composé qui attribue une masse de probabilité totale supérieure à 1 (ou viole des contraintes logiques telles que $P(A) + P(\neg A) = 1$).

Les métriques d'évaluation existantes (précision par question, calibration, prédiction conforme) opèrent sur les sorties individuelles des modèles et échouent à détecter les violations logiques inter-composants. Par conséquent, les agents multi-composants peuvent produire des expositions de « livre hollandais » (Dutch-book) — des combinaisons de paris garantissant une perte pour le système — strictement en raison de l'incohérence introduite lors de la composition, même lorsque chaque composant est individuellement valide.

2. Méthodologie

Cadre Théorique

L'article formalise le mode de défaillance en utilisant la géométrie convexe et la théorie des probabilités :

• Résidu Compositionnel ($\varepsilon^\star$) : Défini comme la distance $L_2$ entre la cote composée (après réparations locales) et le polytope cohérent conjoint ($M_\star$). Ce polytope représente l'ensemble de tous les vecteurs de probabilité satisfaisant les contraintes logiques conjointes (par exemple, partitions, négations, conjonctions).
• Dichotomie de Structure Produit (Théorème 3.3) : L'article établit une condition nécessaire et suffisante pour que la cohérence locale implique la cohérence globale. Sous une « agrégation sélectionnée par le propriétaire » (où chaque composant possède un sous-ensemble distinct de coordonnées), la cohérence globale est garantie si et seulement si le polytope conjoint se factorise en un produit cartésien de polytopes locaux ($M_\star = M_\boxtimes$). Si des contraintes de couplage inter-composants existent (par exemple, une partition sommant à 1), la cohérence locale est insuffisante, et $\varepsilon^\star > 0$ est possible.
• Prédiction de l'Amplitude (Corollaire 3.9) : Le résidu carré attendu est prédit par une forme de quotient de Rayleigh basée sur la covariance du panel de spécialistes et le vecteur normal de la contrainte liante. Cela permet une prédiction sous forme fermée de l'amplitude de l'incohérence avant le routage.
• Borne d'Exposition (Corollaire 3.5) : Selon le théorème fondamental de l'évaluation des actifs (FTAP), l'exposition au livre hollandais au niveau du système est bornée par $\sqrt{m^\star} \varepsilon^\star$, où $m^\star$ est le nombre de coordonnées conjointes.

Réparation Algorithmique

• Projection Hiérarchique de Boyle–Dykstra : Pour réparer de manière déterministe les compositions incohérentes, les auteurs proposent un algorithme de projection cyclique. Celui-ci projette itérativement la cote composée sur les polytopes locaux et l'ensemble de couplage (contraintes) jusqu'à convergence vers le polytope cohérent conjoint.
• Surveillance Séquentielle : Un processus e valide à tout moment (anytime-valid e-process) est introduit pour surveiller les flux de résidus compositionnels dans le temps, permettant aux opérateurs de détecter une incohérence persistante sans fixer d'horizon d'arrêt à l'avance.

Configuration Expérimentale

Les auteurs ont évalué 1 876 cliques d'ensemble à travers quatre classes de relations logiques : Négation, Conjonction, Disjonction et Partition.

• Modèles : Un panel de milieu de gamme (Claude-Haiku-4.5, GPT-5.4-mini/nano, Llama-3.3-70b) et un panel de pointe (incluant GPT-5.5, Claude-Opus-4.7, DeepSeek-V3.2).
• Référentiels : Paleka (cohérence inter-questions) et Polymarket (événements de partition).
• Protocoles : Attribution aléatoire des questions aux spécialistes, routage structuré et mécanismes de discrétion du planificateur.

3. Résultats Clés

Résultats Empiriques

• Prévalence de l'Incohérence : $\varepsilon^\star > 0$ a été observé sur 33 à 94 % des cliques, selon la classe de relation. Les tâches de partition ont montré le taux d'échec le plus élevé (94 %), suivies par la négation (66 %), la disjonction (43 %) et la conjonction (33 %).
• Prédiction de l'Amplitude : La prédiction par quotient de Rayleigh correspondait aux résidus observés à 7 % près pour trois des quatre classes de relations. La classe de conjonction a légèrement sous-estimé (0,83×) en raison du fait que la moyenne du panel se situait à l'intérieur du demi-espace de Fréchet, un régime prédit par la théorie.
• Impact sur la Prise de Décision : Sur 1 770 paris résolus, la composition naïve a entraîné un regret de +0,115 nats par pari sous une règle d'allocation proportionnelle. La réparation JCD hiérarchique a réduit cela à près de zéro, égalant la performance d'un oracle à LLM unique.
• Échec des Atténuations Côté LLM :
  • Récupération : L'ajout d'outils de recherche aux spécialistes n'a pas réduit $\varepsilon^\star$ ; dans 20 cas sur 30, cela a augmenté l'incohérence.
  • Ingénierie de Prompt : Le prompting conscient des partitions a réduit les résidus mais a laissé 53 % des partitions avec $\varepsilon^\star > 0,05$.
  • LLM Agrégateurs : Déléguer la cohérence à un LLM agrégateur a réduit le résidu moyen mais a encore conduit à 15 % des partitions dépassant le seuil de 0,05 et à 7 % régressant par rapport à la composition naïve.
  • Modèles de Pointe : Même avec un panel exclusivement de pointe, $\varepsilon^\star > 0$ persistait sur 97,8 % des paris de partition, bien que l'amplitude ait diminué de 39 %.

Validation du Mécanisme

• Visibilité du Couplage : Une expérience où les spécialistes étaient explicitement informés des contraintes de partition et des cotes de leurs pairs (« INFORMÉ ») a réduit $\varepsilon^\star$ de manière significative par rapport aux prompts isolés (« AVEUGLE »), confirmant que l'échec provient du manque de visibilité des spécialistes sur les contraintes inter-composants.
• Topologie de Routage : Le routage structuré (affectation de modèles spécifiques à des types de relations spécifiques) n'a pas éliminé l'incohérence, bien qu'il ait modifié la distribution des résidus.

4. Contributions

1. Formalisation d'un Mode de Défaillance : L'article définit et caractérise le régime « localement cohérent, globalement incohérent », prouvant que la calibration par composant est insuffisante pour la cohérence au niveau du système sous couplage.
2. Certificat d'Exécution ($\varepsilon^\star$) : Introduction d'une métrique calculable et sans distribution pour l'incohérence au niveau du système, ne nécessitant que la sortie composée et les contraintes déclarées.
3. Dichotomie Théorique : Fournit une condition précise (Théorème 3.3) pour déterminer quand la cohérence locale suffit, distinguant la factorisation de structure produit des contraintes couplées.
4. Réparation Constructive : Démontre que la projection hiérarchique de Boyle–Dykstra peut éliminer de manière déterministe $\varepsilon^\star$ au prix d'une seule résolution de programmation quadratique (QP), surpassant toutes les alternatives basées sur des prompts ou des agrégateurs LLM.
5. Référentiel Empirique : Établit un référentiel décomposable où l'ordre de difficulté (Partition > Négation > Disjonction > Conjonction) s'aligne sur les prédictions théoriques concernant la restrictivité des polytopes.

5. Signification et Revendications

L'article affirme que la cohérence au niveau du système est une propriété distincte de la calibration par composant qui doit être explicitement gérée dans les systèmes multi-agents. La contribution principale est le recadrage opérationnel de $\varepsilon^\star$ comme un certificat d'exécution capable de détecter et de réparer les expositions de livre hollandais qu'aucun composant individuel ne peut identifier.

Les auteurs soulignent que :

• L'ingénierie de prompt et la récupération sont insuffisantes pour résoudre ce problème ; l'échec est structurel à la composition de prévisions probabilistes isolées.
• La réparation géométrique est nécessaire et suffisante pour restaurer la cohérence lorsque l'ensemble de couplage est explicite.
• L'échec persiste à travers les échelles de modèles, indiquant que l'augmentation des capacités des modèles ne résout pas intrinsèquement l'incohérence compositionnelle.

Ce travail positionne $\varepsilon^\star$ comme une garde-fou critique pour les applications à haut risque (prévisions, aide à la décision) où la cohérence logique est primordiale, offrant une solution déterministe qui complète les méthodes existantes de quantification de l'incertitude comme la prédiction conforme.