Résumé technique : La cohérence opéradique comme signal sans étiquette pour les échecs de raisonnement compositionnel

1. Énoncé du problème

Les modèles de langage de grande taille (LLM) modernes, y compris les récents modèles de « réflexion » (thinking models), génèrent fréquemment des chaînes de raisonnement fluides et assurées qui échouent à se composer en une réponse finale correcte. Ce phénomène, connu sous le nom de « fossé de compositionnalité » (compositionality gap), représente un mode d'échec critique où les sous-conclusions ne s'agrègent pas logiquement pour aboutir à la solution visée. Détecter ces échecs au moment de l'inférence, sans accès aux étiquettes de vérité terrain, est un défi central pour la détection des hallucinations, le calibrage des modèles et la prédiction sélective.

Les méthodes de référence existantes pour la confiance lors de l'inférence se répartissent généralement en trois catégories :

1. Méthodes d'échantillonnage et d'agrégation : Telles que la cohérence de soi par chaîne de pensée (CoT-SC), qui mesure la variance à travers les sorties échantillonnées par température.
2. Méthodes basées sur l'entropie : Telles que l'entropie sémantique, qui calcule l'entropie sur les clusters sémantiques d'échantillons.
3. Méthodes d'auto-évaluation : Telles que $P(\text{Vrai})$, qui sollicite la propre probabilité du modèle quant à la justesse de sa réponse.

Les auteurs soutiennent que ces méthodes sondent principalement la diversité d'échantillonnage ou l'auto-évaluation, qui sont souvent orthogonales à l'intégrité structurelle du processus de raisonnement. Un modèle peut être de manière erronée très confiant avec une faible variance d'échantillonnage, ou correct avec une variance élevée. Il manque des méthodes qui testent directement si le raisonnement d'un modèle est interne-compositionnel — c'est-à-dire si les sous-conclusions, lorsqu'elles sont prises au sérieux et recomposées, produisent la même réponse finale que la réponse directe du modèle.

2. Méthodologie : L'opérade de questions et la cohérence opéradique

Le papier introduit un cadre formel basé sur la Théorie des Opérades, une structure mathématique conçue pour étudier les systèmes construits par substitution itérée.

2.1 L'opérade de questions ($\mathcal{Q}$)

Les auteurs définissent l'Opérade de Questions ($\mathcal{Q}$), où :

• Opérations : Correspondent à des modèles de questions avec $k$ blancs (arité $k$).
• Composition : Définie par la substitution d'un modèle de question (contenant ses propres blancs) dans un blanc d'un autre modèle. Cela crée une structure de questions en forme d'arbre (Arbre de Questions, ou ToQ).
• Algèbres : Un modèle de langage est interprété comme une algèbre sur $\mathcal{Q}$. Idéalement, la réponse du modèle à une question composite devrait être égale au résultat de la réponse séquentielle à ses sous-questions et de la réinsertion de ces réponses dans la question composite.

2.2 Cohérence Opéradique (OC)

La Cohérence Opéradique est définie comme le prédicat où la réponse directe d'un modèle à une requête complexe concorde avec la réponse produite en composant une décomposition énoncée de cette requête.

• Instanciation : Le papier évalue cela sur des chaînes de profondeur 2 (une question racine décomposée en deux étapes : $Q_1 \to Q_2$).
• Protocole :
  1. Chemin direct : Le modèle répond à la question originale $Q$ directement.
  2. Chemin décomposé : Le modèle répond à la sous-question $Q_1$, substitue la réponse $A_1$ dans $Q_2$, et répond à la $Q_2[A_1]$ résultante.
  3. Score : Le score OC est l'accord sémantique (de 0 à 1) entre la réponse directe et la réponse finale décomposée, calculé à l'aide de scoreurs spécifiques au jeu de données (ex: SQuAD-F1, égalité de valeur pour les nombres, extraction oui/non).
• Coût : Cela nécessite exactement 3 appels au modèle par question (1 direct, 2 étapes décomposées).

Le cadre s'applique à la fois aux modèles ajustés par instructions (non-réfléchissants) (où les décompositions sont fournies par des annotateurs humains ou des métadonnées du jeu de données) et aux modèles de réflexion (où la décomposition est extraite de leur propre chaîne de pensée).

3. Contributions clés

1. Cadre théorique : La définition de l'Opérade de Questions $\mathcal{Q}$ et l'interprétation des LLM comme des algèbres sur $\mathcal{Q}$, fournissant une base formelle pour diagnostiquer les échecs de compositionnalité.
2. Signal empirique (OC) : La proposition de la Cohérence Opéradique comme un signal par question qui présente une forte corrélation avec la précision.
3. Complémentarité : Démonstration que l'OC fournit des informations prédictives distinctes et complémentaires aux standards de référence (CoT-SC, Entropie Sémantique, $P(\text{Vrai})$).
4. Utilité de déploiement : Preuve que la combinaison de l'OC avec la CoT-SC améliore la prédiction sélective (précision à couverture fixe) pour un coût d'inférence égal.

4. Résultats expérimentaux

L'étude a évalué 17 modèles (12 ajustés par instructions, 5 modèles de réflexion) sur quatre jeux de données de questions multi-étapes (HotpotQA, MuSiQue, StrategyQA, DROP) et un jeu de données mathématiques (GSM8K pour les modèles de réflexion).

4.1 Corrélation de précision inter-modèles

• Force uniforme : L'OC montre une forte corrélation de Pearson ($r \in [0.86, 0.94]$) avec la précision du modèle sur les quatre jeux de données.
• Comparaison : La CoT-SC (à $K=10$) égale l'OC sur HotpotQA ($r=0.93$) et DROP ($r=0.87$) mais s'effondre sur MuSiQue ($r=0.43$) et StrategyQA ($r=0.46$). L'Entropie Sémantique et $P(\text{Vrai})$ échouent également à maintenir une corrélation élevée sur tous les jeux de données.
• Estimation sans étiquette : En utilisant un protocole de type "leave-one-model-out", le taux d'OC d'un modèle tenu à l'écart prédit sa précision avec une erreur absolue moyenne (MAE) de 3,0 points de pourcentage, surpassant nettement la CoT-SC ($K=10$), qui présente une MAE de 4,6 pp.

4.2 Pouvoir prédictif par question

• Régression logistique : Pour prédire la justesse sur une base par question, l'OC apporte une information marginale significative même en contrôlant la CoT-SC, l'Entropie Sémantique et les bases de référence tenant compte de la décomposition (ex: cohérence de soi décomposée). Le coefficient de l'OC est hautement significatif ($p \le 10^{-16}$) sur tous les jeux de données.
• Bases de référence tenant compte de la décomposition : L'étude a testé la « cohérence de soi décomposée » (échantillonnage uniquement de la seconde étape de la décomposition) et un modèle de récompense de processus (Skywork-PRM). Aucun n'a atteint la corrélation uniforme inter-modèles de l'OC, et aucun n'a supplanté la signification de l'OC dans les régressions conjointes.

4.3 Prédiction sélective

• Modèles non-réfléchissants : À budget de coût égal ($K=3$ appels), l'ajout de l'OC à une base CoT-SC a amélioré l'AUARC de +0,086 à +0,096 et l'AUROC de +0,092 à +0,164 sur les quatre jeux de données. Les intervalles de confiance bootstrap à 95 % excluent zéro pour chaque cellule.
• Modèles de réflexion : Sur cinq modèles de réflexion de pointe, où les décompositions ont été extraites de leur propre chaîne de pensée, le combinateur OC + Auto-cohérence a montré des augmentations de l'estimation ponctuelle sur les 16 cellules testées (jeu de données, budget, métrique), avec 12 sur 16 ayant des IC à 95 % excluant zéro.

5. Signification et affirmations

L'article affirme que la Cohérence Opéradique offre un diagnostic structurel du raisonnement des LLM qui est fondamentalement différent des signaux basés sur la variance.

• Mécanisme : Alors que la CoT-SC et l'Entropie Sémantique mesurent combien la sortie du modèle varie, l'OC mesure si les étapes de raisonnement du modèle sont cohérentes. Elle demande : « Si je décompose ce problème et que je le recompose, est-ce que j'obtiens la même réponse ? »
• Robustesse : Le signal est robuste au choix du scoreur de justesse (validé via un juge LLM et des scoreurs alternatifs) et s'applique à des modèles allant de 4B à 671B de paramètres, ainsi qu'aux systèmes à poids ouverts et fermés.
• Praticité : L'OC est un signal de temps d'inférence sans étiquette, ne nécessitant aucune donnée de vérité terrain pour le déploiement, ce qui la rend adaptée à l'estimation de la confiance en temps réel et à la prédiction sélective en environnement de production.
• Limites : Les auteurs notent que l'OC est une condition nécessaire mais non suffisante de la justesse (des faux positifs surviennent lorsque le modèle est systématiquement erroné ; des faux négatifs surviennent lorsque le chemin direct est correct mais que le chemin décomposé échoue). Par conséquent, ils recommandent de déployer l'OC comme partie d'une pile de signaux multiples plutôt que comme une porte d'entrée autonome.

Ce travail positionne l'Opérade de Questions non seulement comme un vocabulaire descriptif, mais comme un cadre génératif pour dériver de nouveaux signaux de diagnostic, suggérant des directions futures impliquant des arbres plus profonds, des décompositions ramifiées et des algèbres sur d'autres quantités (ex: confiance, coût).