Résumé Technique : Cohérence sous Engagement (CUC)

Énoncé du Problème

Les grands modèles de langage (LLM) déployés dans des domaines à forte intensité de connaissances présentent un mode de défaillance critique : la cohérence vacue. Les métriques d'évaluation standards privilégient la cohérence logique (par exemple, la cohérence de négation, où un modèle ne doit pas affirmer simultanément une proposition et sa négation). Cependant, un modèle peut satisfaire trivialement ces contraintes de cohérence en s'abstenant systématiquement de porter tout jugement décisif. En refusant de s'engager soit sur l'implication, soit sur la réfutation, un modèle atteint une contradiction logique nulle tout en fournissant une utilité de raisonnement nulle.

Dans les environnements à enjeux élevés (ex. : diagnostics cliniques, raisonnement scientifique), ce comportement « sûr » est indiscernable d'une fiabilité authentique sous les évaluations standards. Un modèle qui refuse de répondre à 90 % des requêtes paraît « cohérent », mais est opérationnellement inutile. Les paradigmes d'évaluation actuels ne parviennent pas à détecter cela car ils mesurent la cohérence de manière isolée, ignorant l'engagement épistémique requis pour un raisonnement actionnable.

Méthodologie : Cohérence sous Engagement (CUC)

Les auteurs proposent la Cohérence sous Engagement (CUC), un paradigme d'évaluation par double requête conçu pour mesurer conjointement la cohérence logique et la décisivité épistémique.

1. Protocole d'Élicitation par Double Requête

Au lieu d'une requête unique, la CUC construit une paire symétrique de requêtes pour chaque prémisse $P$ et hypothèse $\phi$ :

• $Q_\phi$ : « $\phi$ est-elle logiquement impliquée par $P$ ? »
• $Q_{\neg\phi}$ : « $\neg\phi$ est-elle logiquement impliquée par $P$ ? »

Pour éliminer la variance d'échantillonnage et les artefacts de décodage, le protocole utilise une élicitation déterministe. Il extrait les log-probabilités normalisées pour les réponses binaires (OUI/NON) directement des logits du modèle :
$$\mathcal{P}(\phi) = \frac{\exp(\log P(\text{OUI}|Q_\phi))}{\exp(\log P(\text{OUI}|Q_\phi)) + \exp(\log P(\text{NON}|Q_\phi))}$$
Cela produit une masse de probabilité pour la réponse affirmative pour l'hypothèse et sa négation.

2. Métriques Fondamentales

Le cadre définit deux métriques primaires dérivées des probabilités $\mathcal{P}(\phi)$ et $\mathcal{P}(\neg\phi)$ :

• Score d'Engagement ($c(\phi)$) :
  $$c(\phi) = \mathcal{P}(\phi) + \mathcal{P}(\neg\phi)$$
  Ceci quantifie la masse de probabilité totale allouée aux issues décisives. Un score faible indique que le modèle traite la requête comme étant effectivement inconnue (abstention), indépendamment de sa cohérence.

• Violation de Cohérence par Négation ($v_{neg}(\phi)$) :
  $$v_{neg}(\phi) = \max(0, c(\phi) - 1)$$
  Ceci mesure l'étendue de l'assignation d'une masse de probabilité supérieure à l'unité à des résultats mutuellement exclusifs. Une valeur $>0$ indique une incohérence logique (sur-engagement simultané).

Insight Clé : Le papier établit l'identité algébrique $v_{neg} = \max(0, c - 1)$. Cela implique que tout modèle avec $c(\phi) \leq 1$ atteindra automatiquement une violation nulle, quelle que soit la qualité de son raisonnement. Des taux de violation faibles peuvent être un artefact d'un faible engagement.

3. Cadre de Décision à 3 Voies

Pour opérationnaliser ces métriques, les auteurs définissent une règle de décision avec des seuils $\tau$ (confiance) et $\delta$ (marge) :

• VRAI : Si $\mathcal{P}(\phi) \geq \tau$ et $\mathcal{P}(\phi) \geq \mathcal{P}(\neg\phi) + \delta$.
• FAUX : Si $\mathcal{P}(\neg\phi) \geq \tau$ et $\mathcal{P}(\neg\phi) \geq \mathcal{P}(\phi) + \delta$.
• INCERTAIN : Sinon.

Cela permet à l'évaluation de rapporter la Couverture (fraction des prédictions non-INCERTAINES) et l'Exactitude Conditionnelle ($Acc_{cov}$), distinguant les modèles qui sont précis mais s'abstiennent de ceux qui sont décisifs mais contradictoires.

Configuration Expérimentale

• Jeux de données : Évalué sur FOLIO v0.0 (204 exemples avec des négations formellement vérifiées) et LOGIQA v2 (304 exemples avec négation basée sur des règles).
• Modèles : Quatre modèles à poids ouverts (1,1B–3B de paramètres) : TinyLlama-1.1B, Phi-2, Qwen2.5-1.5B, et Qwen2.5-3B.
• Protocole : Extraction déterministe des log-probabilités sur les tokens OUI/NON.

Résultats Clés

1. La Frontière Cohérence-Engagement

Les expériences révèlent une frontière de compromis (trade-off) nette et empiriquement robuste. Aucun modèle n'atteint simultanément une couverture élevée et une violation faible.

• Abstention Systématique (Qwen2.5-3B) : Atteint le taux de violation le plus bas ($E[v_{neg}] = 0,025$), paraissant « meilleur » selon les métriques de cohérence seule. Cependant, il possède un score d'engagement de $0,115$ et une couverture de 7,4 %, refusant de prédire sur plus de 92 % des exemples.
• Sur-engagement Systématique (TinyLlama-1.1B) : Atteint une couverture de 79,4 % mais viole les axiomes de probabilité sur 100 % des exemples ($E[v_{neg}] = 0,698$), assignant une masse de probabilité $>1,6$ à des issues contradictoires.
• Modèles Intermédiaires : Phi-2 et Qwen2.5-1.5B occupent des positions intermédiaires, présentant des degrés variables d'abstention et de contradiction.

2. Échec des Évaluations Standards

• Aveuglement sur l'Exactitude : Les scores d'exactitude à 3 voies standards sont presque identiques entre les modèles (variant seulement de 0,343 à 0,441), masquant les modes de défaillance diamétralement opposés de l'abstention versus le sur-engagement.
• Piège de la Cohérence Seule : Une évaluation de cohérence seule classerait Qwen2.5-3B comme le modèle supérieur (6,6× moins de violation que le suivant), récompensant à tort un modèle qui ne fournit presque aucun raisonnement actionnable.
• Illusion de Calibration : Même sur le petit sous-ensemble de prédictions engagées, les modèles montrent une mauvaise calibration (erreur de calibration attendue élevée). La calibration apparente de Qwen2.5-3B est un artefact de son filtrage agressif (sélectionnant seulement les 7 % d'exemples les plus faciles).

3. Effets de Mise à l'Échelle (Scaling)

Le passage de Qwen2.5 de 1,5B à 3B paramètres a entraîné une réduction de 83 % de l'engagement et une chute de 23,5 points de la couverture, avec un changement négligeable de l'exactitude. Le modèle plus large a appris à tempérer (s'abstenir) plutôt qu'à raisonner plus précisément, un comportement que les métriques standards interpréteraient à tort comme une amélioration de la cohérence.

Signification et Revendications

Le papier soutient que l'évaluation du raisonnement logique doit passer de la question « Le modèle est-il cohérent ? » à « Le modèle est-il utilement cohérent ? ».

1. La Cohérence Vacue est un Angle Mort : Les métriques standards ne peuvent pas distinguer un modèle qui raisonne correctement d'un modèle qui refuse simplement de répondre. La CUC expose cela en exigeant un engagement non-vacu.
2. La Frontière est Inévitable : Il existe une tension fondamentale entre cohérence et engagement. Les modèles optimisant une dimension tendent souvent à dégrader l'autre.
3. Agnosticisme de Modalité : Bien qu'instanciée sur du texte, la structure est théoriquement applicable aux contextons multimodaux (ex. : VQA, robotique) où des requêtes complémentaires peuvent être posées sur des images et du texte.
4. Nécessité Méthodologique : Les auteurs affirment que rapporter à la fois la cohérence et l'engagement est essentiel pour les déploiements à enjeux élevés où l'abstention entraîne de réels coûts opérationnels. La CUC fournit le premier cadre principiste pour quantifier ce compromis et empêcher le déploiement de modèles qui sont « cohérents » uniquement parce qu'ils sont silencieux.

Le papier conclut que sans des métriques comme la CUC, les praticiens risquent de déployer des modèles qui paraissent fiables mais qui sont fonctionnellement inertes dans des domaines à forte intensité de connaissances.