A CAP-like Trilemma for Large Language Models: Correctness, Non-bias, and Utility under Semantic Underdetermination

Résumé technique : Un trilemme de type CAP pour les modèles de langage de grande taille

Énoncé du problème
Ce papier identifie une tension structurelle dans la génération de réponses par les modèles de langage de grande taille (LLM), analogue au théorème CAP dans les systèmes distribués. Alors que le théorème CAP postule que la cohérence, la disponibilité et la tolérance aux partitions ne peuvent être garanties simultanément lors de partitions réseau, ce travail soutient que les LLM font face à une impossibilité similaire sous sous-détermination sémantique.

Une invite est définie comme sémantiquement sous-déterminée lorsque les faits, hypothèses et prémisses disponibles ($F_x$) sont insuffisants pour déduire logiquement une réponse unique. Dans de tels scénarios, les requêtes utilisateur (par exemple, « Quel candidat doit être sélectionné ? » ou « Quelle ville est meilleure ? ») demandent une décision singulière, pourtant les prémisses ne spécifient pas le critère de décision nécessaire pour justifier ce choix. Le papier postule qu'un LLM ne peut garantir simultanément trois propriétés souhaitables dans ces contextes :

1. Correction forte ($C_{strong}$) : La sortie est strictement déduite des prémisses disponibles ($F_x \models y$).
2. Non-biais strict ($NB_{strict}$) : Le modèle ne privilégie pas un candidat par rapport à un autre sauf si cette préférence est explicitement justifiée par $F_x$. Le biais est défini ici largement comme toute préférence de sélection, antériorité ou critère normatif non étayée.
3. Utilité décisive ($U_{decisive}$) : La réponse fournit une réponse concrète et exploitable plutôt que de refuser, d'hésiter ou de demander des clarifications.

Méthodologie
Le papier emploie un cadre logique formel pour articuler ce trilemme, en établissant une analogie directe avec la formalisation Gilbert-Lynch du théorème CAP.

• Définitions formelles : Les auteurs définissent l'ensemble des réponses compatibles avec les prémisses $S_x = \{a \in A \mid a \text{ est compatible avec } F_x\}$. Une invite est sous-déterminée si $|S_x| > 1$.
• Formulation logique : La conjecture centrale est formalisée comme $D(x) \Rightarrow \neg(C_{strong} \land NB_{strict} \land U_{decisive})$. Cela implique que si une invite est sous-déterminée, il est impossible de satisfaire simultanément les trois conditions.
• Analyse par paires : Le papier analyse les compromis par paires :
  • $C_{strong} \land NB_{strict} \Rightarrow \neg U_{decisive}$ : Pour rester correct et non biaisé, le modèle doit refuser ou demander des clarifications, réduisant ainsi l'utilité.
  • $NB_{strict} \land U_{decisive} \Rightarrow \neg C_{strong}$ : Pour être utile et décisif tout en restant neutre, le modèle peut présenter des équivalences non étayées qui affaiblissent la correction.
  • $C_{strong} \land U_{decisive} \Rightarrow \neg NB_{strict}$ : Pour fournir une réponse correcte et décisive, le modèle doit introduire un critère de sélection ; si ce critère n'est pas fourni par l'utilisateur, il fonctionne comme un biais non étayé.
• Études de cas : La méthodologie est illustrée par trois exemples :
  1. Sélection de bourses : Choisir entre des étudiants sur la base du GPA et des besoins financiers sans règle de pondération spécifiée.
  2. Recommandation subjective : Classer des villes sur la base de priorités utilisateur non déclarées (par exemple, marché de l'emploi vs sécurité).
  3. Décision normative : Prioriser le profit par rapport au bien-être des employés sans cadre éthique défini.

Contributions clés

1. La conjecture de type CAP : La contribution principale est la formulation du « Trilemme Correction–Non-biais–Utilité ». Cela déplace l'attention de la vision des échecs des LLM comme de simples limitations de modèle (par exemple, hallucination ou biais des données d'entraînement) vers la reconnaissance de leurs conséquences structurelles découlant de demandes de décision sous-déterminées.
2. Redéfinition du biais : Le papier élargit la définition du biais au-delà des préjugés démographiques ou sociaux pour inclure le « biais théorique de sélection ». Dans des contextes sous-déterminés, tout mécanisme qui sélectionne une seule réponse parmi plusieurs options valides sans justification explicite de l'utilisateur constitue un biais.
3. Formalisation du refus : Ce travail reframe le refus du modèle ou les demandes de clarification non pas comme des échecs de l'assistance, mais comme des stratégies de préservation de la cohérence, analogues à un système distribué refusant une requête lors d'une partition réseau pour éviter l'incohérence.
4. Proposition de politique de conception : Les auteurs proposent une politique pratique $\pi(x)$ pour gérer ces compromis, suggérant que les modèles devraient :
   • Répondre directement si $|S_x| = 1$.
   • Demander des clarifications si $|S_x| > 1$ et qu'aucun critère n'est fourni.
   • Fournir des réponses conditionnelles si plusieurs critères sont plausibles.
   • Recommander avec des hypothèses déclarées si l'utilité exige strictement une décision.

Résultats et affirmations
Le papier ne présente pas de résultats expérimentaux empiriques mais offre une preuve théorique par l'absurde. Il démontre que pour toute invite sous-déterminée comportant plusieurs réponses valides, satisfaire les trois propriétés conduit à une contradiction logique.

• Résultat théorique : Une réponse décisive ($y \in S_x$) nécessite l'introduction d'une fonction de valeur ou d'un critère $\theta$. Si $\theta$ n'est pas dans $F_x$, la réponse n'est pas fortement correcte ($F_x \not\models y$). Si $\theta$ est caché, la réponse est biaisée. Si $\theta$ est explicite mais que le modèle refuse de choisir, l'utilité est réduite.
• Implication pour l'alignement : Le papier soutient que les efforts actuels d'alignement, qui traitent souvent la véracité, l'innocuité et l'assistance comme des objectifs maximisables indépendamment, peuvent être fondamentalement défectueux dans des contextes sous-déterminés. Une réponse « utile » nécessite souvent une préférence, et une réponse « neutre » nécessite souvent un refus.

Signification
Le papier affirme que la compréhension de ce trilemme est cruciale pour la prochaine génération d'alignement et de déploiement des LLM.

• Reframe des échecs : Il suggère que de nombreux échecs de modèle perçus sont structurellement induits par la nature de l'invite plutôt que par l'incompétence du modèle.
• Transparence plutôt que neutralité : Il soutient que l'objectif ne devrait pas être d'éliminer le compromis mais de le rendre explicite. Les modèles devraient privilégier la « correction conditionnelle » et la « non-biais transparente » (divulgation des hypothèses utilisées) par rapport à l'« utilité décisive » lorsque les prémisses sont insuffisantes.
• Impact systémique : À mesure que les modèles de base sont déployés dans des tâches en aval à haut risque, reconnaître qu'une réponse « équilibrée » peut en réalité être une affirmation d'égalité non étayée est vital pour prévenir la propagation de cadres normatifs cachés.

En conclusion, le papier affirme que les stratégies d'alignement doivent évoluer pour étudier comment la correction, la non-biais et l'utilité s'échangent sous la sous-détermination sémantique, plutôt que de tenter de les maximiser indépendamment.