Résumé technique : Position : Il est temps d'optimiser les LLM pour l'auto-cohérence

1. Énoncé du problème

Malgré les progrès réalisés dans les pipelines d'entraînement et le passage à l'échelle des données, les grands modèles de langage (LLM) continuent de présenter des modes de défaillance persistants, notamment :

• La sycophantie : Les modèles sur-personnalisent leur comportement pour s'aligner sur les croyances de l'utilisateur, même lorsque celles-ci contredisent des faits pertinents pour la tâche.
• L'incomplétude de la généralisation logique : Les modèles ne parviennent pas à maintenir une cohérence logique à travers des entrées liées (par exemple, la « malédiction de l'inversion » ou l'échec de la mise à jour cohérente des connaissances).
• L'incorrect de confiance : Les modèles génèrent des réponses qui semblent cohérentes de manière isolée, mais qui sont factuellement ou logiquement incohérentes lorsqu'elles sont examinées à travers de multiples interactions.

Les auteurs soutiennent que ces échecs découlent d'une hypothèse de modélisation commune : que le comportement du modèle peut être spécifié et évalué indépendamment sur des paires entrée-sortie uniques. Les objectifs actuels (SFT, RLHF, RLVR) optimisent des vraisemblances ou des récompenses ponctuelles, ignorant la structure relationnelle entre les réponses à des entrées liées. Ce document pose que nombre de ces échecs sont fondamentalement des problèmes d'auto-cohérence — la cohérence du comportement d'un modèle à travers différents contextes, formulations ou étapes temporelles.

2. Méthodologie : Le cadre de l'auto-cohérence

Le document propose un cadre unifié où le comportement du modèle est contraint par une fonction de cohérence $\phi$ qui évalue les relations entre plusieurs paires entrée-sortie, plutôt que des paires uniques.

2.1 Formulation formelle

Soit $p_\theta(y|x)$ la probabilité d'une sortie $y$ étant donné une entrée $x$. L'entraînement standard maximise des objectifs ponctuels (par exemple, $\sum \log p_\theta(y|x)$ ou $\sum \mathbb{E}[\text{REWARD}(x, \hat{y})]$).

Le cadre proposé introduit une fonction de cohérence $\phi(x_{1:n}, y_{1:n})$ qui attribue une valeur élevée à des ensembles d'entrées $x_{1:n}$ et de sorties correspondantes $y_{1:n}$ s'ils satisfont une contrainte relationnelle spécifique. L'objectif d'optimisation devient :
$$\mathbb{E}_{y_{1:n} \sim p_\theta(\cdot|x_{1:n})} [\phi(x_{1:n}, y_{1:n})]$$

Cet objectif peut être intégré à l'entraînement via trois mécanismes :

1. Contraintes strictes : Imposer $\phi$ comme une contrainte stricte sur l'espace des paramètres.
2. Contraintes souples / Régularisation : Ajouter $\lambda \mathbb{E}[\phi]$ à la fonction de perte standard.
3. Régularisation de l'a posteriori : Projeter la distribution du modèle vers la distribution la plus proche satisfaisant $\phi$.

2.2 Deux classes d'instanciations

Le cadre distingue deux niveaux d'auto-cohérence :

A. Objectifs au niveau de l'instance

Ceux-ci imposent la cohérence entre les réponses du modèle à des entrées liées où aucune des deux réponses ne fait référence à l'autre. Ils sont définis par une relation $R$ sur les entrées et une relation correspondante $S$ sur les sorties :

• Invariances : Les entrées liées par une transformation $g$ (par exemple, paraphrase, changement d'indices de préférence de l'utilisateur) doivent produire des sorties identiques.
  • Exemple (Sycophantie) : Si $x_1$ et $x_2$ sont sémantiquement équivalentes mais diffèrent par des indices de préférence de l'utilisateur, $y_1$ et $y_2$ doivent être équivalentes. Un échec à satisfaire cela indique une sycophantie.
• Équivariances : Une transformation sur l'entrée doit induire une transformation correspondante sur la sortie.
  • Exemple (Cohérence factuelle) : Si un modèle apprend un nouveau fait $x_1$, ses prédictions sur des énoncés contradictoires $x_2$ doivent se mettre à jour logiquement (par exemple, si $x_1$ implique « Vrai », $x_2$ doit impliquer « Faux »).

B. Objectifs au niveau méta

Ceux-ci imposent la cohérence entre les comportements au niveau de l'instance d'un modèle et ses descriptions méta-niveau (auto-descriptions, auto-critiques ou explications) de ces comportements.

• Auto-description : Le modèle génère une description de son propre comportement (par exemple, « Je suis utile », « Je suis incertain à ce sujet ») et le cadre vérifie si cette description s'aligne avec ses sorties réelles sur des instances spécifiques.
• Auto-alignement : Le modèle utilise ses propres descriptions ou critiques comme signal d'entraînement pour améliorer son comportement (par exemple, RLAIF, auto-red-teaming).

3. Contributions clés et études de cas

Le document ne présente pas de nouveaux benchmarks empiriques, mais plutôt une unification théorique des techniques existantes et émergentes sous le prisme de l'auto-cohérence.

3.1 Unification des échecs existants

Les auteurs démontrent que diverses techniques d'alignement sont des cas particuliers de l'auto-cohérence :

• Sycophantie : Présentée comme un échec d'invariance aux indices de préférence de l'utilisateur.
• Cohérence factuelle : Présentée comme une équivariance sous les mises à jour de connaissances.
• Biais et robustesse : Présentés comme une invariance aux indices spécieux (démographie, formulation de l'invite/prompt).

3.2 Activation de capacités émergentes

Le cadre fournit un langage formel pour les capacités qui nécessitent l'introspection :

• Fidélité de la chaîne de pensée (CoT) : Garantir que la trace de raisonnement du modèle (sortie méta) prédit avec précision sa décision finale (sortie d'instance) sous des changements contrefactuels.
• Calibration : Garantir que la confiance déclarée par un modèle (sortie méta) correspond à sa précision empirique à travers des échantillons répétés de la même entrée.
• Auto-red-teaming automatisé : Entraîner des modèles à générer des entrées qui violent leurs propres contraintes, puis utiliser ces violations pour améliorer le modèle.
• Génération d'hypothèses : Entraîner les modèles à articuler les règles régissant leurs prédictions (par exemple, dans les domaines scientifiques) et vérifier que ces règles sont cohérentes avec les prédictions réelles du modèle.

3.3 Stratégies d'optimisation

Le document expose comment optimiser ces objectifs en utilisant des outils existants :

• Entraînement par RL : Traiter le score de cohérence comme un signal de récompense.
• Auto-entraînement / Régularisation de l'a posteriori : Générer des échantillons cohérents (via l'échantillonnage par rejet ou le filtrage) et effectuer un ajustement fin (fine-tuning) sur ceux-ci.
• Application au moment de l'inférence : Utiliser le décodage contraint ou le filtrage de jetons pour satisfaire des contraintes de cohérence strictes.

4. Résultats et affirmations

En tant que papier de position, les auteurs ne rapportent pas de nouveaux résultats expérimentaux (par exemple, des améliorations de précision sur des benchmarks spécifiques). Leurs « résultats » sont plutôt théoriques et conceptuels :

• Unification : Ils démontrent qu'un large éventail de techniques spécialisées (de la robustesse adversaire à la fidélité de la CoT) peut être réduit mathématiquement au même objectif général (Équation 4).
• Tractabilité : Ils soutiennent que spécifier des contraintes relationnelles ($\phi$) est souvent plus facile que de spécifier directement le comportement cohérent souhaité, car évaluer la cohérence entre deux réponses existantes est moins coûteux en termes de calcul que de générer une réponse cohérente à partir de zéro.
• Scalabilité : Le cadre permet d'utiliser les LLM comme « juges » pour générer des jeux de données structurés d'entrées/sorties liées, facilitant l'augmentation automatique des données et les boucles d'auto-amélioration sans nécessxim de nouvelles données de vérité terrain.

5. Signification et position

Le document soutient que le domaine a dépassé le paradigme consistant à optimiser les modèles uniquement sur des points de données isolés. À mesure que l'échelle des données approche de ses limites et que les architectures deviennent plus polyvalentes, le levier principal pour améliorer la fiabilité des modèles doit passer par l'imposition de régularités structurelles dans le comportement.

• Au-delà des correctifs isolés : Plutôt que de traiter la sycophantie, l'hallucination ou le biais comme des bugs isolés nécessitant des correctifs spécifiques, l'auto-cohérence offre un cadre général pour les traiter comme des symptômes d'un manque de cohérence relationnelle.
• Auditabilité et sécurité : Les auteurs affirment que l'auto-cohérence est une condition préalable à une IA auditable. Un modèle qui est cohérent à travers les contextes et qui peut décrire fidèlement son propre comportement (méta-cohérence) est plus prévisible et plus facile à superviser qu'un modèle qui se comporte de manière incohérente ou qui ne peut expliquer ses décisions.
• Mises en garde : Le document reconnaît que l'imposition de la cohérence n'est pas une panacée. Il met en garde contre les « points fixes dégénérés » (par exemple, des modèles excessivement conservateurs qui évitent la contradiction en devenant inutiles) et note que la cohérence ne garantit pas la véracité (un modèle peut être systématiquement trompeur). Ils soulignent que l'auto-cohérence doit être optimisée conjointement avec les objectifs standards (utilité, spécificité) et que les préoccupations de sécurité concernant l'agence émergente doivent être surveillées.

En conclusion, le document positionne l'auto-cohérence non pas comme un nouvel algorithme d'entraînement, mais comme un principe organisateur nécessaire pour la prochaine génération de développement des LLM, comblant le fossé entre les modes de défaillance actuels et les capacités émergentes telles que l'introspection et l'auto-amélioration.