Résumé Technique : Combler l'écart entre Connaissance et Prédiction dans les LLM sur les Questions à Choix Multiples

1. Définition du Problème

Les grands modèles de langage (LLM) présentent fréquemment un « écart connaissance-prédiction » (knowledge-prediction gap), un phénomène où un modèle possède la bonne réponse au sein de ses représentations internes cachées mais échoue à la générer comme sortie finale. Cette divergence est particulièrement évidente dans le cadre des questions à choix multiples (QCM), où les modèles peuvent sélectionner des options incorrectes malgré l'encodage linéaire de la bonne réponse dans leurs flux résiduels. Des travaux antérieurs ont attribué ces échecs à des indices superficiels, des biais d'options ou des artefacts stylistiques, mais une explication unifiée reliant ces échecs à la structure géométrique interne du modèle est restée inexplorée. Plus précisément, il n'est pas clair si cet écart est omniprésent à travers divers domaines, quelle structure géométrique sous-tend le désalignement entre la connaissance interne et le comportement de sortie, et si cet écart peut être atténué au moment de l'inférence sans réentraînement.

2. Méthodologie

Les auteurs proposent un cadre d'analyse et d'intervention en trois étapes :

A. Quantification de l'écart via le sondage linéaire (Linear Probing)

Les auteurs définissent l'écart connaissance-prédiction comme la divergence entre la connaissance encodée dans les représentations internes et les prédictions générées. Pour mesurer cela, ils entraînent deux sondes linéaires distinctes sur les activations du flux résiduel des LLM :

1. Sonde de Connaissance (Knowledge Probe) : Un classificateur linéaire à $k$ classes entraîné pour prédire la réponse exacte ($y$) à partir des états cachés.
2. Sonde de Prédiction (Prediction Probe) : Un classificateur linéaire à $k$ classes entraîné pour prédire le propre choix généré par le modèle ($\tilde{y}$).

Ils évaluent ces sondes à travers divers modèles (ex: Llama 3.1 8B, Qwen 2.5 7B) et benchmarks (Raisonnement, Connaissance, Véracité, Biais). Pour quantifier l'écart, ils introduisent deux métriques :

• Accord de Prédiction (AGR) : La fréquence avec laquelle la sonde de connaissance et la sortie du modèle sélectionnent la même option.
• Divergence Distributionnelle (KLD) : La divergence de Kullback-Leibler entre les distributions de probabilité de la sonde de connaissance et de la sortie du modèle.

B. Interprétation Géométrique

Les auteurs interprètent les vecteurs de poids des sondes entraînées comme définissant des sous-espaces de faible dimension au sein du flux résiduel :

• Sous-espace de Connaissance : Étendu par les poids de la sonde de connaissance.
• Sous-espace de Prédiction : Étendu par les poids de la sonde de prédiction.

Ils émettent l'hypothèse qu'un écart important entre connaissance et prédiction correspond à un désalignement systématique entre ces deux sous-espaces. Lorsque l'écart est important, les coordonnées d'un état caché projeté sur le sous-espace de prédiction divergent considérablement de ses coordonnées dans le sous-espace de connaissance.

C. KAPPA : Intervention au moment de l'inférence

Pour atténuer cet écart, les auteurs introduisent KAPPA (Knowledge-Aligned Prediction through Projection-based Adjustment). KAPPA est une intervention légère au moment de l'inférence qui applique une transformation affine au flux résiduel.

• Mécanisme : Il résout un problème d'optimisation contrainte pour perturber de manière minimale l'état caché $h$ de sorte que ses coordonnées dans le sous-espace de prédiction s'alignent avec ses coordonnées dans le sous-espace de connaissance.
• Formulation : La transformation $T$ mappe $h$ vers $h'$ en résolvant :
  $$\min_{h'} \|h' - h\|^2_2 \quad \text{sous la contrainte} \quad W_{pred}^\top h' = W_{know}^\top h$$
  Cela produit une solution sous forme close qui ajuste l'état caché uniquement au sein du sous-espace de prédiction, laissant les composantes orthogonales inchangées.
• Généralisation : La méthode inclut les hyperparamètres $\alpha$ et $\beta$ pour contrôler la force de l'alignement, permettant un ajustement flexible de la manière dont la connaissance interne influence la prédiction.

3. Contributions Clés

1. Preuve empirique d'un écart généralisé : L'étude établit que l'écart connaissance-prédiction est omniprésent à travers divers benchmarks de QCM et familles de modèles. L'écart est plus prononcé dans les tâches de raisonnement, de véracité et de biais, et moins évident dans les benchmarks intensifs en connaissances.
2. Explication géométrique : Le papier fournit une interprétation géométrique de l'écart, l'identifiant comme un désalignement entre des sous-espaces de connaissance et de prédiction distincts dans le flux résiduel.
3. Intervention KAPPA : Les auteurs présentent KAPPA, une méthode au moment de l'inférence qui calibre géométriquement les états cachés pour aligner les prédictions du modèle avec la connaissance interne. Contra% aux méthodes de pilotage (steering) antérieures qui appliquent des corrections fixes, KAPPA adapte son ajustement en fonction de l'écart connaissance-prédiction spécifique de chaque instance.

4. Résultats

• Magnitude de l'écart : Les sondes linéaires surpassent systématiquement la précision de génération du modèle de base sur tous les jeux de données testés, confirmant que les modèles encodent une connaissance linéairement accessible qu'ils ne parviennent pas à utiliser. L'écart varie considérablement selon le domaine, TruthfulQA et BBQ présentant les plus grands écarts (ex: $\Delta$ACC jusqu'à +21,3 % pour Qwen 2.5 7B).
• Amélioration des performances : KAPPA réduit systématiquement l'écart et améliore la précision par rapport aux modèles de base et aux méthodes existantes d'inférence (telles que CAA et DoLA).
  • Sur TruthfulQA, KAPPA a amélioré la précision de Llama 3.1 8B de 8,9 à 16,9 points.
  • Sur les benchmarks de raisonnement (GSM8k, BBH), KAPPA a obtenu des gains constants de 1,5 à 5,0 points.
  • KAPPA a considérablement augmenté le taux d'accord (AGR) entre la sonde de connaissance et la sortie du modèle, approchant souvent la précision de la sonde de connaissance elle-même.
• Généralisation :
  • À travers les modèles : KAPPA atténue efficacement l'écart sur des modèles de tailles (4B à 14B) et d'architectures (Mistral, Llama, Qwen) variées.
  • Transfert inter-jeux de données : Bien que les sous-espaces soient généralement spécifiques aux jeux de données, un transfert réussi a été observé entre des tâches nécessitant des compétences sous-jacentes similaires (ex: de BBH-NLP à GSM8K).
  • Génération de texte libre : L'application de KAPPA aux contextes de génération libre (sans options de QCM) a amélioré la précision sur TruthfulQA, démontrant que l'alignement géométrique s'étend au-delà des formats à choix multiples.

5. Signification et Revendications

Le papier affirme que de nombreux échecs des LLM, particulièrement les hallucinations et les erreurs de raisonnement, ne proviennent pas d'un manque de connaissance, mais d'un désalignement entre ce que le modèle encode en interne et ce qu'il prédit finalement. En identifiant des sous-espaces de connaissance et de prédiction distincts, les auteurs fournissent une explication géométrique interprétable de ces échecs.

L'introduction de KAPPA démontre que cet écart peut être comblé par un alignement au niveau de la représentation sans entraînement supplémentaire. Les auteurs concluent que l'alignement au niveau de la représentation est une direction prometteuse pour solliciter des prédictions plus fidèles des LLM. Ils notent que bien que leur travail se concentre sur la connaissance linéairement accessible, des travaux futurs sont nécessaires pour comprendre comment aligner des connaissances encodées de manière plus complexe et non linéaire.