Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B

1. Énoncé du problème

Les grands modèles de langage (LLM), en particulier ceux de la gamme 3 à 9 milliards de paramètres, présentent un problème de confiance verbale dégénérée. Lorsqu'on leur demande d'indiquer leur confiance en pourcentage, ces modèles rapportent systématiquement une confiance proche du maximum (taux plafonds >90 %), indépendamment du fait que leur réponse soit correcte ou non.

• Le fossé : Bien que les représentations internes (états cachés) et l'entropie des logits en passage unique contiennent des informations significatives sur la justesse (AUROC2 ~0,6–0,8), le canal verbal échoue à transmettre cette information (AUROC2 ~0,5, proche du hasard).
• L'objectif : L'étude examine si l'ajustement fin supervisé conditionné par la confiance (CSFT) peut distiller l'information issue de la cohérence interne multi-échantillons (une méthode robuste mais coûteuse en calcul) en un signal verbal de confiance fiable et en passage unique.

2. Méthodologie

L'étude a utilisé Gemma 3 4B-it et a suivi un pipeline d'évaluation psychométrique rigoureux basé sur le programme CMM (Théorie de la détection du signal de type 2).

Conception expérimentale

• Données : Éléments tirés de TriviaQA (calibration/entraînement et évaluation sur données retenues) et de MMLU (transfert inter-benchmark).
• Dérivation de la cible : Pour chaque élément d'entraînement, 10 échantillons ont été générés avec une température $T=0,7$. Le nombre d'échantillons corrects ($n_{correct}$) a été mappé vers une cible de confiance (par exemple, $n_{correct}=10 \rightarrow 95\%$, $n_{correct}=0 \rightarrow 5\%$).
• Entraînement : Ajustement fin LoRA (rang 16) sur l'invite de chat, entraînant le modèle à produire la réponse suivie du pourcentage de confiance dérivé.
• Contrôles : Un contrôle à cibles mélangées a été entraîné avec une architecture identique mais des étiquettes de confiance aléatoirement permutées pour distinguer l'apprentissage du format de l'apprentissage du signal.

Deux phases

1. Protocole pré-enregistré (Phase 0) : Comportait un filtre modal, restreignant les données d'entraînement aux éléments où la réponse la plus fréquente parmi les 10 échantillons était correcte.
2. Sauvetage a posteriori : Le filtre modal a été supprimé, permettant au modèle de s'entraîner sur les 2 000 éléments de calibration, y compris ceux avec des réponses modales incorrectes (distribution bimodale).

3. Résultats clés

A. Résultat pré-enregistré (Négatif)

• Résultat : Le protocole a échoué.
• Métriques : L'AUCROC2 verbal est passé de 0,554 (baseline) à 0,509. La précision s'est dégradée de 7,6 %. L'échelle d'évaluation de validité (VRS) est restée "Invalide".
• Diagnostic : Effondrement de l'entropie des étiquettes. Le filtre modal a supprimé tous les éléments où le modèle était incertain ou erroné ($n_{correct} < 10$). L'ensemble d'entraînement résultant présentait des cibles de confiance quasi-uniformes et élevées (majoritairement 95 %). Le modèle a appris à ignorer l'entrée et à émettre le mode (95 %), échouant à apprendre quand exprimer une faible confiance.

B. Sauvetage a posteriori (Positif exploratoire)

En supprimant le filtre modal, l'ensemble d'entraînement a inclus une distribution bimodale : 48,2 % des éléments avaient $n_{correct}=10$ (cible 95 %) et 36,5 % avaient $n_{correct}=0$ (cible 5 %).

• Performance sur TriviaQA :
  • AUROC2 : Amélioration significative de 0,554 (baseline) à 0,774.
  • Taux plafond : Effondrement de 97,7 % à 49,8 %, indiquant que le modèle a appris à varier sa confiance.
  • Nature du signal : Le modèle a appris un discriminateur binaire (émettant soit 5 %, soit 95 %) plutôt qu'une calibration continue. Il a compressé avec succès un signal de cohérence interne sur 10 échantillons (AUROC2 = 0,999) en une lecture verbale en passage unique, récupérant environ 77,5 % du pouvoir discriminant.
  • Comparaison : Le signal verbal distillé (0,774) a surpassé l'entropie des logits en passage unique (0,701).
• Transfert inter-benchmark sur MMLU :
  • Précision : Amélioration spectaculaire de 54,2 % à 77,4 %.
  • AUROC2 : Amélioration de 0,535 à 0,616.
  • Contrôle : Le modèle à cibles mélangées n'a montré aucune amélioration (précision 56,1 %, AUROC2 0,523) et a produit des sorties verbeuses et inexploitables, confirmant que les gains étaient dus au contenu des cibles de confiance, et non simplement à la procédure LoRA.

4. Contributions clés et principes de conception

1. L'entropie des étiquettes est critique : L'étude identifie l'effondrement de l'entropie des étiquettes comme un mode de défaillance principal dans l'entraînement à la confiance. Pour entraîner un modèle à exprimer l'incertitude, l'ensemble d'entraînement doit inclure des exemples d'incertitude (cibles de faible confiance). Filtrer les exemples "difficiles" ou "erronés" garantit l'échec.
2. Distillation de la cohérence interne : Il est possible de distiller l'information de cohérence interne multi-échantillons (nécessitant habituellement 10 passages avant) en un signal verbal en passage unique. Bien qu'il y ait une perte de compression (~22,5 %), le signal résultant est plus informatif que l'entropie standard des logits et accessible via des API standard.
3. Régularisation du format : L'entraînement sur des cibles de confiance correctes semble avoir régularisé le format de sortie. Le modèle à cibles réelles a produit des réponses concises et exploitables, tandis que le modèle à cibles mélangées a produit un texte verbeux et non structuré. Cela suggère que les cibles de confiance peuvent agir comme un régularisateur pour la structure de sortie.
4. Compromis Précision-Confiance : L'intervention a amélioré la discrimination mais a causé une baisse de 7,5 % de la précision sur TriviaQA. Cela suggère que le modèle a adopté une nouvelle "politique réponse-confiance" privilégiant le signal discriminatif par rapport à la génération brute de réponses, ou que le signal de confiance a aidé à filtrer les confabulations sur d'autres benchmarks (MMLU).

5. Importance et limites

• Importance : Ce travail fournit une voie pratique pour permettre aux LLMs de "parler" de leur incertitude de manière fiable sans nécessiter l'accès aux logits internes ou à plusieurs passes d'échantillonnage. Il met en évidence que le "canal verbal" est entraînable mais nécessite des distributions de données spécifiques (haute entropie) pour fonctionner.
• Limites :
  • Sortie binaire : Le modèle a appris un classifieur binaire (5 % vs 95 %) plutôt qu'une calibration continue (par exemple, 60 % de confiance).
  • Nature a posteriori : Le résultat positif n'a pas été pré-enregistré et nécessite une réplication.
  • Modèle/Graine unique : Les résultats sont spécifiques à Gemma 3 4B et à une seule graine aléatoire.
  • Baisse de précision : L'amélioration de la précision sur MMLU et la baisse de précision sur TriviaQA suggèrent une interaction complexe entre l'entraînement à la confiance et les politiques de génération de réponses, nécessitant des études d'ablation supplémentaires.

Conclusion

L'article démontre que si les petits LLMs échouent naturellement à signaler l'incertitude, cela peut être remédié par CSFT si les données d'entraînement préservent l'entropie des étiquettes. En s'entraînant sur le spectre complet des résultats de cohérence interne (y compris les échecs), le modèle peut distiller un raisonnement complexe multi-échantillons en un signal verbal de confiance fiable et en passage unique, surpassant les baselines d'entropie standard et améliorant les performances sur des tâches inter-benchmark comme MMLU.