Shared Doubt: Zero-shot Cross-Lingual Confidence Estimation for Language Models

Résumé Technique : Shared Doubt : Estimation de la confiance cross-lingue zero-shot pour les modèles de langage

Énoncé du problème
L'estimation de la confiance (CE) dans les grands modèles de langage (LLM) vise à quantifier la fiabilité de la prédiction d'un modèle, une capacité critique pour atténuer les hallucinations et maintenir la confiance de l'utilisateur. Bien que la CE ait attiré une attention considérable, la grande majorité des recherches existantes se concentre exclusivement sur l'anglais. Cette omission est problématique car les LLM présentent souvent une fiabilité réduite dans les langues disposant de moins de ressources d'entraînement, ce qui rend une estimation de la confiance précise encore plus vitale dans ces contextes. De plus, de nombreuses méthodes de CE existantes voient leurs performances se dégrader ou nécessitent un réentraînement lorsqu'elles sont appliquées à des langues non vues, échouant ainsi à répondre à la réalité multilingue du déploiement des LLM. La question de recherche centrale est de savoir si les LLM multilingues encodent des caractéristiques de confiance partagées et transférables d'une langue à l'autre qui peuvent être exploitées sans supervision de la langue cible.

Méthodologie
Les auteurs proposent une sonde linéaire légère conçue pour prédire la justesse de la réponse directement à partir des représentations cachées intermédiaires d'un LLM. La méthodologie repose sur l'hypothèse que les LLM multilingues possèdent un sous-espace partagé et indépendant de la langue où les signaux de confiance sont encodés.

• Représentations : L'étude utilise des LLM de type transformateur (decoder-only). Elle extrait les états cachés de deux étapes temporelles spécifiques : le dernier jeton (token) du prompt d'entrée (servant de proxy pour l'ensemble de l'entrée) et le dernier jeton de la réponse générée (représentant l'état final).
• Architecture de la sonde : La sonde apprend une moyenne pondérée des représentations cachées des couches. Elle introduit un vecteur de paramètres apprenables $w$ pour calculer les poids des couches $\alpha_\ell$ via une fonction softmax, créant ainsi une représentation agrégée $\bar{h}_t$. Cette représentation agrégée est ensuite transmise à une couche linéaire avec une activation sigmoïde pour produire un score de confiance.
• Configuration de l'entraînement et de l'évaluation : La sonde est entraînée de manière monolingue sur une langue source (le français dans les expériences principales, l'anglais comme source secondaire) en utilisant les jeux de données MKQA (QA ouverte) et Global-MMLU (converti en format ouvert). Elle est ensuite évaluée dans un cadre zero-shot sur des langues cibles typologiquement diverses (anglais, espagnol, polonais, russe, japonais) sans aucune supervision de la langue cible.
• Baselines : L'approche est comparée aux baselines de classe majoritaire et de probabilité a priori, ainsi qu'à d'autres méthodes de CE incluent la vraisemblance de séquence normalisée par la longueur, P(True), la confiance verbalisée et la sonde "mass-mean".

Résultats clés

• Transfert Zero-Shot : La sonde, entraînée uniquement sur le français, se généralise avec succès à des langues non vues à travers différentes familles de langues et différents scripts. Bien que les métriques de discrimination (AUROC, AUPR) se dégradent à mesure que la distance typologique par rapport à la langue source augmente, les métriques de calibration (score de Brier, ECE) restent souvent stables ou surpassent même les sondes oracle entraînées sur la langue cible dans certains cas spécifiques.
• Importance des couches : L'analyse des poids des couches appris et les études d'ablation révèlent que les caractéristiques de confiance sont concentrées dans les couches supérieures-moyennes du réseau. Cela concorde avec les découvertes antérieures selon lesquelles ces couches projettent les entrées dans un espace de représentation partagé. Supprimer ces couches intermédiaires impacte significativement les performances, particulièrement pour la calibration zero-shot.
• Temporalité des jetons : L'étude trouve une distinction entre l'utilité du dernier jeton de la requête et du dernier jeton de la réponse. Le dernier jeton de la requête offre une meilleure calibration à travers les langues, tandis que le dernier jeton de la réponse offre une meilleure discrimination entre les réponses correctes et incorrectes.
• Comparaison : La sonde cross-lingue surpasse plusieurs baselines de CE populaires (telles que P(True) et la confiance verbalisée) dans des contextes zero-shot, particulièrement en termes de discrimination, bien qu'elle puisse parfois être en retrait par rapport à la sonde "mass-mean" pour la calibration dans le cas de langues hautement dissemblables.

Signification et contributions
L'article affirme être le premier à démontrer le transfert de l'estimation de la confiance en mode zero-shot cross-lingue via le sondage des représentations cachées intermédiaires des LLM. Ses principales contributions sont :

1. Démonstration d'un sous-espace partagé : Il fournit une preuve empirique que les signaux de confiance appris dans une langue à hautes ressources peuvent se transférer à des langues à faibles ressources ou typologiquement distantes sans réentraînement, suggérant l'existence d'un sous-espace de confiance partagé dans les LLM multilingues.
2. Localisation des couches : Il identifie que l'information la plus saillante pour la prédiction de la confiance zero-shot est localisée dans les couches moyennes à supérieures, renforçant la théorie selon laquelle ces couches contiennent des représentations indépendantes de la langue.
3. Baseline pratique : La méthode proposée offre une base solide et sans réentraînement pour l'estimation de la confiance multilingue, ce qui est particulièrement précieux pour les langues sous-représentées où les données étiquetées sont rares.

Les auteurs maintiennent un ton modeste, reconnaissant que les performances se dégradent avec l'augmentation de la distance typologique et que l'approche se concentre actuellement sur le QA de forme courte. Ils suggèrent que les travaux futurs pourraient impliquer l'entraînement sur plusieurs langues sources, l'identification plus précise des représentations latentes critiques et l'application de techniques de calibration post-hoc pour améliorer davantage la robustesse.