💬 NLP

Speaking in Self-Assessing Tongues: On the Verbalized Confidence of LLMs in Machine Translation

Cet article présente et évalue cinq méthodes de verbalisation pour l'extraction de la confiance par jeton à partir de modèles de langage de grande taille en traduction automatique, constatant qu'elles sont comparables aux signaux internes pour la détection d'erreurs et le calibrage malgré une faible corrélation avec ceux-ci.

Auteurs originaux : Ali Marashian, Alexis Palmer, Katharina von der Wense

Publié 2026-06-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ali Marashian, Alexis Palmer, Katharina von der Wense

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot traducteur très intelligent et multilingue. Vous lui demandez de traduire une phrase, et il le fait instantanément. Mais comment savoir s'il a réussi ? Le robot sait-il s'il a fait une erreur ?

Cet article examine une question spécifique : Pouvons-nous demander au robot : « À quel point es-tu sûr de ce mot spécifique ? » et avoir confiance en sa réponse ?

Les chercheurs ont comparé deux façons d'obtenir le « niveau de confiance » du robot :

La voie « Interne » : Observer les mathématiques secrètes du robot (ses probabilités internes). C'est comme jeter un coup d'œil dans le cerveau du robot pour voir combien d'options il envisageait avant de choisir un mot.
La voie « Verbalisée » : Simplement demander au robot : « Sur une échelle de 0 à 1, quel est ton degré de confiance dans ce mot ? » et le laisser taper la réponse.

Voici un aperçu de leurs conclusions en utilisant des analogies simples :

1. Le problème de « Jeter un œil dans le cerveau »

Habituellement, quand nous voulons savoir si une traduction est bonne, nous regardons les mathématiques internes du robot. Si le robot était sûr à 99 % d'avoir choisi le bon mot, nous supposons qu'il a raison.

Cependant, l'article souligne une faille de cette méthode appelée « Compétition de forme de surface » (Surface Form Competition).

L'analogie : Imaginez que vous traduisez « The cat sat on the mat. » Vous pourriez aussi dire « The feline sat on the rug. » Les deux sont des traductions parfaites.
Le problème : Si le robot hésite entre « cat » et « feline », ses mathématiques internes pourraient montrer qu'il n'est sûr qu'à 50 % de « cat » parce qu'il pense aussi à « feline ». Pourtant, « cat » est une traduction correcte !
Le résultat : Les mathématiques internes du robot disent : « Je ne suis pas sûr », mais le résultat est en réalité parfait. Le signal interne est trompeur car il mesure la confusion entre les options, et non la justesse.

2. La nouvelle idée : Lui demander, tout simplement

Puisque le robot peut parler, les chercheurs ont essayé une approche différente : la Confiance Verbalisée. Au lieu de jeter un œil aux mathématiques, ils ont incité le robot à dire : « Je suis sûr à 90 % que ce mot est correct. »

Ils ont testé cinq façons de demander :

La Liste : « Dis-moi quelles parties de la phrase sont incorrectes. »
Les Nombres de Mots : « Donne un score de 0 à 1 pour chaque mot. »
Les Mots de Mots : « Donne à chaque mot une étiquette comme « Très certain » ou « Pas sûr ». »
Les Nombres/Mots de Tokens : Faire la même chose mais pour de minuscules morceaux de mots (tokens) plutôt que pour des mots entiers.

3. La grande surprise : Ils ne sont pas d'accord

Les chercheurs s'attendaient à ce que si les mathématiques internes du robot disaient « Je ne suis pas sûr », et qu'ils demandaient au robot « Es-tu en train de douter ? », le robot réponde « Oui ».

Ils se sont trompés.

L'analogie : C'est comme un prévisionniste météo qui regarde ses données radar complexes (Interne) et dit : « Il y a 50 % de chances de pluie », mais quand vous lui demandez directement : « Pensez-vous qu'il va pleuvoir ? », il répond : « Je suis sûr à 90 % qu'il ne pleuvra pas. »
La conclusion : Il y avait presque aucune corrélation entre les mathématiques internes du robot et ce qu'il disait à voix haute. Il s'agissait de deux stratégies différentes qui ne communiquaient pas vraiment entre elles.

4. Est-ce que poser la question a aidé ?

Alors, puisqu'ils ne sont pas d'accord, laquelle des deux méthodes est la meilleure pour repérer les véritables erreurs de traduction ?

Les résultats : Étonnamment, demander au robot (Verbalisé) fonctionnait aussi bien, voire mieux, que de jeter un œil aux mathématiques (Interne).
Le bémol : Cela dépend du robot utilisé.
- Pour un modèle (Llama3), demander au robot de donner un score de « Likert » (ex: « Très certain ») fonctionnait le mieux.
- Pour un autre modèle (Aya23), regarder les mathématiques internes (Entropie) fonctionnait le mieux.
Le test de réalité : Même la meilleure méthode n'était pas parfaite. Les robots étaient toujours seulement modérément bons pour repérer leurs propres erreurs. C'est comme un étudiant passant un examen qui est plutôt capable de savoir quelles réponses sont fausses, mais qui commet encore quelques erreurs sans s'en rendre compte.

5. Pourquoi cela importe (selon l'article)

L'article conclut que nous n'avons pas besoin d'être des « hackers » cherchant à l'intérieur du code du robot pour obtenir un score de confiance. Nous pouvons simplement lui poser la question.

Accessibilité : Vous n'avez pas besoin d'accéder au « cerveau » interne du robot (qui est souvent caché dans les modèles à source fermée). Vous avez juste besoin de pouvoir discuter avec lui.
Granularité : Les chercheurs ont constaté que même lorsqu'ils demandaient un nombre précis (comme 0,83), les robots avaient tendance à arrondir leurs réponses à des étapes simples (comme 0,8 ou 0,9), agissant davantage comme s'ils utilisaient une liste de contrôle simple que comme un calculateur de haute précision.

Résumé

L'article est un test pour savoir si nous pouvons faire confiance aux propres paroles d'un grand modèle de langage (LLM) concernant sa confiance.

Ancienne méthode : Regarder les mathématiques (Interne).
Nouvelle méthode : Demander au modèle (Verbalisé).
Verdict : Ce sont deux choses totalement différentes, mais demander au modèle fonctionne aussi bien que de regarder les mathématiques pour trouver des erreurs de traduction. C'est une façon plus simple et plus accessible de vérifier si une traduction est probablement mauvaise, sans avoir besoin de voir le code secret du modèle.

Résumé technique : Parler en langues d'auto-évaluation

Problématique

L'adoption rapide des grands modèles de langage (LLM) pour la traduction automatique (MT) a mis en évidence un problème critique de fiabilité : les LLM sont mal auto-calibrés pour les tâches de traduction. Contrairement aux tâches de classification où il existe une réponse unique correcte, la traduction implique une « compétition de formes de surface », où plusieurs réalisations syntaxiques ou sémantiques valides sont en compétition. Par conséquent, les signaux internes tels que les probabilités de jetons (tokens) ou l'entropie reflètent souvent une incertitude parmi des alternatives valides concurrentes plutôt que la justesse de la sortie sélectionnée. De plus, le recours aux signaux internes nécessite un accès aux composants internes du modèle, ce qui est souvent indisponible pour les modèles à code fermé. Il existe un besoin de méthodes robustes et non supervisées pour estimer la confiance par jeton qui ne souffrent pas de ces limitations.

Méthodologie

Les auteurs proposent et évaluent cinq méthodes verbalisées pour extraire la confiance par jeton directement à partir du texte généré par le modèle, évitant ainsi le besoin d'un accès interne. Ces méthodes sont comparées à deux mesures d'incertitude internes standards : la probabilité du jeton et l'entropie.

Configuration expérimentale

Jeux de données : L'étude utilise les données de WMT2024 General Machine Translation (anglais vers chinois, tchèque, hindi, japonais et russe) couplées avec des annotations de segments d'erreurs (ESA) de Kocmi et al. (2024a) comme vérité de terrain.
Modèles : Deux LLM open-source ont été sélectionnés : Aya23 et Llama3-70B.
Approches verbalisées :
1. Liste (List) : Le modèle renvoie une liste de segments pour lesquels il n'est pas confiant.
2. Numérique par mot (Word_Numeric) : Le modèle attribue un score de confiance numérique $[0, 1]$ à chaque mot via des prompts séparés.
3. Likert par mot (Word_Likert) : Le modèle attribue des étiquettes qualitatives (ex: « très certain » à « très incertain ») converties en valeurs numériques.
4. Numérique par jeton (Token_Numeric) : Similaire à Word_Numeric mais appliqué au niveau du jeton.
5. Likert par jeton (Token_Likert) : Similaire à Word_Likert mais appliqué au niveau du jeton.
Métriques d'évaluation :
- Détection d'erreur binaire : Mesurée via le score F1 (spécifiquement pour la classe incorrecte), l'AUROC et l'AUPRC.
- Calibration : Mesurée via l'erreur de calibration attendue (ECE) et les diagrammes de fiabilité.
- Alignement : La corrélation de rang de Spearman a été utilisée pour mesurer la relation entre la confiance verbalisée et les signaux internes.

Résultats clés

1. Performance de détection d'erreurs

Performance globale : Toutes les méthodes ont produit des scores F1 faibles (allant de 0,02 à 0,23), indiquant la difficulté inhérente de la tâche, bien que toutes aient été plus performantes que les bases aléatoires.
Dépendance au modèle : Aucune méthode n'a surpassé systématiquement les autres dans tous les contextes. Les performances variaient considérablement selon la paire de langues et le modèle.
- Pour Aya23, les mesures internes (Entropie) et Word_Numeric ont été les plus performantes en moyenne.
- Pour Llama3-70B, Word_Likert a obtenu la meilleure performance dans 4 des 5 paires de langues.
Comparaison : Les méthodes verbalisées ont généralement été comparables ou meilleures que les méthodes internes pour Llama3-70B, mais les résultats ont été mitigés pour Aya23. Notamment, pour la traduction anglais-japonais avec Llama3-70B, les méthodes verbalisées ont surpassé les méthodes internes de 0,09 en F1.

2. Calibration

Supériorité de l'interne : Pour la calibration, l'entropie normalisée a systématiquement donné les meilleurs résultats pour les deux modèles.
Performance verbalisée : Les méthodes verbalisées ont performé de manière similaire à la probabilité du modèle mais ont accusé un retard par rapport à l'entropie du modèle.
Likert vs Numérique : Les méthodes basées sur l'échelle de Likert ont systématiquement surpassé leurs homologues numériques en termes de calibration. Les auteurs attribuent la mauvaise calibration des méthodes numériques à des problèmes connus où les LLM peinent avec les contextes numériques.

3. Alignement entre les méthodes

Faible corrélation : Un résultat principal est l'absence de corrélation significative entre la confiance verbalisée et les mesures d'incertitude internes (probabilité et entropie). Cela suggère que les deux stratégies (calcul interne vs auto-évaluation verbale) opèrent sur des principes différents ou capturent des aspects différents de l'état du modèle.
Granularité : Malgré la capacité de retourner des valeurs arbitraires, les méthodes numériques ont montré une granularité limitée, les sorties étant souvent restreintes à des multiples de 0,1 ou 0,2, se comportant ainsi de manière similaire aux échelles de Likert.

4. Granularité et Syntaxe

Jeton vs Mot : Les méthodes au niveau du jeton ont montré des comportements différents par rapport aux méthodes au niveau du mot, particulièrement concernant les compromis précision-rappel.
Catégories syntaxiques : Les méthodes verbalisées ont montré un rappel plus élevé pour les mots de classe ouverte (noms, verbes) par rapport aux mots de classe fermée pour Llama3-70B, un schéma non observé avec les méthodes internes.

Signification et affirmations

L'article affirme que la confiance verbalisée est une alternative viable et accessible aux signaux d'incertitude internes pour la détection d'erreurs en MT, particulièrement pour les utilisateurs n'ayant pas accès aux composants internes du modèle.

Accessibilité : Les méthodes verbalisées fournissent une solution de type « boîte noire » pour l'estimation de la confiance, ne nécessitant que le texte de sortie du modèle.
Complémentarité : La conclusion d'une corrélation faible ou nulle entre les méthodes verbalisées et internes implique qu'elles ne sont pas redondantes ; elles peuvent capturer des signaux distincts du comportement du modèle.
Limites : Les auteurs notent avec modestie que la performance absolue de toutes les méthodes reste relativement faible, en partie à cause de la haute qualité des traductions dans les langues à hautes ressources et de la difficulté de la tâche. Ils soulignent que ces méthodes non supervisées ne sont pas des remplacements pour l'annotation humaine mais servent de mécanisme de contrôle de qualité supplémentaire.
Directions futures : Les auteurs suggèrent que les travaux futurs devraient étudier les facteurs qui pilotent l'alignement (ou l'absence d'alignement) entre les signaux internes et verbalisés, et explorer la généralisabilité de ces résultats aux scénarios de langues à faibles ressources où l'annotation humaine est rare.