💬 NLP

Speaking in Self-Assessing Tongues: On the Verbalized Confidence of LLMs in Machine Translation

Dieses Paper führt fünf verbalisierte Methoden zur Extraktion von Per-Token-Konfidenz aus großen Sprachmodellen in der maschinellen Übersetzung ein und evaluiert diese, wobei es feststellt, dass sie bei der Fehlererkennung und Kalibrierung vergleichbar mit internen Signalen abschneiden, obwohl sie eine geringe Korrelation mit diesen aufweisen.

Ursprüngliche Autoren: Ali Marashian, Alexis Palmer, Katharina von der Wense

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ali Marashian, Alexis Palmer, Katharina von der Wense

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, mehrsprachigen Roboter-Übersetzer. Sie bitten ihn, einen Satz zu übersetzen, und er tut dies sofort. Aber woher wissen Sie, ob er es richtig gemacht hat? Weiß der Roboter überhaupt, ob er einen Fehler gemacht hat?

Dieses Paper untersucht eine spezifische Frage: Können wir den Roboter fragen: „Wie sicher bist du dir bei diesem speziellen Wort?“ und seiner Antwort vertrauen?

Die Forscher verglichen zwei Wege, um das „Konfidenzniveau“ des Roboters zu ermitteln:

Der „interne“ Weg: Einen Blick auf die geheime Mathematik des Roboters zu werfen (seine internen Wahrscheinlichkeiten). Das ist so, als würde man in das Gehirn des Roboters hineinsehen, um zu sehen, wie viele Optionen er in Betracht gezogen hat, bevor er ein Wort auswählte.
Der „verbalisierte“ Weg: Den Roboter einfach zu fragen: „Auf einer Skala von 0 bis 1, wie sicher bist du dir bei diesem Wort?“, und ihn dann die Antwort ausschreiben zu lassen.

Hier ist eine Aufschlüsselung ihrer Ergebnisse unter Verwendung einfacher Analogien:

1. Das Problem mit dem „Blick in das Gehirn“

Normalerweise, wenn wir wissen wollen, ob eine Übersetzung gut ist, schauen wir auf die interne Mathematik des Roboters. Wenn der Roboter zu 99 % sicher war, das richtige Wort zu wählen, nehmen wir an, dass er korrekt liegt.

Das Paper weist jedoch auf einen Fehler in dieser Methode hin, der „Surface Form Competition“ (Oberflächenform-Konkurrenz) genannt wird.

Die Analogie: Stellen Sie sich vor, Sie übersetzen „The cat sat on the mat.“ Sie könnten auch sagen „The feline sat on the rug.“ Beides sind perfekte Übersetzungen.
Das Problem: Wenn der Roboter zwischen „cat“ und „feline“ hin- und hergerissen ist, könnte seine interne Mathematik zeigen, dass er sich über „cat“ nur zu 50 % sicher ist, weil er auch an „feline“ denkt. Aber „cat“ ist tatsächlich eine korrekte Übersetzung!
Das Ergebnis: Die interne Mathematik des Roboters sagt: „Ich bin unsicher“, aber das Ergebnis ist eigentlich perfekt. Das interne Signal ist irreführend, weil es Verwirrung zwischen Optionen misst, nicht Korrektheit.

2. Die neue Idee: Einfach fragen

Da der Roboter sprechen kann, versuchten die Forscher einen anderen Ansatz: Verbalisierte Konfidenz. Anstatt in die Mathematik zu schauen, forderten sie den Roboter auf, zu sagen: „Ich bin mir zu 90 % sicher, dass dieses Wort richtig ist.“

Sie testeten fünf verschiedene Arten der Fragestellung:

Die Liste: „Sag mir, welche Teile des Satzes falsch sind.“
Wort-Nummern: „Gib jedem Wort einen Wert von 0 bis 1.“
Wort-Wörter: „Gib jedem Wort eine Bezeichnung wie ‚Sehr sicher‘ oder ‚Nicht sicher‘.“
Token-Nummern/Wörter: Das Gleiche für winzige Wortteile (Tokens) statt für ganze Wörter zu tun.

3. Die große Überraschung: Sie stimmen nicht überein

Die Forscher erwarteten, dass wenn die interne Mathematik des Roboters sagt „Ich bin unsicher“, und man den Roboter fragt „Bist du unsicher?“, er mit „Ja“ antworten würde.

Sie lagen falsch.

Die Analogie: Es ist wie bei einem Wetterkommentator, der auf seine komplexen Radardaten (Intern) schaut und sagt: „Es besteht eine 50-prozentige Regenwahrscheinlichkeit“, aber wenn man ihn direkt fragt: „Glauben Sie, dass es regnen wird?“, sagt er: „Ich bin mir zu 90 % sicher, dass es nicht regnen wird.“
Das Ergebnis: Es gab so gut wie keine Korrelation zwischen der internen Mathematik des Roboters und dem, was er laut aussprach. Es waren im Wesentlichen zwei verschiedene Strategien, die nicht wirklich miteinander kommunizierten.

4. Hat das Fragen geholfen?

Sind sie also nicht übereinstimmend, welcher Weg ist besser darin, tatsächliche Übersetzungsfehler zu erkennen?

Die Ergebnisse: Überraschenderweise arbeitete das Fragen des Roboters (Verbalisiert) genauso gut wie und manchmal sogar besser als der Blick in die Mathematik (Intern).
Die Einschränkung: Es kommt darauf an, welchen Roboter man verwendet.
- Für ein Modell (Llama3) funktionierte es am besten, wenn man das Modell bat, einen „Likert“-Score anzugeben (z. B. „Sehr sicher“).
- Für ein anderes Modell (Aya23) funktionierte es am besten, die interne Mathematik (Entropie) zu betrachten.
Der Realitätscheck: Selbst die beste Methode war nicht perfekt. Die Roboter waren immer noch nur mäßig gut darin, ihre eigenen Fehler zu erkennen. Es ist wie bei einem Schüler, der einen Test schreibt und ganz gut darin ist zu wissen, welche Antworten falsch sind, aber trotzdem noch einige Fehler macht, die er selbst nicht bemerkt.

5. Warum das wichtig ist (laut dem Paper)

Das Paper kommt zu dem Schluss, dass wir keine „Hacker“ sein müssen, die in den Code des Roboters schauen, um einen Konfidenzwert zu erhalten. Wir können ihn einfach fragen.

Zugänglichkeit: Man benötigt keinen Zugriff auf die interne „Gehirnstruktur“ des Roboters (die bei Closed-Source-Modellen oft verborgen ist). Man muss lediglich in der Lage sein, mit ihm zu chatten.
Granularität: Die Forscher fanden heraus, dass selbst wenn sie nach einer präzisen Zahl fragten (wie 0,83), die Roboter dazu neigten, ihre Antworten auf einfache Schritte zu runden (wie 0,8 oder 0,9), was darauf hindeutet, dass sie eher wie eine einfache Checkliste als wie ein Hochpräzisionsrechner agieren.

Zusammenfassung

Das Paper ist ein Test dafür, ob wir den eigenen Worten eines Large Language Models bezüglich seiner Konfidenz vertrauen können.

Alter Weg: Blick in die Mathematik (Intern).
Neuer Weg: Das Modell fragen (Verbalisiert).
Urteil: Sie sind völlig unterschiedliche Dinge, aber das Fragen des Modells funktioniert genauso gut wie der Blick in die Mathematik, um Übersetzungsfehler zu finden. Es ist ein einfacherer, zugänglicherer Weg, um zu prüfen, ob eine Übersetzung wahrscheinlich schlecht ist, ohne den geheimen Code des Modells sehen zu müssen.

Technisches Resümee: Sprechen in selbstbewertenden Zungen

Problemstellung

Die rasche Einführung von Large Language Models (LLMs) für die maschinelle Übersetzung (MT) hat ein kritisches Zuverlässigkeitsproblem aufgezeigt: LLMs sind für Übersetzungsaufgaben schlecht selbstkalibriert. Im Gegensatz zu Klassifikationsaufgaben, bei denen es eine einzige korrekte Antwort gibt, beinhaltet Übersetzung eine „Oberflächenform-Konkurrenz“ (surface form competition), bei der mehrere gültige syntaktische oder semantische Realisierungen miteinander konkurrieren. Infolgedessen spiegeln interne Signale wie Token-Wahrscheinlichkeiten oder Entropie oft die Unsicherheit zwischen konkurrierenden gültigen Alternativen wider und nicht die Korrektheit der ausgewählten Ausgabe. Darüber hinaus erfordert die Nutzung interner Signale den Zugriff auf das Modellinnere, was für geschlossene Modelle oft nicht möglich ist. Es besteht ein Bedarf an robusten, unüberwachten Methoden zur Schätzung der pro-Token-Konfidenz, die nicht unter diesen Einschränkungen leiden.

Methodik

Die Autoren schlagen fünf verbalisierte Methoden vor und evaluieren diese, um die Konfidenz pro Token direkt aus dem generierten Text des Modells zu extrahieren, wodurch der Zugriff auf das Modellinnere vermieden wird. Diese Methoden werden mit zwei Standard-internen Unsicherheitsmaßen verglichen: der Token-Wahrscheinlichkeit und der Entropie.

Experimentelles Setup

Datensätze: Die Studie nutzt WMT2024 General Machine Translation Daten (Englisch nach Chinesisch, Tschechisch, Hindi, Japanisch und Russisch), gepaart mit Error Span Annotations (ESA) von Kocmi et al. (2024a) als Ground Truth.
Modelle: Zwei Open-Source-LLMs wurden ausgewählt: Aya23 und Llama3-70B.
Verbalisierte Ansätze:
1. List: Das Modell gibt eine Liste von Spans zurück, bei denen es sich unsicher ist.
2. Word_Numeric: Das Modell weist jedem Wort über separate Prompts einen numerischen Konfidenzwert $[0, 1]$ zu.
3. Word_Likert: Das Modell weist qualitative Labels zu (z. B. „sehr sicher“ bis „sehr unsicher“), die in numerische Werte umgewandelt werden.
4. Token_Numeric: Ähnlich wie Word_Numeric, aber auf Token-Ebene angewendet.
5. Token_Likert: Ähnlich wie Word_Likert, aber auf Token-Ebene angewendet.
Evaluationsmetriken:
- Binäre Fehlererkennung: Gemessen via F1-Score (speziell für die falsche Klasse), AUROC und AUPRC.
- Kalibrierung: Gemessen via Expected Calibration Error (ECE) und Reliability Diagrams.
- Alignment: Die Spearman-Rangkorrelation wurde verwendet, um die Beziehung zwischen verbalisierter Konfidenz und internen Signalen zu messen.

Kernergebnisse

1. Leistung der Fehlererkennung

Gesamtleistung: Alle Methoden lieferten niedrige F1-Scores (im Bereich von 0,02 bis 0,23), was die inhärente Schwierigkeit der Aufgabe verdeutlicht, obwohl alle besser als die Zufalls-Baselines abschnitten.
Modellabhängigkeit: Keine einzelne Methode war über alle Einstellungen hinweg konsistent überlegen. Die Leistung variierte signifikant nach Sprachpaar und Modell.
- Für Aya23 lieferten interne Maße (Entropie) und Word_Numeric im Durchschnitt die besten Ergebnisse.
- Für Llama3-70B erreichte Word_Likert die beste Leistung in 4 von 5 Sprachpaaren.
Vergleich: Verbalisierte Methoden schnitten im Allgemeinen vergleichbar zu oder besser als interne Methoden für Llama3-70B ab, aber die Ergebnisse waren gemischt für Aya23. Bemerkenswert ist, dass bei der Englisch-Japanisch-Übersetzung mit Llama3-70B die verbalisierten Methoden die internen Methoden um 0,09 F1 übertrafen.

2. Kalibrierung

Überlegenheit der internen Maße: Für die Kalibrierung (ECE) lieferte die normalisierte Entropie konsistent die besten Ergebnisse für beide Modelle.
Verbalisierte Leistung: Verbalisierte Methoden schnitten ähnlich wie die Modellwahrscheinlichkeit ab, hinkten aber der Modellentropie hinterher.
Likert vs. Numeric: Likert-basierte Methoden schnitten in der Kalibrierung konsistent besser ab als ihre numerischen Gegenstücke. Die Autoren führen die schlechte Kalibrierung numerischer Methoden auf bekannte Probleme zurück, bei denen LLMs Schwierigkeiten mit numerischen Kontexten haben.

3. Alignment zwischen den Methoden

Geringe Korrelation: Eine primäre Erkenntnis ist die fehlende signifikante Korrelation zwischen verbalisierter Konfidenz und internen Unsicherheitsmaßen (Wahrscheinlichkeit und Entropie). Dies deutet darauf hin, dass die beiden Strategien (interne Berechnung vs. verbale Selbstbewertung) auf unterschiedlichen Prinzipien beruhen oder unterschiedliche Aspekte des Modellzustands erfassen.
Granularität: Trotz der Fähigkeit, beliebige Werte zurückzugeben, wiesen numerische Methoden eine begrenzte Granularität auf, wobei die Ausgaben oft auf Vielfache von 0,1 oder 0,2 beschränkt waren, was sie effektiv ähnlich wie Likert-Skalen agieren ließ.

4. Granularität und Syntax

Token vs. Wort: Token-basierte Methoden zeigten andere Verhaltensweisen im Vergleich zu Wort-basierten Methoden, insbesondere hinsichtlich der Trade-offs zwischen Recall und Precision.
Syntaktische Kategorien: Verbalisierte Methoden zeigten für Llama3-70B einen höheren Recall für Open-Class-Wörter (Nomen, Verben) im Vergleich zu Closed-Class-Wörtern, ein Muster, das bei internen Methoden nicht beobachtet wurde.

Bedeutung und Behauptungen

Das Paper behauptet, dass verbalisierte Konfidenz eine praktikable, zugängliche Alternative zu internen Unsicherheitssignalen für die MT-Fehlererkennung darstellt, insbesondere für Nutzer ohne Zugriff auf das Modellinnere.

Zugänglichkeit: Verbalisierte Methoden bieten eine „Black-Box“-Lösung zur Konfidenzschätzung, die nur den Text der Modellausgabe erfordert.
Komplementarität: Die Feststellung einer geringen oder fehlenden Korrelation zwischen verbalisierten und internen Methoden impliziert, dass sie nicht redundant sind; sie können unterschiedliche Signale des Modellverhaltens erfassen.
Limitierungen: Die Autoren merken bescheiden an, dass die absolute Leistung aller Methoden relativ niedrig bleibt, was teilweise an der hohen Qualität der Übersetzungen in ressourcenreichen Sprachen und der Schwierigkeit der Aufgabe liegt. Sie betonen, dass diese unüberwachten Methoden kein Ersatz für menschliche Annotationen sind, sondern als ergänzender Mechanismus zur Qualitätskontrolle dienen.
Zukünftige Richtungen: Die Autoren schlagen vor, dass zukünftige Arbeiten untersuchen sollten, welche Faktoren die Übereinstimmung (oder deren Fehlen) zwischen internen und verbalisierten Signalen antreiben, und die Generalisierbarkeit dieser Erkenntnisse auf Low-Resource-Spr Umgangsszenarien untersuchen sollten, in denen menschliche Annotation knapp ist.