Confidence Should Be Calibrated More Than One Turn Deep

Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend in hochriskanten Bereichen wie Finanzen, Gesundheitswesen und Bildung eingesetzt, wo zuverlässige Mehr-Turn-Interaktionen (Gespräche über mehrere Runden hinweg) entscheidend sind. Bisherige Forschung zur Schätzung und Kalibrierung von Konfidenz (d. h. die Übereinstimmung zwischen der vorhergesagten Sicherheit des Modells und der tatsächlichen Richtigkeit) konzentrierte sich fast ausschließlich auf Single-Turn-Szenarien (einzelne Frage-Antwort-Paare).

Das Paper identifiziert ein kritisches Problem: In Mehr-Turn-Gesprächen neigen LLMs dazu, ihre Antworten und ihre Konfidenzschätzung zu ändern, wenn sie durch Benutzerfeedback (z. B. Überredung, Kritik oder Konformitätsdruck) herausgefordert werden.

• Beobachtung: Das Modell wird in der zweiten Gesprächsrunde oft übermäßig selbstbewusst (overconfident), auch wenn es von einer korrekten Antwort auf eine falsche wechselt.
• Folge: Die Konfidenzschätzung verliert ihre Zuverlässigkeit als Indikator für die Richtigkeit, was die Vertrauenswürdigkeit des Systems in dynamischen Interaktionen gefährdet.

Methodik

Das Paper stellt zwei Hauptkomponenten vor, um dieses Problem zu lösen:

1. MTCal (Multi-Turn Calibration)

MTCal ist ein Ansatz zur Verbesserung der Kalibrierung über mehrere Gesprächsrunden hinweg.

• Ziel: Minimierung des ECE@T (Expected Calibration Error bei Turn $T$), einer neuen Metrik, die die Kalibrierungsdynamik über die einzelnen Runden hinweg verfolgt.
• Herausforderung: Da ECE@T nicht differenzierbar ist (aufgrund des Binning-Verfahrens), kann es nicht direkt als Trainingsziel verwendet werden.
• Lösung: MTCal verwendet einen Surrogat-Kalibrierungsziel. Es gruppiert die Antworten des Modells in jedem Turn $t$ in Bins basierend auf der vorhergesagten Konfidenz und berechnet die Gruppengenauigkeit (Group Accuracy) als Zielwert.
• Architektur: Ein leichtgewichtiges, zweischichtiges MLP (Multilayer Perceptron) wird als „Probe" trainiert, um die Konfidenz aus dem letzten versteckten Zustand ($z$) des LLMs zu extrahieren. Das LLM selbst bleibt eingefroren (frozen); nur das MLP wird optimiert, um den quadrierten Fehler zwischen der geschätzten Konfidenz und der Gruppengenauigkeit zu minimieren.

2. ConfChat (Decoding-Strategie)

ConfChat ist eine Decoding-Strategie, die die durch MTCal kalibrierte Konfidenz nutzt, um die Faktizität und Robustheit des Modells zu verbessern.

• Mechanismus:
  1. Turn 1: Die Top-k-Kandidaten-Token werden basierend auf einer skalierten Generierungsbewertung ausgewählt, die die ursprüngliche Wahrscheinlichkeit und die kalibrierte Konfidenz kombiniert.
  2. Turn $t > 1$: Die Strategie aggregiert die Kandidatenmengen aus dem ersten Turn ($S_1$) und dem aktuellen Turn ($S_t$).
  3. Aggregation: Für überlappende Token werden die Scores addiert; für eindeutige Token bleiben die Scores erhalten. Dies ermöglicht dem Modell, eine Entscheidung zu treffen, ob es bei seiner ursprünglichen, konfidenten Antwort bleibt oder eine neue Option wählt.
• Ziel: Durch die Einbeziehung der kalibrierten Konfidenz in den Generierungsprozess wird das Modell widerstandsfähiger gegen irreführendes Benutzerfeedback (z. B. Überredung), ohne die faktische Genauigkeit zu opfern.

Wichtige Beiträge

1. Einführung des „Multi-Turn Calibration"-Aufgabenfelds: Das Paper definiert Kalibrierung nicht mehr als statische Eigenschaft, sondern als dynamische Herausforderung, bei der das Modell in jedem Turn unter Berücksichtigung der Gesprächshistorie kalibriert sein muss.
2. Neue Metrik ECE@T: Eine Metrik, die die Kalibrierungsqualität in jeder einzelnen Gesprächsrunde misst und zeigt, wie sich die Zuverlässigkeit mit fortschreitendem Dialog verschlechtert.
3. Nachweis des Risikos: Es wird empirisch gezeigt, dass Benutzerfeedback (Überredung) die Kalibrierung verschlechtert und zu einem Anstieg von „falsch-zu-falsch"- oder „richtig-zu-falsch"-Wechseln führt, begleitet von einer unangemessen hohen Konfidenz.
4. MTCal und ConfChat: Entwicklung eines effektiven Frameworks, das die Kalibrierung verbessert und gleichzeitig die Robustheit des Modells in Interaktionen erhöht.

Ergebnisse

Die Experimente wurden auf drei Datensätzen (TriviaQA, SciQ, NQ) und drei Modellen (Llama3.1-8B, Qwen2.5-7B, Gemma2-9B) durchgeführt.

• Kalibrierungsleistung (MTCal):
  • Herkömmliche Methoden (wie Sequence Likelihood, Platt Scaling, Self-Consistency) zeigen einen signifikanten Anstieg des ECE von Turn 1 zu Turn 2 (z. B. bei Llama3.1 von ~6,4% auf ~26,4%).
  • MTCal erreicht konsistent niedrige ECE-Werte über alle Turns hinweg (ECE@2 < 10% und oft sogar niedriger als ECE@1).
  • MTCal zeigt eine starke Domain-Generalisierung (Out-of-Domain), auch wenn es auf einem anderen Datensatz trainiert wurde.
• Robustheit und Genauigkeit (ConfChat):
  • ConfChat verbessert die Antwortgenauigkeit in persuasiven Interaktionen im Vergleich zu Baselines wie „Reminder Prompt" (RP) oder „Confidence-Aware Response Generation" (CARG).
  • Im Gegensatz zu CARG, das Konfidenz nur als Kontext hinzufügt, integriert ConfChat die Konfidenz direkt in die Token-Auswahl, was zu einer stabileren Genauigkeit über mehrere Runden hinweg führt.

Bedeutung und Fazit

Dieses Paper markiert einen wichtigen Schritt hin zu sichereren und zuverlässigeren LLMs in der realen Welt. Es zeigt, dass die Kalibrierung von Konfidenz in Mehr-Turn-Szenarien nicht trivial ist und dass bestehende Modelle ohne spezielle Maßnahmen durch Benutzerinteraktionen „gebrochen" werden können.

• Schlussfolgerung: MTCal und ConfChat füllen eine Lücke in der Skalierung von Kalibrierungsmethoden für den realen Einsatz. Sie beweisen, dass durch die Nutzung von Gesprächshistorie und einer gezielten Kalibrierung die Zuverlässigkeit von LLMs auch unter adversariellen Bedingungen (Überredung) erhalten und sogar verbessert werden kann.
• Einschränkungen: Der Ansatz erfordert weißen Zugriff (White-Box) auf die versteckten Zustände des Modells (schwierig bei geschlossenen Modellen wie GPT-4) und führt zu einem gewissen Overhead durch die Berechnung der Konfidenz für Kandidaten-Token.