Technische Zusammenfassung: Verbesserung konsistenzbasierter Unsicherheiten in LLMs mittels Beam Search

Problemstellung

Konsistenzbasierte Unsicherheitsquantifizierung (UQ) hat sich als robuste Methode zur Bewertung der Zuverlässigkeit von Ausgaben großer Sprachmodelle (LLMs) etabliert, insbesondere in Black-Box-Szenarien. Diese Methoden schätzen Unsicherheit typischerweise, indem sie das Einigungsniveau unter mehreren Generationen messen, die durch multinomiale Stichprobenziehung erzeugt wurden.

Die Autoren identifizieren jedoch kritische Einschränkungen bei der Anwendung multinomialer Stichprobenziehung auf kurze Frage-Antwort-Aufgaben (QA):

1. Hohe Redundanz: Aufgrund spitzer Wahrscheinlichkeitsverteilungen bei kurzen Antworten produziert multinomiale Stichprobenziehung häufig doppelte oder nahezu identische Generationen. Die Arbeit stellt fest, dass bei kurzen Ausgaben (2–4 Token) Redundanzraten 30–50 % erreichen können, was zu einer Verschwendung von Rechenressourcen führt.
2. Hohe Varianz: Da jeder Stichprobenlauf eine andere Menge an Kandidaten erzeugt, weisen die resultierenden Unsicherheitsschätzungen eine signifikante Varianz zwischen den Läufen auf, was ihre Robustheit untergräbt.
3. Ineffizienz: Die Erzielung stabiler Schätzungen erfordert oft eine große Anzahl von Stichproben, was rechnerisch teuer ist.

Das Kernproblem besteht darin, dass multinomiale Stichprobenziehung in Szenarien mit kurzen Ausgaben den Ausgaberaum des Modells nicht effektiv erkundet, was zu verrauschten Konfidenzschätzungen und einer suboptimalen Unsicherheitsquantifizierung führt.

Methodik

Die Arbeit schlägt eine neue Familie von UQ-Methoden vor, die multinomiale Stichprobenziehung durch Beam Search zur Erzeugung von Kandidatenausgaben ersetzen. Die Methodik stützt sich auf drei zentrale Erkenntnisse:

1. Unterschiedliche Kandidaten: Beam Search hält inhärent die $k$ wahrscheinlichsten partiellen Sequenzen vor und garantiert damit unterschiedliche Kandidatenausgaben, wodurch Redundanz reduziert wird.
2. Wahrscheinlichkeitsgewichtete Schätzung: Die einfache Behandlung von Beam-Kandidaten als uniforme Stichproben würde Ausgaben mit niedriger Wahrscheinlichkeit überbetonen. Stattdessen führen die Autoren einen wichtigkeitsgewichteten Schätzer ein. Sie normalisieren die Sequenzwahrscheinlichkeiten der Beam-Kandidaten ($b^{(i)}$), um Gewichte $w_i$ zu bilden:
   $$w_i = \frac{p(b^{(i)} | x)}{\sum_{j=1}^M p(b^{(j)} | x)}$$
   Diese Gewichte werden dann verwendet, um konsistenzbasierte Metriken (z. B. Dissimilarität, Exzentrizität) zu berechnen, anstatt einen einfachen Durchschnitt zu verwenden.
3. Theoretische Begründung: Die Autoren leiten eine theoretische untere Schranke für die Wahrscheinlichkeitsmasse ($m_B$) des Beam-Sets ab, die erforderlich ist, damit der beam-gewichtete Schätzer einen niedrigeren mittleren quadratischen Fehler (MSE) erreicht als der Standard-Monte-Carlo-Schätzer (multinomial). Sie beweisen, dass, wenn das Beam-Set einen ausreichenden Anteil der Wahrscheinlichkeitsmasse abdeckt (spezifisch $m_B > 1 - \frac{1}{2\sqrt{M}}$ für eine vereinfachte Bedingung), der Beam-Search-Ansatz einen geringeren Fehler liefert.

Adaptierte Methoden

Die Autoren passen mehrere bestehende konsistenzbasierte UQ-Methoden an, um Beam Search zu nutzen:

• Dissimilarität: Misst den erwarteten semantischen Unterschied zwischen der primären Antwort und den Beam-Kandidaten, gewichtet mit $w_i$.
• Exzentrizität: Verwendet einen Graph-Laplacian auf der Ähnlichkeitsmatrix aller Stichproben (einschließlich der primären Antwort). Die Autoren modifizieren die Einbettungsberechnung, um wichtigkeitsgewichtete Zentroiden zu verwenden.
• Eigenvektor-Dissimilarität: Misst den Abstand der Einbettung der primären Antwort zum gewichteten Mittelwert der Stichproben-Einbettungen im Laplacian-Raum.
• CoCoA: Eine hybride Methode, die Token-Level-Wahrscheinlichkeiten mit Stichprobenkonsistenz kombiniert. Die Autoren ersetzen das Konsistenzsignal durch den beam-gewichteten Schätzer.

Hauptbeiträge

1. Identifikation von Einschränkungen: Die Arbeit zeigt empirisch, dass multinomiale Stichprobenziehung bei kurzen QA-Aufgaben zu hoher Redundanz und Varianz führt, was sie zu einer suboptimalen Wahl für konsistenzbasierte UQ in diesen Kontexten macht.
2. Beam-gewichtete Schätzer: Der Vorschlag einer neuen Familie von UQ-Methoden, die Beam-Search-Kandidaten mit Wichtigkeitsgewichtung nutzen, um die Verteilung des Modells besser zu approximieren, ohne Duplikate zu erzeugen.
3. Theoretische Analyse: Die Herleitung einer verteilungsfreien hinreichenden Bedingung (Satz 1), die garantiert, dass der beam-gewichtete Schätzer den multinomialen Monte-Carlo-Schätzer übertrifft, wenn das Beam-Set eine ausreichende Wahrscheinlichkeitsmasse erfasst.
4. Empirische Validierung: Umfassende Evaluierung über sechs QA-Datensätze (TriviaQA, WebQuestions, CoQA, HotpotQA, CommonsenseQA, ARC-Challenge) und sechs Modelle (Gemma 3, Llama 3.1, Qwen 3).

Ergebnisse

Die Experimente zeigen, dass der Ersatz multinomialer Stichprobenziehung durch Beam Search die Leistung konsistenzbasierter UQ-Methoden konsistent verbessert:

• State-of-the-Art-Leistung: Beam-gesteuerte Varianten von Dissimilarität, Exzentrizität, Eigenvektor-Dissimilarität und CoCoA erzielen die besten oder zweitbesten Vorhersage-Ablehnungs-Verhältnis (PRR)-Werte bei fast allen Modell- und Datensatzkombinationen.
• Robustheit: Beam-Search-Methoden weisen eine signifikant niedrigere Varianz in den Unsicherheitsschätzungen auf als multinomiale Stichprobenziehung.
• Stichprobeneffizienz: Die Verbesserungen sind bei kleinen Stichprobenbudgets ($M \ge 2$) am ausgeprägtesten. Beam Search erreicht hohe PRR-Werte mit weniger Kandidaten (sättigt bei offenen Aufgaben um $M=5$ und bei Multiple-Choice-Aufgaben um $M=2$), während multinomiale Stichprobenziehung langsamer verbessert.
• Vorteil bei kurzen Ausgaben: Die Leistungslücke zwischen Beam Search und multinomialer Stichprobenziehung ist bei kurzen Ausgabelängen (wo die Redundanz am höchsten ist) am größten und schließt sich mit zunehmender Ausgabelänge.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Beam Search als Dekodierungsstrategie für die Unsicherheitsquantifizierung nicht verworfen werden sollte. Obwohl er oft mit deterministischer, hochwertiger Generierung assoziiert wird, argumentieren die Autoren, dass Beam Search in Kombination mit Wahrscheinlichkeitsgewichtung einen effizienteren und stabileren Mechanismus zur Erkundung des Ausgaberaums bei kurzen QA-Aufgaben bietet als stochastische multinomiale Stichprobenziehung.

Die Bedeutung dieser Arbeit liegt in:

• Praktischer Effizienz: Sie bietet einen Weg, die UQ-Leistung in White-Box-Szenarien „im Wesentlichen kostenlos" zu verbessern, da Beam Search oft bereits durchgeführt wird oder im Vergleich zur Generierung von $M$ unabhängigen multinomialen Stichproben mit vernachlässigbaren zusätzlichen Kosten ausgeführt werden kann.
• Theoretischer Fundierung: Sie liefert eine formale Bedingung, unter der Beam Search für UQ nachweislich überlegen ist und damit über heuristische Verbesserungen hinausgeht.
• Breite Anwendbarkeit: Die Methode verbessert sowohl reine konsistenzbasierte Metriken als auch hybride Methoden (wie CoCoA), die Konsistenz mit Token-Wahrscheinlichkeiten kombinieren, was auf eine generalisierbare Verbesserung der Unsicherheitsschätzung bei Aufgaben zur Generierung kurzer Texte hindeutet.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und stellen fest, dass ihre Evaluierung derzeit auf White-Box-Szenarien (die Zugriff auf Modellwahrscheinlichkeiten erfordern) und Datensätze für kurze QA-Aufgaben beschränkt ist. Sie räumen ein, dass die Generalisierbarkeit auf langformatige Generierung und Black-Box-Szenarien (die eine empirische Wahrscheinlichkeitsschätzung erfordern) eine offene Frage bleibt.