Directional Concentration Uncertainty: A representational approach to uncertainty quantification for generative models

1. Problemstellung

Generative Modelle, insbesondere Large Language Models (LLMs), sind in sensiblen Anwendungsbereichen oft nicht direkt einsetzbar, da sie keine zuverlässigen Unsicherheitsmaße liefern. Obwohl Methoden zur Unsicherheitsquantifizierung (Uncertainty Quantification, UQ) existieren, leiden viele unter starren Heuristiken, die nicht auf verschiedene Aufgaben oder Modalitäten verallgemeinern können.

Ein prominentes Beispiel ist die Semantische Entropie (Semantic Entropy, SE) (Kuhn et al., 2023). SE schätzt die Unsicherheit, indem sie mehrere generierte Antworten in semantisch äquivalente Cluster gruppiert und die Entropie über diese Cluster berechnet.

• Limitierung von SE: Der Ansatz erfordert eine strikte Definition von „semantischer Äquivalenz" (oft mittels bidirektionaler Implikationsmodelle). Dies funktioniert gut bei kurzen, strukturierten Antworten (z. B. bei Fakten-Frage-Antwort-Aufgaben), versagt jedoch bei komplexeren, offenen Texten oder multimodalen Aufgaben, da die Definition von Äquivalenz aufwendig und aufgabenspezifisch ist.

2. Methodik: Directional Concentration Uncertainty (DCU)

Die Autoren schlagen Directional Concentration Uncertainty (DCU) vor, einen neuen, flexiblen Rahmen zur Unsicherheitsquantifizierung, der auf der geometrischen Verteilung von Embeddings basiert, anstatt auf semantischem Clustering.

Der Algorithmus im Detail:

1. Probenahme: Für eine gegebene Eingabe $x$ werden $N$ Ausgaben $y_1, ..., y_N$ aus dem Sprachmodell generiert.
2. Embedding: Jede Ausgabe wird in einen $d$-dimensionalen Vektorraum durch ein vortrainiertes Embedding-Modell $\phi(\cdot)$ überführt.
3. Normalisierung: Die Vektoren werden auf die Einheitshypersphäre $S^{d-1}$ normalisiert ($z_i = \phi(y_i) / \|\phi(y_i)\|$).
4. Modellierung mit vMF-Verteilung: Die normalisierten Vektoren werden als Stichprobe aus einer von-Mises-Fisher (vMF)-Verteilung modelliert. Diese Verteilung ist auf der Hypersphäre definiert und parametrisiert durch:
   • Eine mittlere Richtung $\mu$ (Mean Direction).
   • Einen Konzentrationsparameter $\kappa \ge 0$.
5. Schätzung: Die Parameter werden mittels Maximum-Likelihood-Schätzung (MLE) bestimmt. Der Parameter $\kappa$ quantifiziert, wie stark die Vektoren um die mittlere Richtung gruppiert sind.
   • Hohes $\kappa$ = Hohe Konzentration = Geringe Unsicherheit (konsistente Antworten).
   • Niedriges $\kappa$ = Hohe Dispersion = Hohe Unsicherheit (variierende Antworten).
6. Unsicherheits-Score: Als Unsicherheitsmaß wird der Kehrwert der Konzentration ($\kappa^{-1}$) verwendet.

Unterschied zu SE: DCU verzichtet vollständig auf diskrete Cluster-Zuweisungen oder externe Modelle zur semantischen Äquivalenzprüfung. Es nutzt die kontinuierliche geometrische Streuung der Embeddings direkt.

3. Experimente und Ergebnisse

Die Autoren verglichen DCU mit der Semantischen Entropie (SE) auf verschiedenen Datensätzen und Modellen.

• Text-only QA (TriviaQA, SQuAD, NQ-Open):

  • Auf diesen etablierten Benchmarks erreicht DCU vergleichbare oder in einigen Fällen leicht bessere AUROC-Werte (Area Under the Receiver Operating Characteristic Curve) als SE.
  • Dies zeigt, dass die geometrische Konzentration in Embedding-Räumen die gleiche Information über Modellunsicherheit liefert wie die semantische Entropie, jedoch ohne die starren Cluster-Annahmen.

• Multimodale QA (ScienceQA):

  • Dies war der kritische Test für die Generalisierungsfähigkeit. Hier zeigten SE deutliche Leistungseinbußen (niedrige AUROC-Werte), da die semantische Äquivalenz bei visuellen und komplexen wissenschaftlichen Fragen schwer zu definieren ist.
  • DCU übertraf SE signifikant, insbesondere bei multimodalen Modellen wie LLaVA. Die Methode war in der Lage, Unsicherheit auch in diesem komplexeren, multimodalen Kontext zu erfassen, wo textbasierte Heuristiken versagten.

4. Hauptbeiträge

1. Neuer Ansatz (DCU): Einführung einer rein geometrischen Methode zur Unsicherheitsquantifizierung, die auf der vMF-Verteilung von Embeddings basiert.
2. Verallgemeinerbarkeit: Demonstration, dass DCU nicht auf textuelle Äquivalenz angewiesen ist und somit nahtlos auf multimodale Aufgaben (Text + Bild) und komplexe Generierungsaufgaben übertragbar ist.
3. Leistung: Empirischer Nachweis, dass DCU die Leistung von SE auf Standard-QA-Aufgaben erreicht und diese bei komplexeren, multimodalen Aufgaben deutlich übertrifft.
4. Rahmenwerk für Agenten: Vorschlag, DCU als flexible Komponente für Unsicherheitsmanagement in agentic Systemen und multimodalen Pipelines zu nutzen.

5. Bedeutung und Ausblick

Die Arbeit zeigt, dass der Erfolg von sampling-basierten Unsicherheitsmethoden (wie SE) nicht zwingend auf semantischen Clustern beruht, sondern auf der inhärenten Variabilität der Modellantworten, die durch Embeddings gut erfasst werden kann.

• Vorteile: DCU eliminiert die Notwendigkeit für aufgabenspezifische Heuristiken und semantische Äquivalenzmodelle, was die Anwendbarkeit auf beliebige Modalitäten (z. B. Bild- oder Audio-Generierung) eröffnet, sofern ein geeignetes Encoder-Modell existiert.
• Einschränkungen: Wie bei SE erfordert DCU immer noch wiederholte Probenahmen (Sampling) aus dem generativen Modell, was rechenintensiv sein kann. Allerdings ist der Overhead durch die Encoder-Modelle geringer als bei der Berechnung komplexer semantischer Implikationen.
• Zukunft: Die Autoren sehen großes Potenzial für die Integration von DCU in autonome Agentensysteme, um Unsicherheiten frühzeitig zu erkennen und die Weiterleitung von unsicheren Informationen an nachgelagerte Schritte zu verhindern.

Zusammenfassend bietet DCU einen robusteren, flexibleren und modalitätsunabhängigen Ansatz zur Bewertung der Zuverlässigkeit generativer KI-Modelle.