💬 NLP

Uncertainty-Aware Generation and Decision-Making Under Ambiguity

Diese Arbeit schlägt vor und evaluiert auf der Grundlage der Bayesschen Theorie und risikoaverser Strategien auf Unsicherheit ausgerichtete Entscheidungsalgorithmen für LLMs beim Tutoring und Peer-Reviewing und zeigt auf, dass diese Methoden zwar den Nutzen der Generierung verbessern können, Bayessche Ansätze jedoch im Allgemeinen risikoaversen Regeln überlegen sind, die in zweideutigen Szenarien zu zu generischen Ausgaben führen können.

Ursprüngliche Autoren: Nico Daheim, Iryna Gurevych

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nico Daheim, Iryna Gurevych

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „verwirrten Experten“

Stellen Sie sich vor, Sie haben einen sehr klugen, belesenen Experten (ein Large Language Model, oder LLM), der versucht, zwei schwierige Aufgaben zu bewältigen:

Nachhilfe geben: Einem Schüler helfen, ein Matheproblem zu lösen, ohne einfach nur die Antwort vorzugeben.
Peer-Reviewing: Eine Forschungsarbeit lesen und entscheiden, ob sie gut genug für eine Veröffentlichung ist, und gleichzeitig eine Rezension schreiben.

Das Problem ist, dass diese Aufgaben ambig (mehrdeutig) sind. Selbst echte menschliche Experten sind sich oft uneinig. Ein Tutor könnte denken, dass der beste Weg, einem Schüler zu helfen, darin besteht, eine leitende Frage zu stellen, während ein anderer denkt, es sei besser, einen Hinweis zu geben. Ein Rezensent könnte eine Arbeit mit einem „starken Akzept“ bewerten, während ein anderer ein „schwaches Ablehnen“ vergibt.

Normalerweise, wenn wir eine KI bitten, diese Aufgaben zu erledigen, wählt sie einfach einen Pfad aus und zieht ihn durch, als wäre sie sich ihrer Wahl zu 100 % sicher. Diese Arbeit argumentt, dass die KI, da Menschen uneinig sind, auch zugeben sollte: „Ich bin mir nicht 100 % sicher, welcher Pfad der beste ist.“ Die Autoren wollen, dass die KI Entscheidungen trifft, die diese Unsicherheit berücksichtigen, anstatt einfach nur zu raten.

Die drei Werkzeuge im Werkzeugkasten

Die Autoren testeten drei verschiedene Wege, wie man der KI helfen kann, bessere Entscheidungen zu treffen, wenn sie unsicher ist. Betrachten Sie dies als drei verschiedene Strategien, die ein Trainer bei der Auswahl eines Spielzugs verwenden könnte.

1. Die „Durchschnittsexperten“-Strategie (Bayesian Decision Rule)

Wie es funktioniert: Anstatt nur eine einzige „beste“ Nachhilfestrategie oder einen Rezensionswert zu wählen, betrachtet die KI alle möglichen Strategien, die sie anwenden könnte. Sie fragt: „Wenn ich Strategie A verwende, wie gut ist das Ergebnis? Wenn ich Strategie B verwende, wie gut ist das?“ Sie berechnet dann einen gewichteten Durchschnitt aller dieser Möglichkeiten, um die Antwort zu finden, die im Durchschnitt über alle wahrscheinlichen Szenarien hinweg am besten funktioniert.
Die Analogie: Stellen Sie sich vor, Sie sind ein Koch und versuchen zu erraten, wie viel Salz Sie in eine Suppe geben sollen, aber Sie wissen nicht genau, wie salzig Ihre Kunden es mögen. Anstatt eine einzige Zahl zu raten, stellen Sie sich 100 verschiedene Kunden mit unterschiedlichem Geschmack vor. Sie berechnen die „perfekte“ Menge an Salz, die im Durchschnitt die meisten Menschen glücklich machen würde. Sie setzen nicht auf einen spezifischen Geschmack, sondern auf den Durchschnitt.
Das Ergebnis: Die Arbeit fand heraus, dass diese Methode in der Regel die hilfreichsten und nützlichsten Antworten lieferte.

2. Die „Sicherheit zuerst“-Strategie (Risk-Averse / Minmax)

Wie es funktioniert: Diese Strategie ist sehr vorsichtig. Sie betrachtet das „Worst-Case-Szenario“ innerhalb des Bereichs der Möglichkeiten, über die sich die KI unsicher ist. Sie versucht, die Antwort zu wählen, die selbst dann am wenigsten schlecht abschneidet, wenn die schlimmste Interpretation der Situation eintritt.
Die Analogie: Stellen Sie sich vor, Sie packen für eine Reise und sind sich nicht sicher, ob es regnen oder die Sonne scheinen wird. Ein „Sicherheit zuerst“-Ansatz besagt: „Ich werde einen schweren Regenmantel und einen Regenschirm einpacken, selbst wenn es am Ende sonnig ist, nur um sicherzuge-gehen, dass ich nicht nass werde, falls es doch regnet.“
Das Ergebnis: Dies funktionierte in einigen Fällen gut, machte die KI aber oft langweilig. Da sie versuchte, das schlimmste Ergebnis zu vermeiden, gab sie oft generische, sichere Antworten, die niemandem wirklich half (wie ein Tutor, der zu allem nur „Gut gemacht“ sagt, um nicht falsch zu liegen).

3. Der „Konfidenzfilter“ (Conformal Prediction)

Wie es funktioniert: Dies ist keine Entscheidungsregel an sich, sondern ein Werkzeug, das den anderen beiden hilft. Er wirkt wie ein Sieb. Er betrachtet alle möglichen Antworten und sagt: „Wir sind uns zu 95 % sicher, dass die richtige Antwort in dieser Gruppe von Optionen liegt, und wir können den Rest sicher ignorieren.“ Dies hilft der KI, ihre Energie auf die wahrscheinlichsten Optionen zu konzentrieren, ohne Zeit mit wilden Vermutungen zu verschwenden.
Die Analogie: Stellen Sie sich einen Detektiv vor, der einen Verdächtigen in einer Stadt sucht. Anstatt jedes einzelne Haus in der Stadt zu überprüfen, nutzt er eine Karte, um zu sagen: „Wir sind uns zu 95 % sicher, dass der Verdächtige in diesem einen Viertel ist.“ Dann konzentriert er seine Suche dort.
Das Ergebnis: Dies half der KI, Zeit und Rechenleistung zu sparen. Wenn das „Viertel“, das die KI wählte, jedoch zu weit gefasst war (weil die Aufgabe sehr verwirrend war), geriet die „Sicherheit zuerst“-Strategie in Verwirrung und schnitt schlecht ab.

Was sie herausgefunden haben

Die Forscher testeten diese Methoden mit echten Daten:

Nachhilfe: Die Verwendung der „Durchschnittsexperten“-Methode (Bayesian) führte dazu, dass die KI-Nachhilfe bessere, pädagogisch wertvollere Ratschläge gab. Die „Sicherheit zuerst“-Methode machte die KI manchmal zu generisch, wie eine Lehrkraft, die nur „Versuch es weiter“ sagt, um keinen Fehler zu machen.
Peer-Reviewing: Die „Durchschnittsexperten“-Methode produzierte wiederum Rezensionen, die handlungsorientierter und hilfreicher waren. Die „Sicherheit zuerst“-Methode war ein zweischneidiges Schwert; sie funktionierte bei einigen KI-Modellen gut, führte aber bei anderen zu Rezensionen von geringerer Qualität.

Das Faz $\text{l}$

Die Arbeit kommt zu dem Schluss, dass wir KI nicht einfach nur fragen sollten, „wer gewinnt“, wenn sie für schwierige, subjektive Aufgaben eingesetzt wird, bei denen Menschen uneinig sind. Stattdessen sollten wir die KI lehren:

Das Gesamtbild zu betrachten: Mehrere mögliche Interpretationen der Situation in Betracht zu ziehen.
Sie zu mitteln: Die Antwort zu wählen, die übergreifend am besten funktioniert (Bayesian-Ansatz).
Vorsichtig mit „Worst-Case“-Denken zu sein: Zu versuchen, zu sicher zu sein, kann die KI langweilig und wenig hilfreich machen.

Die Autoren betonen, dass diese Werkzeuge dazu gedacht sind, menschliche Rezensenten und Lehrer zu unterstützen, nicht sie zu ersetzen. Sie sind wie ein hochmoderner Assistent, der Menschen hilft, bessere Entscheidungen zu treffen, wenn die Situation komplex und ungewiss ist.

Technisches Resümee: Unsicherheitsbewusste Generierung und Entscheidungsfindung unter Ambiguität

Problemstellung

Large Language Models (LLMs) werden zunehmend in hochsensiblen, subjektiven Bereichen wie automatisiertem Tutoring oder Peer-Review eingesetzt. In diesen Szenarien umfassen die Aufgaben oft mehrere Entscheidungsschritte (z. B. Identifizierung eines Fehlers eines Schülers, Auswahl einer Tutoring-Strategie und Generierung einer Antwort) und weisen einen hohen Grad an Ambiguität auf. Menschliche Experten sind sich häufig uneinig über die „korrekte“ Strategie oder die „korrekte“ Bewertung für eine gegebene Eingabe, was zu signifikanter Unsicherheit führt.

Aktuelle Entscheidungsalgorithmen für LLMs versagen oft darin, diese Ambiguität explizit zu modellieren oder statistische Garantien zu liefern. Standardansätze, wie einfaches Sampling oder die Minimum Bayes Risk (MBR) Dekodierung, die Ausgabestrings direkt vergleicht, berücksichtigen keine Unsicherheit über Zwischenzustände (z. B. die spezifische Tutoring-Strategie oder den Bewertungs-Score). Infolgedessen können diese Methoden Fehler propagieren, es versäumen, plausible Entscheidungsbereiche einzugrenzen, und es mangelt ihnen an der statistischen Zuverlässigkeit, die für einen vertrauenswürdigen Einsatz erforderlich ist.

Methodik

Die Autoren schlagen ein Framework vor, das die Bayessche Entscheidungstheorie und Conformal Prediction integriert, um unsicherheitsbewusste Generierungs- und Entscheidungsalgorithmen zu erstellen. Das Kernproblem der Entscheidung besteht darin, eine Ausgabe $y^*$ (z. B. eine Rezension oder eine Tutor-Antwort) aus einem Entscheidungsraum $V^*$ zu wählen, gegeben einen Kontext $x$ und eine diskrete Menge von Zuständen $\Omega$ (z. B. Tutoring-Strategien oder Scores).

1. Bayessche Entscheidungsregel

Der primäre Ansatz maximiert den erwarteten Nutzen über die Verteilung der Zustände $p(\omega | x)$ . Die optimale Ausgabe $y^*$ ist definiert als:
$y^* = \arg \max_{y \in V^*} \sum_{\omega \in \Omega} u(y, \omega) \cdot p(\omega | x)$
wobei $u(y, \omega)$ eine Nutzenfunktion ist, die Qualitäts- und Konsistenzkriterien kodiert. Im Gegensatz zu Standard-MBR, das Ausgabestrings vergleicht, marginalisiert diese Methode über den Zustandsraum $\Omega$ . Um die Unendlichkeit des Raums $V^*$ zu handhaben, approximieren die Autoren die Maximierung durch das Sampling einer Menge $H$ von Kandidatenausgaben und wählen diejenige aus, die den erwarteten Nutzen über die Zustandsverteilung maximiert.

2. Conformal Prediction zur Zustands-Pruning

Um die Rechenkosten der Summation über alle Zustände zu bewältigen und statistische Garantien zu bieten, setzen die Autoren Conformal Prediction ein. Diese Technik konstruiert eine Vorhersagemenge $C(x) \subseteq \Omega$ , die den wahren Zustand mit einer Wahrscheinlichkeit von mindestens $1-\alpha$ abdeckt.

Umgang mit Ambiguität: In Anerkennung dessen, dass die Standard-Conformal-Prediction eine einzige Grundwahrheit voraussetzt (was bei ambigen Aufgaben verletzt wird), nutzen die Autoren Monte-Carlo-Conformal-Prediction. Dies ermöglicht es, mehrere plausible Labels (Strategien oder Scores) zu berücksichtigen, wodurch die theoretische Abdeckung auf $1-2\alpha$ erweitert wird, in der Praxis jedoch oft engere Grenzen erreicht werden.
Pruning: Die Vorhersagemenge $C(x)$ wird verwendet, um den Zustandsraum im Bayesschen Zielobjekt zu beschneiden (Pruning), wodurch die Summe auf nur plausible Zustände reduziert wird:
$y^* = \arg \max_{y \in V^*} \sum_{\omega \in C(x)} u(y, \omega) \cdot p(\omega | x)$

3. Risikoaverses Entscheiden

Die Autoren evaluieren auch eine risikoaverse Strategie (Minimax), welche den Nutzen des schlechtesten Falls innerhalb der Conformal-Menge maximiert:
$y^* = \arg \max_{y \in V^*} \min_{\omega \in C(x)} u(y, \omega)$
Dieser Ansatz zielt darauf ab, die Generierung qualitativ minderwertiger Ausgaben zu verhindern, indem er für das am wenigsten vorteilhafte plausible Szenario optimiert.

Experimenteller Aufbau

Die Methoden wurden auf zwei Aufgaben evaluiert:

Peer Review: Generierung von Rezensionen und Scores für wissenschaftliche Arbeiten aus den Datensätzen Review-5K und NLPEER. Als Modelle wurden Gemma-3-27B, Qwen3-30B und Mistral-3.2-24B verwendet. Ein fein abgestimmtes Llama-3.2-3B wurde genutzt, um die Score-Verteilung $p(\omega | x)$ vorherzusagen.
Tutoring: Generierung von Tutor-Antworten für den MathDial-Datensatz unter Verwendung des TutorRL-7B Modells. Strategien (Focus, Probing, Telling, Generic) wurden durch ein fein abgestimmtes Llama-3.2-3B vorhergesagt.

Der Nutzen wurde mittels LLM-as-a-judge Ansätzen geschätzt (Qwen3-14B für Reviews, ein Reward Model für Tutoring) mit 5-stufigen Likert-Skalen.

Kernergebnisse

Verbesserungen durch Bayesianische Regeln: Die Bayessche Entscheidungsregel verbesserte den Nutzen der generierten Ausgaben im Vergleich zum Standard-Ancestral-Sampling in beiden Domänen konsistent. Im Peer-Review verbesserte sie insbesondere die „Handlungsorientierung“ (actionability). Im Tutoring verbesserte sie die skalare Reward-Metrik.
Conformal Pruning: Die Verwendung von Conformal Prediction zur Beschneidung des Zustandsraums behielt die Performance bei und reduzierte gleichzeitig die Anzahl der erforderlichen Nutzen-Schätzungen signifikant (bis zu ~50 % Kompression bei Review-Aufgaben).
Einschränkungen des Risikoaversen Entscheidens: Die Minimax-Strategie (risikoavers) zeigte gemischte Ergebnisse. Während sie in einigen Review-Kriterien gut abschnitt, verschlechterte sie die Performance im Tutoring häufig. Die Autoren führen dies darauf zurück, dass die Strategie dazu neigt, „generische“ oder „erklärende“ (telling) Strategien zu optimieren, wenn diese in den Conformal-Sets häufig vorkommen, was effektiv die Qualität der Ausgabe senkt, um die Worst-Case-Bedingung zu erfüllen.
Skalierungsverhalten: Eine Erhöhung der Stichprobengröße $|H|$ verbesserte die Performance der Bayesschen Regel konsistent. Im Gegensatz dazu verschlechterte sich die Performance der Minimax-Regel mit steigendem $|H|$ , was wahrscheinlich auf Interaktionen mit breiteren Vorhersagesets in ambigen Aufgaben zurückzuführen ist.
Modell-Sensitivität: Qwen3 zeigte andere Leistungscharakteristika im Vergleich zu Gemma und Mistral, was darauf hindeutet, dass Post-Training-Objectives beeinflussen, wie gut diese Modelle mit spezifischen Nutzenkriterien korrelieren.

Bedeutung und Behauptungen

Das Paper behauptet, eine Methode zur Verbesserung der LLM-basierten Entscheidungsfindung in ambigen, hochsensiblen Domänen skizziert zu haben, indem die Unsicherheit über Zwischenzustände explizit modelliert wird. Die Bedeutung der Arbeit liegt in:

Überbrückung von Theorie und Praxis: Es zeigt, wie die Kombination von Bayesscher Entscheidungstheorie mit Conformal Prediction reale Ziele wie statistische Garantien und hohen Nutzen erreichen kann, selbst wenn die zugrunde liegende Zustandsverteilung ambivalent ist.
Umgang mit Ambiguität: Es hebt hervor, dass Standard-Entscheidungsregeln versagen, wenn die menschliche Varianz der Labels hoch ist, und schlägt spezifische Techniken (Monte-Carlo-Conformal-Prediction) vor, um mehrere plausible Grundwahrheiten zu handhaben.
Aufruf an die Community: Die Autoren betonen, dass aktuelle LLMs oft Schwierigkeiten mit kategorialen Vorhersageaufgaben (wie der Score-Vorhersage) haben und dass bestehende Datensätze oft keine multiplen Annotationen für dieselbe Eingabe enthalten. Sie rufen die Community dazu auf, sich auf die Sammlung von Multi-Label-Daten, die Entwicklung besserer LLM-Judges und die Erstellung von Modellen zu konzentrieren, die die plausible menschliche Diversität in der Entscheidungsfindung widerspiegeln.

Die Autoren bleiben bescheiden und merken an, dass ihre Methoden darauf ausgelegt sind, menschliche Reviewer und Lehrer zu unterstützen, anstatt den Peer-Review-Prozess zu automatisieren oder das menschliche Urteil zu ersetzen. Sie räumen Einschränkungen hinsichtlich Data Leakage (Modelle könnten Trainingsdaten gesehen haben) und dem Mangel an realen Feldstudien zur Messung langfristiger Auswirkungen ein.