🤖 AI

Uncertainty Decomposition for Clarification Seeking in LLM Agents

Diese Arbeit adressiert die Einschränkungen klassischer Unsicherheitsframeworks für interaktive LLM-Agenten, indem sie eine promptbasierte Dekomposition vorschlägt, welche die Handlungssicherheit von der Anfrageunsicherheit trennt, um proaktives Klärungsmanagement zu ermöglichen, was bei Benchmarks mit bewusst unterbestimmten Aufgaben über mehrere Modell-Backbones hinweg bestehende Methoden signifikant übertrifft.

Ursprüngliche Autoren: Gregory Matsnev

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gregory Matsnev

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen sehr intelligenten, aber etwas übermütigen persönlichen Assistenten ein, der für Sie Besorgungen erledigt. Sie geben ihm eine Liste von Anweisungen, wie zum Beispiel „Kauf ein Hemd“ oder „Stell die Tasse auf den Schreibtisch“.

Manchmal vergessen Sie, ihm wichtige Details zu nennen, wie die Farbe des Hemdes oder welchen Schreibtisch. In der Vergangenheit passierte es, wenn dieser Assistent nicht wusste, was zu tun war, dass er entweder:

Wild herumrät und ein rotes Hemd kaufte, obwohl Sie ein blaues wollten, und Ihnen dann selbstbewusst sagte: „Ich bin mir zu 90 % sicher, dass das richtig ist!“ (Das ist ein Fehler).
Sagte, dass er verwirrt sei, aber keinen Grund dafür nannte, was es für Sie schwierig machte, nachzuvollziehen, ob er nur mit einer schweren Aufgabe kämpfte oder ob Sie ihm tatsächlich nicht genug Informationen gegeben hatten.

Dieses Paper stellt eine neue Methode vor, um diese KI-Assistenten darauf zu trainieren, mit dieser Verwirrung besser umzugehen. Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

Das Kernproblem: Eine Zahl reicht nicht aus

Derzeit geben die meisten KI-Assistenten Ihnen einen einzigen „Konfidenzwert“ (wie eine Note von 0 bis 100) für jede Aktion, die sie ausführen.

Der Fehler: Wenn der Assistent sagt: „Ich bin mir nur zu 40 % sicher“, wissen Sie nicht, warum.
- Ist es, weil die Aufgabe schwer ist? (z. B. „Es gibt 500 Hemden zur Auswahl und ich bin nicht sicher, welches Sie mögen.“)
- Oder ist es, weil Sie nicht genug Informationen gegeben haben? (z. B. „Sie haben mir gesagt, ich soll ein Hemd kaufen, aber Sie haben nicht gesagt, welche Farbe oder Größe!“)

Wenn der Assistent verwirrt ist, weil Sie vergessen haben, Details zu nennen, sollte er nicht einfach raten, sondern fragen: „Hey, welche Farbe möchten Sie?“ Das alte System konnte nicht zwischen „Das ist schwer“ und „Sie haben etwas vergessen zu sagen“ unterscheiden.

Die Lösung: Die „Konfidenz“ in zwei Teile spalten

Die Autoren schlagen einen einfachen Trick vor: Anstatt die KI nach einem einzigen Konfidenzwert zu fragen, bitten sie sie in ihrem internen Denkprozess um zwei separate Werte:

Aktions-Konfidenz (Action Confidence): „Wie sicher bin ich mir, dass diese spezifische Aktion funktionieren wird, unter der Annahme, dass ich das Ziel korrekt verstehe?“
- Analogie: „Ich bin mir zu 90 % sicher, dass ich zum Geschäft fahren kann, aber ich weiß nicht, welches Geschäft Sie wollen.“
Anforderungs-Unsicherheit (Request Uncertainty): „Wie viele Informationen fehlen aus Ihren Anweisungen?“
- Analogie: „Sie haben mir den Namen des Geschäfts oder die Farbe nicht gesagt. Ich bin mir zu 100 % unsicher, weil Sie die Details ausgelassen haben.“

Durch diese Trennung erhält die KI einen eigenen „Kanal“, um zu sagen: „Ich weiß, was zu tun ist, aber ich brauche mehr Informationen von Ihnen“, anstatt nur zu sagen: „Ich bin verwirrt.“

Das Experiment: Der „Fehlende Details“-Test

Um zu beweisen, dass dies funktioniert, haben die Forscher zwei neue, videospielähnliche Tests (WebShop und ALFWorld) erstellt, bei denen sie 50 % der Anweisungen absichtlich versteckt haben.

Der Aufbau: Sie sagten der KI: „Kauf ein Hemd“, entfernten aber die Wörter „schwarz“ und „Größe L“ aus dem Prompt.
Das Ziel: Sie wollten sehen, ob die KI stoppt und fragt: „Welche Farbe und welche Größe?“ anstatt einfach zu raten.

Sie testeten diese neue „Zwei-Score“-Methode gegen ältere Methoden (die nur einen Score verwendeten) unter Verwendung von fünf verschiedenen leistungsstarken KI-Modellen.

Die Ergebnisse

Besser im Nachfragen: Die neue Methode war viel besser darin, fehlende Informationen zu erkennen. Im Durchschnitt verbesserte sie die Fähigkeit, um Klärung zu bitten, um 73 % im Vergleich zu den alten Methoden. Sie identifizierte fehlende Details in fast jedem getesteten KI-Modell erfolgreich.
Kein Kompetenzverlust: Entscheidend war, dass das Geben dieses zusätzlichen „Denkschritts“ der KI nicht die Fähigkeit verschlechterte, die Aufgaben tatsächlich zu lösen, wenn die Anweisungen klar waren. Sie verlor nicht ihre Fähigkeit, Probleme zu lösen; sie lernte nur besser zu wissen, wann sie anhalten und nachfragen sollte.

Der Haken: Der „Gehirn-Abzug“ (Brain Drain)

Die Autoren fanden auch einen Nachteil, den sie als „Kapazitätsverwässerung“ (Capability Dilution) bezeichnen.

Die Metapher: Stellen Sie sich vor, die KI hat eine feste Menge an geistiger Energie (wie eine Batterie). Normalerweise nutzt sie 100 % dieser Batterie, um die Aufgabe zu lösen. Jetzt muss sie diese Batterie aufteilen: etwas für das Lösen der Aufgabe, etwas für das Überprüfen ihrer Konfidenz und etwas für die Überprüfung, ob Sie genug Informationen gegeben haben.
Das Ergebnis: Da sie diese Energie aufteilt, erledigt sie die eigentliche Aufgabe manchmal etwas schlechter als zuvor. Es ist wie ein Läufer, der großartig im Sprinten ist, aber ein kleines bisschen langsamer wird, weil er gleichzeitig versucht, auf seine Uhr zu schauen und mit dem Trainer zu sprechen.

Das große Fazlegebnis

Die Autoren kommen zu dem Schluss, dass dieser „Zwei-Score“-Trick zwar gut funktioniert, aber ein wenig ein „Hack“ ist. Er zwingt die KI dazu, durch die Änderung der Wörter im Prompt zusätzliches Denken durchzuführen.

Sie argumentieren, dass die Zukunft nicht in besseren Prompts liegt, sondern im erneuten Training der KI selbst. Sie glauben, dass die nächste Generation von KI von Grund auf so gebaut werden sollte, dass sie natürlich den Unterschied zwischen „Das ist schwer“ und „Sie haben mir etwas nicht gesagt“ versteht, ohne dass sie durch einen Prompt „überlistet“ werden muss.

Kurz gesagt: Das Paper zeigt, dass es viel besser gelingt, eine KI dazu zu bringen, um Hilfe zu bitten, wenn man ihr beibringt, „Ich kenne die Antwort nicht nicht zu wissen“ von „Du hast mir nicht die Frage gestellt“ zu trennen. Aber dies über einfache Textanweisungen zu erreichen, kostet ein wenig ihrer allgemeinen Gehirnleistung.

Technisches Resümee: Unsicherheitsdekomposition für die Klärungssuche in LLM-Agenten

1. Problemstellung

Interaktive Large Language Model (LLM)-Agenten operieren unter partieller Beobachtbarkeit, da sie unterdefinierte Anweisungen in natürlicher Sprache erhalten und in verrauschten Umgebungen navigieren. Kleine Fehler in frühen Reasoning-Schritten können sich fortpflanzen und zu selbstbewusst falschen Ergebnissen führen. Während die Schätzung der Unsicherheit ein Standard-Minderungswerkzeug ist, wird argumentiert, dass bestehende Frameworks (speziell die Aleatorik/Epistemik-Dichotomie) für interaktive Agenten unzureichend sind. Kirchhof et al. [13] und Kim et al. [14] postulieren, dass Agenten unterspezifikationsbewusste Unsicherheitsrepräsentationen benötigen, die nach ihrer Quelle dekomponiert und an Nutzer kommunizierbar sind, um proaktive Fähigkeiten wie die Klärungssuche (Clarification Seeking) zu ermöglichen.

Darüber hinaus machen praktische Einsatzbeschränkungen – wie der Zugriff auf Black-Box-APIs, strikte Latenzbudgets und das Fehlen von gelabelten Trainings-Trajektorien – Methoden basierend auf Logprobs, Multi-Sampling oder Training unpraktikabel. Dies lässt promptbasierte Methoden (bei denen der Agent Unsicherheit als strukturierten Text ausgibt) als den einzig praktikablen Ansatz für den realen Einsatz übrig. Bestehende promptbasierte Methoden geben jedoch typischerweise einen einzelnen skalaren Konfidenzwert aus, der zwei unterschiedliche Quellen der Unsicherheit vermischt:

Aufgabenschwierigkeit: Die Aktion ist schwer auszuführen (z. B. die Auswahl aus vielen ähnlichen Produkten).
Zielambiguität: Die Anfrage des Nutzers ist unterdefiniert (z. B. „finde ein Hemd“ ohne Angabe von Farbe/Größe).

Die Vermischung dieser Signale verhindert, dass der Agent zwischen „vorsichtig fortfahren“ und „um Klärung bitten“ unterscheidet.

2. Methodik

Vorgeschlagene Dekomposition

Das Paper schlägt eine promptbasierte Dekomposition vor, die den einzelnen Konfidenzskalar in zwei distinkte Signale aufteilt, die an jedem Schritt $t$ emittiert werden:

Aktionskonfidenz ( $c_t$ ): Das Vertrauen des Agenten, dass die gewählte Aktion zur Aufgabenlösung führt, gegeben das aktuelle Verständnis. Dies spiegelt den skalaren Konfidenzwert der Baselines wider.
Anfrageunsicherheit ( $u_t$ ): Eine Schätzung darüber, ob das Ziel des Nutzers vollständig spezifiziert ist, reichend von 0 (vollständig spezifiziert) bis 1 (kritische Details fehlen). Diese ist an einer Dreipunkt-Skala verankert:
- $0$: Genau eine korrekte Interpretation.
- $0,5$: Mindestens ein Parameter ist offen/ungenannt.
- $1$: Kritische Details fehlen; viele valide Interpretationen existieren.

Klärungstrigger

Die Methode führt einen deterministischen Routing-Mechanismus ein. Wenn $u_t \geq \theta$ (wobei $\theta = 0,5$ standardmäßig), wird der Agent angewiesen, anstelle einer Aufgabenaktion die spezielle Aktion request_clarification auszugeben. Dies schafft eine direkte Verbindung zwischen der Unsicherheitsschätzung und einem beobachtbaren Verhalten, wodurch das System als binärer Klassifikator für Unterspezifikation evaluiert werden kann.

Historien-Propagation

Gemäß dem Uncertainty-Aware Memory (UAM)-Framework [21] werden sowohl die Unsicherheitswerte ( $u_t, c_t$ ) als auch deren Erklärungen in natürlicher Sprache an die Interaktionshistorie $H_t$ angehängt. Dies ermöglicht es nachfolgenden Schritten, über die akkumulierte anfragebezogene Unsicherheit und Aktionskonfidenz zu reflektieren.

Baselines

Die vorgeschlagene Methode wird gegen zwei promptbasierte Baselines verglichen:

ReAct+UE: Ein Standard-ReAct-Agent mit einem Prompt-Suffix, das nach einem einzelnen Konfidenzwert und einer Erklärung fragt. Er behält die Unsicherheit nicht in der Historie.
Uncertainty-Aware Memory (UAM): Ähnlich wie ReAct+UE, aber propagiert den Konfidenzwert und die Erklärung durch die Historie, was es dem Agenten ermöglicht, über vergangene Unsicherheit zu reflektieren.

Benchmarks

Zur Evaluierung der Klärungssuche hat die Autorenschaft zwei klärungs-augmentierte Benchmarks konstruiert, bei denen 50 % der Aufgaben bewusst unterdefiniert sind:

WebShop-Clarification: Attribute (z. B. Farbe, Material) und Optionsklauseln wurden aus den Instruktionen entfernt.
ALFWorld-Clarification: Objekte oder Behältnisse wurden zufällig aus dem Ziel entfernt (z. B. „etwas in den Behälter legen“).
In diesen Varianten, falls der Agent bei einer unterdefinierten Aufgabe korrekt um Klärung bittet, wird das ursprüngliche Ziel enthüllt und die Episode fortgesetzt, um eine faire Erfolgsrate-Messung zu gewährleisten.

Die Evaluierung umfasst zudem Standard-Benchmarks (WebShop, ALFWorld, REAL) für die Fehlererkennung (Vorhersage von Trajektorienfehlern) und die Aufgabenerfolgsrate.

3. Kernbeiträge

Vergleichende Analyse: Eine systematische Untersuchung, die zeigt, dass praktische Beschränkungen promptbasierte Methoden als die einzig gangbare Familie für Unsicherheit in Black-Box-LLM-Agenten hinterlassen, was die tiefergehende Untersuchung ihrer Fähigkeiten für proaktive Verhaltensweisen motiviert.
Neue Benchmarks: Die Einführung von WebShop-Clarification und ALFWorld-Clarification, die die Evaluierung der Klärungssuche als binäre Klassifikationsaufgabe ermöglichen.
Dekompositionsmethode: Eine reine Prompt-Methode, die Aktionskonfidenz von Anfrageunsicherheit trennt und so proaktive Klärung ohne Training oder Modellzugriff ermöglicht.
Empirische Evaluierung: Eine umfassende Evaluierung über fünf LLM-Backbones (GPT-5.1, DeepSeek-v3.2-exp, GLM-4.7, Qwen3.5-30B, GPT-OSS-120B) sowohl für Klärungssuche- als auch für Fehlererkennungsaufgaben.

4. Ergebnisse

Klärungssuche

Die vorgeschlagene Dekomposition schneidet bei der Identifizierung unterdefinierter Aufgaben signifikant besser ab als die Baselines:

ALFWorld-Clarification: Die vorgeschlagene Methode verbessert die Klärungs-F1 im Durchschnitt über die fünf Backbones um 73 % gegenüber ReAct+UE und um 36 % gegenüber UAM.
WebShop-Clarification: Die vorgeschlagene Methode führt bei der Klärungs-F1 bei jedem Backbone.
Generalisierung: Die Gewinne generalisieren über verschiedene Modellfamilien hinweg, was zeigt, dass die Dekomposition nicht spezifisch für eine einzelne LLM-Architektur ist.

Fehlererkennung

Die Dekomposition beeinträchtigt die Fähigkeit zur Fehlererkennung (Vorhersage von Trajektorienfehlern) nicht:

Über alle Backbones und Benchmarks hinweg erreicht die vorgeschlagene Methode ROC-AUC-Scores für die Fehlererkennung, die mit ReAct+UE und UAM vergleichbar sind.
Bei WebShop und REAL erreicht die vorgeschlagene Methode die höchsten ROC-AUC-Werte für die Letzt-Schritt- (last-step) und Durchschnitts-Aggregationen.

Aufgabenerfolgsrate und Kalibrierung

Kapazitätsverwässerung (Capability Dilution): Es wurde ein monotoner Rückgang der Aufgabenerfolgsrate beobachtet, während die Unsicherheits-Instrumentierung zunahm: ReAct+UE (28,6 %) > UAM (27,8 %) > Vorgeschlagen (27,0 %). Die Autoren führen dies auf die „Kapazitätsverwässerung“ zurück, bei der das feste Reasoning-Budget zwischen Aufgabenlösung und multiplen Unsicherheitsbewertungen aufgeteilt wird.
Überkonfidenz: Reliabilitätsdiagramme zeigen eine systematische Überkonfidenz bei allen Methoden; die vorhergesagte Konfidenz übersteigt konsistent die beobachteten Erfolgsraten (ECE reicht von 0,24 bis 0,66).
Aggregationssensitivität: Die Wahl der Trajektorien-Aggregation (z. B. Produkt, Durchschnitt, Letzter Schritt) beeinflusst die Fehlererkennungs-Scores erheblich. Bemerkenswerterweise fungiert bei ALFWorld die Produkt-Aggregation eher als Proxy für die Trajektorienlänge denn als echtes Konfidenzsignal, da fehlgeschlagene Trajektorien systematisch länger sind.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass die vorgeschlagene Dekomposition erfolgreich das Konzept der „Unterspezifikations-Unsicherheit“ als eigenständige Kategorie operationalisiert und damit die Forderungen von Kirchhof et al. [13] und Kim et al. [14] adressiert. Durch die Bereitstellung eines dedizierten Kanals für Zielambiguität kann der Agent proaktiv um Klärung bitten, anstatt stillschweigend zu scheitern oder mit willkürlichen Interpretationen fortzufahren.

Die Autoren äußern sich jedoch bescheiden über die Grenzen des promptbasierten Paradigmas:

Grenzen des Promptings: Die beobachtete Kapazitätsverwässerung und die systematische Überkonfidenz sind inhärent für den promptbasierten Ansatz, bei dem das Modell gleichzeitig die Aufgabe lösen und seine eigene Konfidenz innerhalb eines festen Token-Budgets bewerten muss.
Zukünftige Richtung: Das Paper argumentiert, dass der vielversprechendste Weg in der nativen Unsicherheitsschätzung liegt. Anstatt nach dekomponierten Scores zu prompten, sollten Modelle darauf trainiert werden (via RLHF, DPO oder GRPO), intern zwischen Schwierigkeit der Aufgabe und Zielambiguität zu unterscheiden. Dies würde die Notwendigkeit der promptbasierten Abfrage eliminieren, die Kapazitätsverwässerung aufheben und eine kalibrierte, natürliche Kommunikation von Unsicherheit ermöglichen.

Zusammenfassend dient die Arbeit als Proof-of-Concept dafür, dass die Dekomposition von Unsicherheit neue Agentenfähigkeiten ermöglicht, postuliert jedoch, dass der nächste Schritt darin besteht, diese Mechanismen durch Alignment-basiertes Training vom Prompt in das Modell selbst zu überführen.