💬 NLP

LHAW: Controllable Underspecification for Long-Horizon Tasks

Die Arbeit stellt LHAW vor, ein modulares Framework zur systematischen Erzeugung und Bewertung von kontrolliert unvollständigen Langzeitaufgaben durch das Entfernen von Informationen in vier Dimensionen, um damit die Fähigkeit autonomer Agenten zur Erkennung und Klärung von Mehrdeutigkeiten empirisch zu validieren.

Ursprüngliche Autoren: George Pu, Michael S. Lee, Udari Madhushani Sehwag, David J. Lee, Bryan Zhu, Yash Maurya, Mohit Raghavendra, Yuan Xue, Samuel Marc Denton

Veröffentlicht 2026-03-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: George Pu, Michael S. Lee, Udari Madhushani Sehwag, David J. Lee, Bryan Zhu, Yash Maurya, Mohit Raghavendra, Yuan Xue, Samuel Marc Denton

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du stellst einen hochintelligenten, aber etwas naiven Roboter-Assistenten ein, der komplexe Aufgaben für dich erledigen soll. Er kann e-Mails schreiben, Daten analysieren oder sogar Code reparieren. Das Problem ist: Manchmal gibt der Chef (also du) ihm eine Aufgabe, die nicht ganz vollständig ist.

Das Problem: Der "Vage Chef"-Effekt
In der echten Welt passiert das oft. Du sagst vielleicht: "Mach mir eine Präsentation über die Umsätze." Aber du sagst nicht: "Für wen?", "Wie viele Seiten?", "Bis wann?" oder "Welche Farben sollen wir nutzen?"

Ein normaler Assistent würde raten. Ein smarter, autonomer Agent sollte aber merken: "Moment, hier fehlt was! Wenn ich jetzt einfach loslege, mache ich vielleicht alles falsch." Die Schwierigkeit ist: Wenn der Agent zu oft fragt, nervt er dich. Wenn er zu wenig fragt, liefert er Müll. Die aktuelle Forschung hat kein gutes Werkzeug, um zu testen, ob Agenten diesen "Ratens vs. Fragen"-Spagat wirklich meistern.

Die Lösung: LHAW (Die "Unvollständige-Aufgaben"-Fabrik)
Die Autoren des Papers haben eine Maschine namens LHAW gebaut. Stell dir LHAW wie eine Kochschule für KI vor, die absichtlich schlechte Rezepte erstellt, um zu sehen, wie gut die Köche (die KI-Agenten) damit umgehen.

Hier ist, wie LHAW funktioniert, Schritt für Schritt:

Das perfekte Rezept nehmen: Sie nehmen eine Aufgabe, die perfekt beschrieben ist (z. B. "Erstelle eine Excel-Tabelle mit den Namen der Mitarbeiter aus der Datei 'März.csv'").
Die Zutaten entfernen (Die 4 Dimensionen): LHAW schneidet absichtlich wichtige Informationen aus dem Rezept heraus. Sie tun dies in vier Kategorien:
- Ziel (Goal): Was soll eigentlich am Ende rauskommen? (Fehlt: "Erstelle eine Tabelle" -> "Mach was mit den Daten").
- Regeln (Constraints): Wie genau soll es gemacht werden? (Fehlt: "Runde auf 2 Dezimalstellen").
- Eingaben (Inputs): Woher kommen die Daten? (Fehlt: "Nutze die Datei 'März.csv'").
- Kontext: Was muss man im Hintergrund wissen? (Fehlt: "Die Daten sind in Euro, nicht in Dollar").
Der Testlauf: Jetzt geben sie dieses unvollständige Rezept an verschiedene KI-Agenten.
Die Bewertung:
- Katastrophe (Outcome-Critical): Der Agent macht einfach weiter, nutzt falsche Daten und das Ergebnis ist Müll. -> Schlecht!
- Verwirrung (Divergent): Der Agent macht verschiedene Dinge, mal gut, mal schlecht. -> Ungewiss.
- Genie (Benign): Der Agent merkt sofort: "Aha, hier fehlt was!" und fragt dich höflich nach. -> Perfekt!

Was haben sie herausgefunden? (Die Ergebnisse)

Die Forscher haben über 280 solcher "verdorbenen" Aufgaben getestet und verschiedene KI-Modelle (wie GPT-5, Claude, Gemini) gegeneinander antreten lassen. Hier sind die lustigen Entdeckungen:

Der "Alles-Frage"-Typ (GPT-5.2): Dieser Agent ist sehr vorsichtig. Er fragt fast bei jedem Schritt nach. Das Ergebnis ist oft gut, aber er nervt den Nutzer extrem. Er fragt auch Dinge, die man leicht selbst herausfinden könnte. Das ist wie ein Koch, der bei jedem Gewürz fragt: "Soll ich Salz oder Pfeffer nehmen?", obwohl das Rezept "Salz" sagt.
Der "Risiko-Übernehmer" (Gemini-Modelle): Diese Modelle fragen viel zu wenig. Sie raten lieber. Das ist wie ein Koch, der einfach "irgendein Gewürz" nimmt, weil er nicht stören will. Oft endet das in einer Katastrophe.
Der Preis der Information: Die Forscher haben berechnet: "Wie viel besser wird das Ergebnis pro gestellter Frage?"
- Ein guter Agent fragt selten, aber wenn, dann genau das Richtige. (Hoher Wert pro Frage).
- Ein schlechter Agent fragt viel, bringt aber wenig. (Niedriger Wert pro Frage).

Warum ist das wichtig?

Bisher haben wir nur getestet, ob KIs Aufgaben schaffen. LHAW testet, ob KIs wissen, wann sie Hilfe brauchen.

In der Zukunft wollen wir autonome Agenten, die in Firmen arbeiten. Wenn so ein Agent stillschweigend annimmt, dass du "Budget" meinst, wenn du "Umsatz" meintest, und dann Millionen verliert, ist das ein großes Problem. LHAW hilft uns, Agenten zu bauen, die nicht stur sind, sondern klug genug, um zu sagen: "Entschuldigung, ich brauche noch eine Info, damit ich das nicht falsch mache."

Zusammenfassung in einem Satz:
LHAW ist wie ein Trainer, der KIs absichtlich mit unklaren Anweisungen konfrontiert, um zu lernen, wer derjenige ist, der nicht einfach ratet, sondern klug nachfragt, bevor er eine teure Fehler macht.

1. Problemstellung

Autonome Agenten, die komplexe, langfristige Workflows (Long-Horizon Tasks) ausführen, stehen vor einer fundamentalen Herausforderung: Sie müssen unterscheiden zwischen Aufgaben, die mit den vorliegenden Informationen lösbar sind, und solchen, die eine Klärung (Clarification) erfordern, um Fehler zu vermeiden.

Kosten der Klärung: Im Gegensatz zu konversationellen Assistenten, bei denen Rückfragen billig sind, ist jede menschliche Interaktion in langfristigen Workflows kostspielig. Sie unterbricht den Arbeitsfluss, führt zu Latenz und verursacht kognitive Wechselkosten für den Supervisor.
Lücke in der Evaluierung: Bestehende Benchmarks (wie THEAGENTCOMPANY, SWE-BENCH PRO) testen Agenten nur an vollständig spezifizierten Aufgaben. Umgekehrt testen Benchmarks für Klärung (wie ClariQ) meist nur kurze Kontexte, wo das Fragen kaum Kosten verursacht. Es fehlt ein systematischer Rahmen, um zu messen, ob Agenten in langfristigen Szenarien erkennen können, wenn Informationen fehlen, und strategisch entscheiden, wann eine Klärung die Kosten rechtfertigt.
Risiko: Ein Agent, der stillschweigend fehlende Parameter annimmt, führt zu falschen Workflows mit kaskadierenden Folgen. Ein Agent, der zu oft fragt, zeigt mangelndes Urteilsvermögen.

2. Methodik: Der LHAW-Pipeline-Ansatz

Die Autoren stellen LHAW (Long-Horizon Augmented Workflows) vor, einen modularen, datensatzagnostischen synthetischen Pipeline, der gut definierte Aufgaben in kontrolliert unvollständige (underspecified) Varianten verwandelt.

A. Taxonomie der Unvollständigkeit

Die Pipeline entfernt Informationen systematisch entlang vier Dimensionen (siehe Tabelle 1 im Paper):

Goal (Ziel): Unklare Ausgabe oder Erfolgskriterien (z. B. „Erstelle einen Bericht" – welcher Bericht?).
Constraint (Einschränkung): Fehlende Schwellenwerte, Regeln oder Parameter (z. B. „Buche einen günstigen Flug" – was ist das Budget?).
Input (Eingabe): Unklare Datenquellen, Dateipfade oder Systeme (z. B. „Nutze den neuesten Datensatz" – welcher genau?).
Context (Kontext): Fehlendes Domänenwissen oder implizite Anforderungen (z. B. „Sende den Bericht an das Team" – welches Team?).

B. Der Drei-Phasen-Prozess

Segment Extraction & Scoring: Ein LLM analysiert den Original-Prompt, identifiziert atomare Informationssegmente und klassifiziert sie nach Dimension. Es bewertet zwei Metriken auf einer Skala (0.0–1.0):
- Criticality: Würde das Entfernen zum Task-Failure führen?
- Guessability: Kann der Agent den Wert aus dem Kontext ableiten?
- Ein Prioritäts-Score wird berechnet: $Criticality \times (1 - Guessability)$ .
Variant Generation: Basierend auf den Segmenten werden Varianten generiert, indem Informationen entfernt werden. Drei Strategien werden verwendet:
- Delete: Vollständiges Entfernen.
- Vaguify: Ersetzen durch vage Sprache (z. B. „die Datei").
- Genericize: Ersetzen durch generische Begriffe (z. B. „passendes Format").
  Es können 1 oder 2 Segmente gleichzeitig entfernt werden, um die Schwierigkeit zu steuern.
Empirical Agent Trials (Validierung): Die generierten Varianten werden mit Agenten getestet. Basierend auf den beobachteten Ergebnissen werden sie klassifiziert:
- Outcome-Critical: Der Agent scheitert konsistent ohne die Information.
- Divergent: Die Ergebnisse variieren zwischen den Läufen (teilweise Erfolg, teilweise Fehler).
- Benign: Der Agent inferiert die fehlende Information korrekt und erreicht das Ziel.
- New Task: Der Agent scheitert zwar, erreicht aber einen konsistenten, neuen Endzustand (diese werden gefiltert, da sie keine echte Unschärfe darstellen).

C. Datensatz und Validierung

LHAW wurde auf drei bestehenden Benchmarks angewendet: THEAGENTCOMPANY (OwnCloud-Subset), SWE-BENCH PRO und MCP-ATLAS.

Insgesamt wurden 285 Varianten erstellt.
Die Verteilung umfasst outcome-kritische, divergente und benign Fälle.
Ein simulierter Benutzer („User Simulator" als MCP-Tool) steht den Agenten zur Verfügung, um auf Fragen zu antworten, basierend auf dem ursprünglichen, vollständigen Prompt.

3. Wichtige Beiträge

Synthetische Pipeline: Ein Framework zur kontrollierten Erzeugung von Unschärfe, das über rein linguistische Intuition hinausgeht und durch empirische Agentenläufe validiert wird.
Benchmark-Daten: Bereitstellung von 285 validierten Varianten mit einer klaren Taxonomie, die als Standard für die Evaluierung von Klärungsverhalten dienen.
Analyse des Klärungsverhaltens: Einführung der Metrik Gain/Q (Leistungssteigerung pro gestellter Frage), um die Effizienz von Agenten zu messen.

4. Ergebnisse und Erkenntnisse

Die Studie evaluierte mehrere State-of-the-Art-Modelle (GPT-5.2, Claude Opus/Sonnet, Gemini Pro/Flash) unter verschiedenen Bedingungen:

Leistungsverlust durch Unschärfe: Die Leistung der Agenten bricht bei unvollständigen Aufgaben signifikant ein. Die ask_user-Tool-Funktion ermöglicht eine Erholung, aber selten bis zum ursprünglichen Baseline-Niveau (außer bei GPT-5.2 auf SWE-Bench).
Modellunterschiede im Klärungsverhalten:
- GPT-5.2: Neigt zu Over-Clarification. Es stellt die meisten Fragen, erzielt hohe absolute Gewinne, hat aber die niedrigste Effizienz (niedrigster Gain/Q), da es auch unnötige Fragen stellt.
- Gemini-Modelle: Neigen zu Under-Clarification. Sie stellen weniger Fragen, was zu häufigen Fehlern führt, wenn kritische Informationen fehlen.
- Claude Sonnet/Opus: Zeigen oft einen ausgewogeneren Ansatz, wobei Sonnet auf SWE-Bench besonders gut abschneidet, wenn keine Klärung erfolgt.
Kosten-Nutzen-Analyse: Die Einführung von „User Personas" (Supervisor, Standard, Busy Executive) zeigt, dass Agenten die erwarteten Kosten der Unterbrechung intuitiv berücksichtigen. Bei einem „Busy Executive" stellen Agenten weniger Fragen, was die Gesamtperformance senkt, aber die Effizienz pro Frage (Gain/Q) erhöht.
Fehlermodi: Häufige Fehler sind schlechte Fragequalität (z. B. mehrteilige Fragen), falsches Zielen (Fragen nach nicht-kritischen Details) und mangelnde Integration der erhaltenen Informationen.
Prompting-Strategien: Komplexe Strategien wie Reflexion oder Plan & Execute verbessern die Leistung bei schwierigen, outcome-kritischen Aufgaben, können aber bei einfacheren Aufgaben die natürliche Exploration stören und zu ineffizientem Fragen führen.

5. Bedeutung und Ausblick

LHAW adressiert eine kritische Lücke in der Entwicklung vertrauenswürdiger autonomer Systeme.

Praxisrelevanz: Es ermöglicht die Entwicklung von Agenten, die nicht nur Aufgaben ausführen, sondern auch wissen, wann sie Hilfe benötigen und wie viel Hilfe sie einholen sollten, um Kosten und Risiken zu minimieren.
Sicherheitsaspekte: Durch das Vermeiden von stillschweigendem Scheitern (Silent Failure) wird die Sicherheit in sicherheitskritischen Anwendungen erhöht.
Zukunft: Die Autoren planen, die Pipeline um Umgebungs-Unschärfen zu erweitern und menschliche Bewertungen sowie Post-Training-Methoden zu integrieren, um Agenten besser auf reale, unvollständige Szenarien vorzubereiten.

Zusammenfassend bietet LHAW den ersten systematischen Rahmen für die kostenbewusste Evaluierung des Klärungsverhaltens von Agenten in langfristigen Workflows und liefert wichtige Erkenntnisse darüber, wie aktuelle Modelle mit Unsicherheit umgehen.