Beyond Reactivity: Measuring Proactive Problem Solving in LLM Agents
Dieses Paper stellt PROBE vor, einen neuen Benchmark, der Proaktivität in das Suchen, Identifizieren und Lösen nicht näher spezifizierter Probleme zerlegt, um LLM-Agenten zu evaluieren, wobei aufgezeigt wird, dass selbst modernste Modelle wie GPT-5 und Claude Opus-4.1 Schwierigkeiten haben, eine hohe autonome Performance zu erreichen, mit einem Bestwert von lediglich 40 %.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Von „Auf Befehle warten“ zu „Bedürfnisse antizipieren“
Stellen Sie sich vor, Sie hätten einen sehr klugen, superschnellen persönlichen Assistenten. Momentan sind die meisten dieser Assistenten wie Kellner in einem Restaurant. Sie müssen die Speisekarte lesen, entscheiden, was Sie wollen, und sagen: „Ich hätte gerne den Burger.“ Der Assistent geht dann und holt den Burger. Er ist reaktiv; er bewegt sich nur, wenn man ihm etwas sagt.
Die Autoren dieses Papers wollen sehen, ob wir Assistenten bauen können, die eher wie ein aufmerksamer Butler sind. Ein guter Butler beobachtet Sie, bemerkt, dass Sie auf Ihre Uhr schauen und seufzen, und sagt: „Ich sehe, Ihr Meeting ist in 10 Minuten und Sie haben Ihre Präsentation noch nicht eingepackt. Ich habe sie bereits in Ihre Tasche gelegt und ein Auto bestellt.“ Das ist proaktives Verhalten.
Das Paper stellt die Frage: Können aktuelle KI-Agenten das tatsächlich leisten? Können sie sich einen Haufen Ihrer E-Mails, Kalender und Dokumente ansehen, herausfinden, was schiefläuft, ohne dass Sie es ihnen sagen müssen, und es beheben?
Das Problem: Der „Nadel im Heuhaufen“-Test
Um dies zu testen, erkannten die Forscher, dass bestehende Tests zu einfach waren. Es war, als würde man den Assistenten bitten, eine rote Socke in einer kleinen Schublade zu finden. Das echte Leben ist jedoch schwieriger; es ist, als müsste man eine rote Socke in einem Lagerhaus voller Kleidung finden, wobei die Socke vielleicht in einer Notiz erwähnt wird, die vor drei Wochen geschrieben wurde, gemischt mit tausend anderen Notizen über Mittagessen oder das Wetter.
Um dies zu lösen, entwickelten sie einen neuen Test namens PROBE (Proactive Resolution of Bottlenecks).
So funktioniert PROBE:
- Das Setup: Sie erstellten 1.000 fiktive „Arbeitstage“ für 235 verschiedene fiktive Personen (wie einen leitenden Buchhalter oder einen Projektmanager). Jede fiktive Person hat einen massiven digitalen „Datenspeicher“, der aus hunderten von E-Mails, Kalendereinladungen und Textdateien besteht.
- Das verborgene Problem: In jedem Szenario versteckten sie ein spezifisches Problem (einen „Engpass“). Zum Beispiel fehlt eine wichtige Unterschrift für einen Bericht, oder eine Frist wurde versäumt, weil eine Datei in einem falschen Format vorlag.
- Die Falle: Das Problem ist nicht offensichtlich. Die Beweise sind über 5 oder 6 verschiedene E-Mails und Kalenderereignisse verstreut. Zudem gibt es hunderte von „Distraktor“-Dokumenten (wie E-Mails über das Mittagessen oder das Wetter), die darauf ausgelegt sind, die KI zu verwirren.
- Das Ziel: Der KI-Agent muss:
- Suchen: Sich durch den Heuhaufen graben, um die relevanten Hinweise zu finden.
- Identifizieren: Herausfinden, was genau das Problem ist (z. B. „Das Dateiformat ist falsch, nicht die Frist“).
- Handeln: Aus einer Liste von 25 möglichen Aktionen die eine richtige Aktion wählen, um das Problem zu lösen (z. B. „Eine E-Mail an das IT-Team senden“ statt „Das Meeting verschieben“).
Die Ergebnisse: Die „40%-Obergrenze“
Die Forscher testeten die klügsten verfügbaren KI-Modelle (wie GPT-5 und Claude Opus) sowie verschiedene „Agent-Frameworks“ (unterschiedliche Wege, die KI zum Denken zu programmieren).
Das schockierende Ergebnis: Selbst die besten KI-Modelle waren nur in 40 % der Fälle erfolgreich.
Stellen Sie sich das wie eine medizinische Prüfung vor. Wenn die klügsten Ärzte der Welt bei einem Test, der darauf ausgelegt ist, zu prüfen, ob sie einen Patienten diagnostizieren können, ohne dass man ihnen sagt, was das Problem ist, nur 40 % der Fragen richtig beantworten, dann wissen wir, dass wir noch einen weiten Weg vor uns haben.
Wo sind sie gescheitert?
- Die Suche: Sie haben oft die Hinweise übersehen. Sie haben die falschen E-Mails betrachtet oder den Kalender ignoriert.
- Die Diagnose: Selbst wenn sie die Hinweise gefunden hatten, haben sie oft das falsche Problem erraten. Sie dachten vielleicht, das Problem sei „zu viel Arbeit“, obwohl es eigentlich „eine fehlende Datei“ war.
- Die Lösung: Manchmal kannten sie das Problem, wählten aber die falsche Lösung (wie die Polizei zu rufen, wenn man eigentlich nur einen Klempner bräuchte).
Der Vergleich mit Menschen
Die Forscher ließen auch Menschen diesen Test machen.
- Der Haken: Der Test war zu lang, als dass Menschen ihn auf einmal lesen konnten (er war 100.000 Wörter lang!).
- Die Lösung: Sie gaben den Menschen eine „Kurzversion“, in der sie die wichtigen Teile zusammenfassten.
- Das Ergebnis: Menschen schnitten in der Kurzversion viel besser ab (etwa 70–80 % Erfolgsquote). Dies bewies, dass die Hauptschwierigkeit nicht die Logik selbst war, sondern die Länge und Komplexität der Informationen. Die KI hat Schwierigkeiten, bei einer riesigen Menge an Daten den Überblick zu behalten.
Das Fazit: Wir sind immer noch „reaktiv“
Das Paper kommt zu dem Schluss, dass KI zwar besser darin wird, Anweisungen zu befolgen, aber immer noch schlecht darin ist, Probleme eigenständig zu antizipieren.
- Die Lücke: Es gibt eine riesige Kluft zwischen „tun, was man angewiesen wird“ und „herausfinden, was zu tun ist“.
- Die Zukunft: Um das „Butler-Level“ zu erreichen, muss die KI viel besser darin werden, lange Dokumente zu lesen, Punkte über die Zeit hinweg zu verknüpfen und menschliche Beziehungen zu verstehen (wie zum Beispiel zu wissen, wem man eine E-Mail schreiben sollte und wen man ignorieren sollte).
Kurz gesagt: Wir haben sehr kluge Motoren gebaut, aber sie brauchen immer noch einen Menschen, der sie lenkt und ihnen sagt, wo sie suchen sollen. Sie sind noch nicht bereit, das Auto alleine zu fahren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.