STOCKTAKE: Measuring the Gap Between Perception and Action in LLM Agents with a Fair Oracle
Dieses Paper stellt STOCKTAKE vor, einen 26-wöchigen Supply-Chain-Benchmark mit einem fairen Oracle, das die Zustandsabschätzung von den Steuerungsmaßnahmen trennt und aufzeigt, dass fortschrittliche LLM-Agenten zwar verborgene Fehler präzise diagnostizieren können, es jedoch oft versäumen, dieses Wissen in effektive Entscheidungen zu übersetzen, was zu Leistungsunterschieden führt, bei denen einige Modelle selbst gegenüber einer symptomblinden Baseline schlechter abschneiden, trotz besserer Detektionsfähigkeiten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Kapitän eines Schiffes, das durch einen nebligen Archipel segelt. Die Karte, die Sie halten, ist unvollständig; Sie können die verborgenen Riffe oder die wechselnden Strömungen nicht direkt sehen. Stattdessen sehen Sie nur die Wellen, die gegen den Rumpf schlagen, die Farbe des Wassers und das Geräusch des Windes. Um sicher zu navigieren, müssen Sie erraten, was sich unter der Oberfläche abspielt, basierend auf diesen Hinweisen. Dies ist die Welt der KI-Agenten, die versuchen, langfristige Entscheidungen zu treffen. In diesem Bereich testen Wissenschaftler, wie gut eine künstliche Intelligenz wie ein menschlicher Kapitän agieren kann, indem sie aus verrauschten Symptomen verborgene Gefahren schließt und Entscheidungen trifft, die über Wochen oder Monate hinweg Geld sparen oder Katastrophen verhindern.
Die große Frage, die Forscher stellen, lautet: Wenn eine KI versagt, liegt es daran, dass sie die Hinweise nicht verstanden hat, oder daran, dass sie die Hinweise perfekt verstanden, aber eine schreckliche Entscheidung getroffen hat? Dies wird als „Wissen-Handeln-Lücke“ (knowing-doing gap) bezeichnet. Es ist wie ein Schüler, der die Antwort auf eine Matheaufgabe kennt, aber die falsche Zahl aufschreibt, weil er in Panik geraten ist. Lange Zeit war es schwierig, den Unterschied festzustellen, da die „richtige“ Antwort normalerweise voraussetzte, die verborgenen Riffe zu sehen, die die KI nicht sehen durfte. Wenn die KI scheiterte, wussten wir nicht, ob sie blind oder nur tollpatschig war.
Der große Bestandsaufnahme der Lieferkette
In dieser Arbeit bauten die Forscher einen digitalen Spielplatz namens STOCKTAKE, um dieses Rätsel zu lösen. Sie erschufen eine 26-wöchige Simulation, in der eine KI als Manager für einen Elektronikimporteur fungiert. Der Manager muss entscheiden, wie viele Gadgets er jede Woche bestellt. Das Problem? Die Welt ist voller verborgener Unruhestifter: Ein Lieferant könnte ausfallen, ein Schifffahrtskanal könnte blockiert sein oder die Nachfrage könnte plötzlich steigen. Die KI kann diese Probleme nicht direkt sehen; sie sieht nur ein wöchentliches Dashboard mit verrauschten, verwirrenden Symptomen (wie „Liegezeiten im Hafen sind hoch“ oder „Frachtangebote sind gestiegen“).
Um herauszufinden, ob die KI „blind“ oder nur „tollpatschig“ ist, erfanden die Forscher einen Fair Oracle (einen fairen Orakel-Agenten). Stellen Sie sich dies als einen superintelligenten, perfekt logischen Roboter vor, der neben der KI sitzt. Dieser Roboter sieht exakt dasselbe verwirrende Dashboard wie die KI. Er darf auch nicht in die verborgenen Unruhestifter hineinspicken. Er ist jedoch ein Mathegenie: Er nutzt perfekte Wahrscheinlichkeitsregeln (Bayes-Filter), um zu erraten, was gerade passiert, und berechnet die absolut beste mögliche Bestellung, die man tätigen kann, basierend auf diesen Vermutungen.
Durch den Vergleich der Leistung der KI mit diesem Fair Oracle konnten die Forscher zwei Dinge separat messen:
- Wahrnehmung: Hat die KI korrekt erraten, was schiefgelaufen ist? (Hat sie das verborgene Problem benannt?)
- Handlung: Hat die KI nach der Vermutung den richtigen Schritt unternommen? (Hat sie die richtige Menge bestellt?)
Sie führten dieses Experiment mit vier der klügsten verfügbaren KI-Modelle durch (Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro und Grok 4.5) über 50 verschiedene „Seeds“ (verschiedene Versionen der verborgenen Welt) hinweg.
Was sie fanden: Die „Wissen-Handeln-Lücke“ ist real
Die Ergebnisse waren überraschend und ein wenig amüsant.
1. Die KI kann sehr wohl sehen
Zuerst prüften die Forscher, ob die KI die verborgenen Probleme erkennen konnte. Die Antwort war ein deutliches Ja. Alle vier Modelle waren exzellent im „Sehen“. Sie identifizierten verborgenen Stress (wie eine Hafenblockade oder einen Lieferantenausfall) in 84 % bis 88 % der Fälle korrekt. Noch besser: Sie fanden es meist innerhalb einer Woche nach Beginn des Ereignisses heraus. Tatsächlich waren die Modelle, die finanziell am schlechtesten abschnitten, diejenigen, die die Probleme am schnellsten erkannt hatten. Somit lag das Scheitern nicht daran, dass die KI blind war.
2. Die KI kann nicht handeln (manchmal)
Hier wird die Geschichte interessant. Obwohl die KI wusste, was falsch war, traf sie oft die falsche Entscheidung.
- Die „Unter-Reagierenden“: Einige Modelle, wie Claude Sonnet 5, diagnostizierten zwar korrekt ein Problem, erstarrten dann aber. Wenn sie beispielsweise sahen, dass ein Hafen blockiert war, hörten sie ganz auf zu bestellen, in der Annahme, ihr aktueller Bestand würde ausreichen. Aber weil der Hafen blockiert war, kam ihr Bestand nie an, und sie gingen leer aus, was zu Geldverlusten führte. Sie kannten das Problem, handelten aber zu vorsichtig.
- Die „Über-Reagierenden“: Andere Modelle, wie DeepSeek-V4-Pro und Grok 4.5, taten das Gegenteil. Sie bemerkten ein Problem und gerieten in Panik, indem sie riesige Mengen teurer Luftfracht bestellten oder hohe Preise festschrieben. Sie kannten das Problem, aber sie reagierten so übermäßig stark, dass sie viel mehr Geld ausgaben als nötig. Tatsächlich schnitten diese Modelle in etwa der Hälfte ihrer Testläufe so schlecht ab, dass eine einfache Regel, die alle Symptome ignoriert, mehr Geld gespart hätte. Ihre „Skill-Scores“ waren sogar negativ (speziell -0,23 und -0,13), was bedeutete, dass sie unter der Baseline einer symptomblinden Strategie lagen.
3. Die „Wissen-Handeln-Lücke“ ist der Flaschenhals
Die Studie ergab, dass der größte Unterschied zwischen einer guten und einer großartigen KI nicht die Intelligenz oder die Klarheit der Wahrnehmung der Welt war. Es war die Kontrolle.
- In den Szenarien mit „anhaltendem“ Stress (wo ein Problem über viele Wochen andauert), liefen die Modelle selbst dann, wenn sie das Problem korrekt diagnostiziert hatten, in 34 % bis 43 % der Fälle in einen Lagerengpass.
- Die Forscher berechneten einen „Skill Score“, um zu sehen, wie nah die KI am perfekten Fair Oracle war. Zwei der Modelle (DeepSeek und Grok) erzielten negative Zahlen, was bedeutete, dass sie schlechter abschnitten als eine einfache Regel, die alle Symptome ignoriert. Doch genau diese Modelle waren am schnellsten darin, die verborgenen Probleme in ihren schriftlichen Erklärungen zu benennen.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass das Problem für aktuelle KI-Agenten nicht darin besteht, dass sie nicht verstehen können, was in der Welt passiert. Sie sind hervorragend in der Deduktion. Das Problem ist, dass es unglaublich schwer ist, einen korrekten Gedanken in eine korrekte Handlung umzusetzen.
Die KI schreibt vielleicht einen perfekten Absatz mit der Erklärung: „Der Kanal ist geschlossen, und wir müssen mehr bestellen“, aber dann bestellt sie vielleicht zu wenig, zu spät oder zahlt zu viel für eine Lösung. Die „Wissen-Handeln-Lücke“ ist real: Diese Modelle können die richtige Überzeugung halten, aber scheitern daran, effektiv danach zu handeln. Die Forscher legen nahe, dass die Lösung nicht nur in klügerer KI liegen wird, die die Welt besser sieht, sondern in besseren Wegen, der KI beizubringen, wie sie ihr Wissen in die richtigen, kostspieligen Handlungen übersetzt.
Kurz gesagt: Die KI ist nicht blind. Sie ist nur tollpatschig mit ihren Händen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.