Stellen Sie sich vor, Sie stellen einen superintelligenten Roboter-Assistenten ein, um Ihnen beim Betrieb eines geschäftigen Büros zu helfen. Sie stellen ihm eine komplizierte Frage, wie zum Beispiel: „Wie viel haben wir letzten Monat für den Versand ausgegeben und welche Dateien verursachen die Verzögerungen?“ Um diese Frage zu beantworten, kann der Roboter nicht einfach raten; er muss Informationen nachschlagen. Aber hier ist der Haken: Das Büro verfügt über drei sehr unterschiedliche Arten von Informationsregalen. Es gibt eine Bibliothek voller schriftlicher Berichte und PDFs (Dokumente), einen Tabellenkalkulationsraum voller Zeilen mit Zahlen und Berechnungen (Tabellen) und einen Kartensaal, der zeigt, wie jede Datei mit jeder anderen Datei verbunden ist (Graphen).

Lange Zeit testten Wissenschaftler, die diese Roboter testeten, hauptsächlich mit der Frage: „Hast du die richtige Antwort bekommen?“ Wenn der Roboter in den falschen Raum ging, das falsche Buch auswählte oder die Rechnung falsch machte, sagte der Test einfach: „Fehlgeschlagen.“ Das sagte uns aber nicht, warum er scheiterte. Wusste der Roboter nicht, dass er in den Kartensaal gehen musste? Oder ging er in den Kartensaal, fand die richtige Karte, war aber beim Lesen verwirrt? Diese Arbeit tritt in diese Lücke ein. Sie führt eine neue Art des Testens für Roboter ein, indem sie den Akt der Wahl des richtigen Raums vom Akt des Lösens des Puzzles einmal im Raum trennt. Die Frage lautet: Kann der Roboter herausfinden, welche Art von Wissen er benötigt, noch bevor er überhaupt mit der Suche beginnt?

Das neue Spiel: WorkSurface-Bench

Die Forscher bauten einen neuen Testplatz namens WorkSurface-Bench. Stellen Sie sich dies als eine riesige, realistische Bürosimulation mit 1.151 verschiedenen Aufgaben vor. Sie legten fünf verschiedene „Personas“ fest (wie einen Logistikmanager oder einen Finanzanalysten) und gaben ihnen Zugriff auf drei verschiedene Oberflächen: eine Dokumentenbibliothek, eine Tabellendatenbank und einen Graph der Datei-Beziehungen.

Die große Innovation hier ist die Art und Weise, wie sie die Roboter bewerten. Anstatt nur ein Bestehen oder Nichtbestehen für die endgültige Antwort zu geben, bewerten sie zwei separate Dinge:

1. Route: Hat der Roboter die richtigen „Oberflächen“ (Bibliothek, Tabellenkalkulation oder Karte) ausgewählt?
2. Antwort: Hat er das Problem tatsächlich korrekt gelöst, nachdem er sie ausgewählt hatte?

Sie erstellten einen „Goldstandard“ für jede Antwort. Wenn eine Aufgabe eine mathematische Berechnung erfordert, ließen sie den tatsächlichen Code laufen, um die wahre Antwort zu erhalten. Wenn sie das Lesen eines Dokuments erforderte, prüften sie die exakten Wörter in der Quelle. Wenn sie eine Datei-Verbindung benötigten, verfolgten sie den tatsächlichen Pfad. Das bedeutet, dass die „korrekte“ Antwort nicht nur eine Vermutung einer anderen KI ist, sondern ein verifizierter Fakt.

Die große Überraschung: Zu wissen, wo man suchen muss, reicht nicht aus

Das Team testete vier der klügsten verfügbaren KI-Modelle (darunter GPT-4o-mini, DeepSeek-V4-Pro, Gemini-3.1-Pro und GPT-5.5) in sechs verschiedenen Szenarien. Sie wollten sehen, ob es die Aufgabe des Roboters einfacher macht, indem man ihm genau sagt, in welchen Raum er gehen soll, und ob dies seine Fehler behebt.

Hier ist das, was sie fanden, und es ist ein kleiner Wendepunkt: Zu wissen, wo man suchen muss, garantiert nicht, dass man die Antwort findet.

Wenn die Forscher die Roboter dazu zwangen, nur die korrekten Oberflächen zu verwenden (eine „Gold-beschränkte“ Einstellung), wurden die Roboter fast perfekt darin, den richtigen Raum zu wählen. Ihr „Route“-Score sprang auf zwischen 98,7 % und 99,8 %. Sie wussten genau, wohin sie gehen mussten.

Ihr „Antwort“-Score – also die tatsächliche Korrektheit der endgültigen Lösung – erreichte jedoch nur zwischen 56,1 % und 75,3 %.

Das bedeutet, dass selbst wenn der Roboter im richtigen Raum mit der richtigen Karte in der Hand stand, er die Antwort immer noch in mehr als einem Viertel der Fälle falsch berechnete. Er könnte die richtige Datei gefunden, aber die Zahlen falsch gelesen haben, oder er könnte Informationen aus der Tabelle und dem Dokument falsch kombiniert haben. Das Papier zeigt, dass „das richtige Werkzeug zu wählen“ und „das Werkzeug korrekt zu benutzen“ zwei völlig unterschiedliche Fähigkeiten sind, und gut in der einen zu sein, macht einen nicht automatisch auch gut in der anderen.

Hinweise vs. Einschränkungen

Die Forscher spielten auch ein interessantes Spiel von „einen Hinweis geben“ versus „Ablenkungen wegnehmen“.

• Der Hinweis: Sie sagten den Robotern: „Du musst die Tabellenkalkulation und die Karte nutzen.“ Dies half den Robotern, die richtigen Oberflächen besser zu wählen, und verbesserte für einige Modelle auch leicht ihre endgültigen Antworten.
• Die Einschränkung: Sie nahmen dann alle Werkzeuge weg, die die Roboter nicht brauchten. Dies machte die Roboter viel schneller und effizienter, und sie wählten die richtigen Oberflächen sogar noch besser aus. Aber überraschenderweise führte dies nicht immer zu einer besseren endgültigen Antwort. Tatsächlich wurde es für einige Modelle sogar etwas schlechter, die Werkzeuge zu entfernen, was wahrscheinlich daran lag, dass sie die Fähigkeit verloren, ihre Arbeit mit einem anderen Werkzeug zu überprüfen.

Was dies für die Zukunft bedeutet

Das Papier kommt zu dem Schluss, dass wir nicht mehr nur auf die Endpunktzahl eines KI-Agenten schauen können. Wenn eine KI eine Frage falsch beantwortet, müssen wir wissen, ob sie gescheitert ist, weil sie nicht wusste, wonach sie suchen sollte, oder weil sie am richtigen Ort war, aber nicht in der Lage war, das zu verarbeiten, was sie dort fand.

Die Autoren maßen dies über 27.624 verschiedene Versuche der Roboter und sind sich dieser Zahlen sehr sicher, da sie die Ergebnisse mit menschlichen Prüfern und strengen Regeln auditiert haben. Sie fanden heraus, dass die besten Roboter zwar sehr gut im Routing werden (98 %+), aber immer noch mit dem letzten Schritt kämpfen, die Teile korrekt zusammenzufügen (etwa 56–75 %).

Kurz gesagt: Die Zukunft der intelligenten Büro-Roboter besteht nicht nur darin, ihnen bessere Karten des Büros zu geben, sondern ihnen beizubringen, wie sie die Schilder lesen und die Mathematik betreiben, sobald sie angekommen sind. Das Papier bietet ein neues, detailliertes Scoreboard, das Entwicklern hilft, genau zu verfolgen, an welcher Stelle ihre Roboter stolpern, damit sie den spezifischen Teil des Gehirns reparieren können, der defekt ist, anstatt nur zu hoffen, dass das Ganze besser wird.