AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios
Dieses Paper stellt AgentIF-OneDay vor, einen neuartigen Benchmark bestehend aus 104 vielfältigen täglichen Aufgaben in den Bereichen offene Workflow-Ausführung, latente Instruktionsinferenz und iterative Verfeinerung, der darauf ausgelegt ist, die Fähigkeit allgemeiner KI-Agenten zu bewerten, natürliche Sprachinstruktionen zu befolgen und greifbare dateibasierte Ergebnisse zu erzeugen, wobei aufgezeigt wird, dass derzeit sowohl API-basierte als auch RL-gestützte Agenten das Feld anführen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Der „Ein-Tag“-Test für KI-Assistenten
Stellen Sie sich vor, Sie stellen einen neuen persönlichen Assistenten ein. Sie wollen nicht nur sehen, ob er eine Trivia-Frage beantworten oder ein Gedicht schreiben kann. Sie wollen sehen, ob er Ihren gesamten Tag bewältigen kann – von der Organisation Ihres Arbeitsplans bis hin zur Planung eines Familienurlaubs, und das alles, während er Ihre spezifischen, manchmal chaotischen Anweisungen befolgt.
Dieses Paper stellt AgentIF-OneDay vor, eine neue „Abschlussprüfung“ für KI-Agenten, die genau das testen soll. Es bewegt sich weg von der Testung von KIs anhand von schwierigen Programmierrätseln oder tiefer wissenschaftlicher Forschung und fragt stattdessen: „Kann diese KI einem normalen Menschen tatsächlich dabei helfen, seinen Alltag und seine Arbeit zu bewältigen?“
Die drei Arten von „Alltagsaufgaben“
Die Forscher haben 104 verschiedene Szenarien erstellt, um die KI zu testen. Sie haben diese Aufgaben in drei Kategorien unterteilt, die wie drei verschiedene Arten sind, wie Sie Ihren Assistenten um Hilfe bitten könnten:
1. Der „Rezept-Folgen“-Test (Open Workflow Execution)
- Die Analogie: Sie geben Ihrem Assistenten ein sehr spezifisches, schrittweises Rezept für ein komplexes Gericht. Sie sagen: „Prüfe zuerst die Ofentemperatur. Dann schau auf den Timer. Dann mische diese drei Zutaten. Überspringe Schritt 3 auf keinen Fall.“
- Was getestet wird: Kann die KI einer langen, detaillierten Liste von Anweisungen folgen, ohne verwirrt zu werden, einen Schritt zu vergessen oder Dinge zu erfinden? Es testet, ob die KI dem Plan folgen kann, den Sie ihr gegeben haben, selbst wenn der Plan lang und kompliziert ist.
2. Der „Zwischentöne lesen“-Test (Latent Instruction Inference)
- Die Analogie: Sie übergeben Ihrem Assistenten einen Ordner mit alten Dokumenten und sagen: „Erstelle einen neuen Bericht, der exakt so aussieht wie diese.“ Sie schreiben die Regeln nicht auf (wie z. B. „verwende blaue Überschriften“ oder „setze das Datum unten rechts hin“). Sie erwarten vom Assistenten, dass er die alten Dokumente analysiert, die verborgenen Stilregeln herausfindet und sie auf den neuen Bericht anwendet.
- Was getestet wird: Kann die KI eine Datei (wie ein PDF oder eine Excel-Tabelle) betrachten und die impliziten Regeln verstehen? Es geht darum, Muster und ungesprochene Einschränkungen zu erkennen, die Sie nicht explizit ausgesprochen haben.
3. Der „Editieren und Verbessern“-Test (Iterative Refinement)
- Die Analogie: Ihr Assistent entwirft eine Präsentation. Sie schauen sie sich an und sagen: „Die Schriftart ist zu klein und die zweite Folie fehlt ein Diagramm. Mach außerdem den Hintergrund heller.“ Sie verlangen nicht nach einer völlig neuen Präsentation von Grund auf; Sie wollen, dass er die bestehende verbessert, während er die guten Teile beibehält.
- Was getestet wird: Kann die KI sich daran erinnern, was sie gerade getan hat, Ihr Feedback verstehen und präzise Änderungen vornehmen, ohne den Rest der Arbeit zu beschädigen? Es testet, wie gut die KI den „Zustand“ des Projekts „im Gedächtnis behält“.
Wie sie die KI bewertet haben
Anstatt nur zu fragen „Hat es funktioniert?“, verwendeten die Forscher ein sehr strenges Bewertungsschema (wie einen Antwortschlüssel eines Lehrers).
- Der „Richter“: Sie nutzten eine superintelligente KI (Gemini-3-Pro), um die Ergebnisse zu bewerten, überprüften dies jedoch gegen menschliche Richter, um sicherzustellen, dass es fair war. Sie fanden heraus, dass die KI-Richter in etwa 80 % der Fälle mit Menschen übereinstimmten.
- Die Dateien: Der Test bestand nicht nur aus Text. Die KI musste echte Dateien handhaben – PDFs, Excel-Tabellen, Bilder und Code – genau wie ein Mensch es tun würde.
Was sie herausgefunden haben: Die Ergebnisse
Sie haben vier der derzeit besten verfügbaren KI-Agenten getestet. Hier ist die Kernaussage:
Die „API“ vs. „Spezialisierte“ Debatte:
- Einige Unternehmen bauen KI-Agenten, indem sie einfach einen leistungsstarken Chatbot an eine Reihe von Werkzeugen anschließen (wie ein Generalist).
- Andere bauen Agenten mit speziellem „Gehirntraining“ (Reinforcement Learning) speziell für die Ausführung von Aufgaben.
- Die Überraschung: Das Paper fand heraus, dass beide Typen fast gleichermaßen gut abschneiden. Das „spezielle Training“ verschafft keinen großen Vorteil mehr. Es scheint, dass die grundlegende „Intelligenz“ zur Bewältigung von Aufgaben mittlerweile bereits in den Haupt-KI-Modellen selbst eingebaut ist.
Die Gewinner:
- Manus kam insgesamt als Sieger hervor. Er war besonders gut darin, langen, komplexen Workflows zu folgen.
- Genspark war exzellent darin, Anweisungen zu befolgen und negative Einschränkungen (wie „mache nicht X“) zu berücksichtigen.
- ChatGPT-Agent war am besten bei arbeitsbezogenen Aufgaben.
- Minimax-Agent war der langsamste, brauchte lange zum „Nachdenken“, war aber gut in Logik.
Die Schwäche:
- Der schwierigste Teil für alle KIs war das „Zwischentöne lesen“ (Latent Instruction Inference). Selbst die besten Agenten hatten Schwierigkeiten, die verborgenen Regeln aus einer Datei perfekt zu erfassen, ohne explizit gesagt zu bekommen, wonach sie suchen sollen.
Das Fazit
Dieses Paper argumentt, dass wir aufhören müssen, KI nur darauf zu testen, wie „klug“ sie beim Lösen von Rätseln ist. Stattdessen müssen wir testen, wie nützlich sie im echten Leben ist.
Die gute Nachricht ist, dass KI-Agenten sehr gut darin werden, die „langweiligen“, aber essenziellen Teile unseres Tages zu bewältigen – das Verwalten von Dateien, das Befolgen komplexer Arbeitsabläufe und das Bearbeiten von Arbeiten. Die schlechte Nachricht ist, dass sie manchmal immer noch Schwierigkeiten haben, „die Stimmung im Raum zu lesen“ oder verborgene Regeln in Dokumenten zu erkennen, ohne dass man ihnen etwas mehr Hilfe gibt.
Die Zukunft der KI liegt nicht nur darin, das Modell intelligenter zu machen; es geht darum, bessere Produkte zu bauen, die uns helfen, durch unser spezifisches, chaotisches tägliches Leben zu navigieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.