AsyncTool: Evaluating the Asynchronous Function Calling Capability under Multi-Task Scenarios
Die Arbeit stellt AsyncTool vor, einen neuartigen Benchmark, der entwickelt wurde, um die Fähigkeiten von LLM-basierten Agenten zur asynchronen Tool-Aufrufung in Multi-Task-Szenarien mit simulierter Latenz zu bewerten und dabei aufdeckt, dass aktuelle Modelle bei der Bewältigung verzögerter Tool-Antworten Schwierigkeiten mit der zeitlichen Koordination und Effizienz haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Das Problem des „beschäftigten Baristas"
Stellen Sie sich vor, Sie sind ein Meisterbarista (der KI-Agent), der in einem belebten Café arbeitet. Sie haben eine Liste mit Bestellungen:
- Bestellung A: Einen komplexen Espresso zubereiten (dauert 30 Sekunden).
- Bestellung B: Bohnen für einen Latte mahlen (dauert 5 Sekunden).
- Bestellung C: Die Theke abwischen (dauert 2 Sekunden).
Der alte Weg (Synchron):
In der Vergangenheit prüften die meisten Tests für KI-Baristas nur, ob sie ein Getränk perfekt zubereiten konnten. Wenn sie mit Bestellung A begannen, standen sie dort und starrten auf die Espressomaschine, ohne absolut irgendetwas anderes zu tun, bis die 30 Sekunden vergangen waren. Erst dann wechselten sie zu Bestellung B. Das ist unglaublich ineffizient.
Die neue Realität (Asynchron):
In der realen Welt stehen Sie nicht einfach nur still. Während der Espresso brüht, holt ein kluger Barista die Bohnen für Bestellung B und wischt die Theke für Bestellung C ab. Er kehrt genau in dem Moment zur Espressomaschine zurück, sobald sie fertig ist. Dies nennt man asynchronen Tool-Aufruf.
Was ist AsyncTool?
Die Autoren dieses Papiers erkannten, dass die aktuellen KI-Tests dem „alten Weg" entsprechen. Sie prüfen, ob eine KI Werkzeuge nutzen kann (wie das Durchsuchen des Webs oder das Ausführen von Code), aber sie tun so, als würden die Werkzeuge sofort antworten. In Wirklichkeit brauchen Werkzeuge Zeit, um zu reagieren.
AsyncTool ist eine neue „Prüfung", die entwickelt wurde, um zu sehen, ob eine KI das Szenario des beschäftigten Baristas bewältigen kann. Sie testet drei spezifische Fähigkeiten:
- Warten: Kann die KI erkennen, dass ein Werkzeug „nachdenkt", und nicht einfach nur die Antwort erraten?
- Wechseln: Kann die KI Aufgabe A pausieren, zu Aufgabe B springen und sich dann daran erinnern, zu Aufgabe A zurückzukehren, sobald die Antwort eintrifft?
- Verfolgen: Kann die KI im Auge behalten, welches Werkzeug zu welcher Aufgabe gehört, ohne verwirrt zu werden?
Wie sie den Test aufgebaut haben (Das Rezept)
Um diese Prüfung zu erstellen, haben die Forscher nicht einfach zufällige Fragen erfunden. Sie folgten einem sorgfältigen Rezept:
- Zutaten sammeln: Sie nahmen bestehende, hochwertige Daten für Einzelaufgaben (wie „einen Flug suchen") aus anderen Benchmarks.
- Den Pfad rekonstruieren: Sie nutzten eine leistungsstarke KI (Gemini 2.5 Pro), um diese Aufgaben umzuschreiben, um sicherzustellen, dass sie klare, schrittweise Anweisungen enthielten.
- Menschliches Korrekturlesen: Menschen überprüften die Arbeit, um sicherzustellen, dass die Schritte tatsächlich Sinn ergaben und nicht fehlerhaft waren.
- Das „Mischen": Sie kombinierten diese Einzelaufgaben zu Gruppen. Manchmal gaben sie der KI zwei ähnliche Aufgaben (wie zwei Flugsuchen), manchmal zwei sehr unterschiedliche Aufgaben (wie eine Flugsuche und eine Dateiverwaltungsaufgabe).
- Die Verzögerung simulieren: Sie programmierten den Test so, dass das „Werkzeug", wenn die KI eine Frage stellte, sagte: „Ich arbeite daran, warten Sie einen Moment", bevor es die Antwort gab.
Wie sie die KI benoteten
Sie schauten nicht nur auf das Endergebnis. Sie bewerteten die KI auf drei Ebenen, wie ein Lehrer einen Schüler:
- Schritt-Ebene: Hat die KI die richtige Frage mit den richtigen Worten gestellt? (z. B. Hat sie den Werkzeugnamen korrekt geschrieben?)
- Teil-Aufgaben-Ebene: Hat sie einen kleinen Teil der Arbeit korrekt abgeschlossen? (z. B. Hat sie erfolgreich den Flug gefunden?)
- Aufgaben-Ebene: Hat sie die gesamte Zuweisung abgeschlossen, einschließlich aller verschiedenen Bestellungen, die sie gleichzeitig bewältigte?
Sie fügten zudem eine spezielle „Effizienz-Punktzahl" hinzu. Diese maß, wie oft die KI zwischen Aufgaben wechselte. Eine gute Punktzahl bedeutet, dass die KI oft genug wechselte, um effizient zu sein, aber nicht so oft, dass sie verwirrt wurde.
Was sie herausfanden (Die Ergebnisse)
Die Forscher testeten 19 verschiedene KI-Modelle (sowohl große kommerzielle wie GPT-4.1 als auch quelloffene). Hier ist, was passierte:
- Der „Zeit"-Schock: Als die Werkzeuge verzögert wurden, schnitt fast jede KI deutlich schlechter ab. Es war, als würde man einen Test schreiben, während jemand ständig auf die Schulter klopft.
- Die „Halluzinations"-Falle: Viele schwächere KIs konnten nicht warten. Wenn sie ein Werkzeug nach Daten fragten, warteten sie nicht auf die Antwort. Stattdessen erraten sie einfach die Antwort und machten weiter. Dies führte zu Fehlern.
- Das „Vergesslichkeits"-Problem: Einige KIs begannen Aufgabe A, wechselten zu Aufgabe B und vergaßen dann völlig, dass Aufgabe A existierte. Sie würden Aufgabe B abschließen und sagen: „Alles erledigt!", obwohl Aufgabe A noch wartete.
- Die Gewinner: Die besten Modelle (wie GPT-4.1) waren diejenigen, die juggeln konnten. Sie wussten genau, wann sie die Aufgaben wechseln und wann sie warten sollten. Sie wechselten nicht einfach zufällig; sie wechselten strategisch.
Die Hauptaussage
Das Papier kommt zu dem Schluss, dass gut im Umgang mit Werkzeugen zu sein, nicht nur darum geht zu wissen, welches Werkzeug man verwenden soll. Es geht um den Zeitpunkt.
Um in der realen Welt ein wirklich effektiver KI-Agent zu sein, muss man ein guter Projektmanager sein. Man muss wissen:
- „Ich warte auf dieses Ergebnis, also mache ich in der Zwischenzeit diese andere Sache."
- „Oh, das Ergebnis ist zurück! Ich muss aufhören, was ich tue, und diese erste Aufgabe abschließen."
Das Papier argumentiert, dass zukünftige KI-Systeme besser in dieser „zeitlichen Koordination" (Verwaltung von Zeit und Warten) werden müssen, um in komplexen, mehrstufigen Umgebungen wirklich nützlich zu sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.