PluginEval: A Diagnostic Benchmark for Fine-Grained Error Attribution in Function Calling
Dieses Paper stellt PluginEval vor, einen diagnostischen Benchmark, der ein zweistufiges Framework kombiniert, das LLM-Generierung mit deterministischer API-Ausführung vereint, um systematisch Lücken in der Datenverteilung sowie mangelndes Adversarial Testing zu adressieren und dadurch eine feingliedrige Fehlerattribution für die Evaluierung des Tool-Routings in großen Sprachmodellen zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem sehr intelligenten, sehr eifrigen Roboter-Butler bei, wie er einen riesigen Werkzeugkasten voller tausender verschiedener Gadgets benutzt. Sie sagen dem Roboter: „Ich habe Hunger“, und er muss drei Dinge entscheiden: erstens, ob er tatsächlich ein Werkzeug benötigt oder ob er einfach nur an einen Snack denken kann? Zweitens, wenn er ein Werkzeug braucht, welches spezifische Gerät ist das richtige (ein Mixer, nicht ein Hammer)? Und drittens, kann er dieses Gerät tatsächlich greifen und korrekt benutzen, ohne es zu beschädigen? Dies ist die Welt des „Function Calling“ in der Künstlichen Intelligenz. Es ist die Fähigkeit, die KI-Modellen ermöglicht, aufzuhören, nur zu chatten, und stattdங்களைத் Dinge tatsächlich zu tun, wie zum Beispiel Flüge zu buchen oder das Wetter zu prüfen. Aber hier ist der knifflige Teil: Nur weil ein Roboter die richtigen Worte sagt, bedeutet das nicht, dass er auch das richtige Werkzeug ausgewählt oder es korrekt verwendet hat. Wir brauchen eine Möglichkeit, um zu testen, ob der Roboter wirklich klug ist oder nur Glück hatte.
Genau das versuchen die Forscher hinter dieser Arbeit, PluginEval, zu lösen. Sie stellten fest, dass die meisten aktuellen Tests für diese KI-Roboter wie eine Fahrprüfung sind, bei der alle in einem einfachen, leeren Parkplatz fahren. Die Tests enthalten nicht genügend knifflige Situationen, sie erfassen nicht die spezifischen Arten, wie Roboter scheitern, und sie verlassen sich oft darauf, dass andere Roboter die Antworten bewerten, was voreingenommen sein kann. Deshalb hat das Team einen neuen, viel härteren „Führerschein“ speziell für chinesische Sprachabfragen entwickelt. Sie haben ein System geschaffen, das nicht nur nach dem Endergebnis schaut, sondern wie ein Detektiv agiert, um herauszufinden, warum ein Roboter genau gescheitert ist: Hat er vergessen, ein Werkzeug mitzubringen, hat er das falsche gegriffen oder hat er versucht, das richtige Werkzeug zu benutzen, aber dabei die Zutaten verschüttet?
Das Werkzeugset des Detektivs: Wie sie den Test gebaut haben
Um diesen neuen Benchmark aufzubauen, haben die Autoren nicht einfach eine Reihe von Fragen aufgeschrieben und gehofft, dass es klappt. Sie erfanden ein „Closed-Loop Construction Framework“ (PCCF), was eine schicke Art ist zu sagen, dass sie eine selbstkorrigierende Maschine gebaut haben, um den Test zu erstellen.
Man kann es sich wie einen Level-Designer eines Videospiels vorstellen, der ein Level immer wieder spielt, bis es perfekt ist.
- Phase Eins (Der Realitätscheck): Zuer Sie nehmen eine Frage (wie „Suche mir einen günstigen Flug nach Tokio“) und bitten mehrere KI-Modelle, diese zu lösen. Aber hier ist der Clou: Sie vertrauen nicht einfach dem Wort der KI. Sie führen den Code tatsächlich aus. Wenn die KI sagt: „Ich werde die Flug-API aufrufen“, versucht das System, diesen Aufruf zu tätigen. Wenn die API sagt: „Fehler: Datum fehlt“, weiß das System, dass die KI versagt hat. Dies trennt die „Idee“ von der „Realität“.
- Phase Zwei (Die Lückenfüller): Das System schaut sich dann die Ergebnisse an und fragt: „Wo fehlen uns knifflige Fragen?“ Vielleicht hat der Test zu viele einfache Fragen zum Wetter und zu wenige schwierige Fragen zur Buchung komplexer Reisen. Das System genert dann neue, schwierigere Fragen, um genau diese Lücken zu füllen. Es erstellt „adversarielle“ Fragen – Fallen, die darauf ausgelegt sind, die KI zu Fehlern zu verleiten.
- Die Schleife: Diese neuen, kniffligen Fragen gehen zurück in Phase Eins, um erneut getestet zu werden. Wenn sie zu einfach sind, macht das System sie schwieriger. Wenn sie zu verwirrend sind, nutzt es Erkennungsbeweise, um die negativen Beispiele zu verstärken, bevor es sie erneut verifiziert. Diese Schleife dreht sich so lange weiter, bis der Test jede mögliche Art und Weise abdeckt, wie eine KI verwirrt werden könnte – von einfachen Fehlern bis hin zu komplexen Logikfallen.
Das Urteil: Was der Test enthüllte
Sobald sie ihren perfekten Test hatten (der 3.000 durch Menschen verifizierte Fragen zu 54 verschiedenen Werkzeugen enthielt), stellten sie fünf der klügsten KI-Modelle der Welt auf die Probe. Dazu gehörten große Namen wie GPT-5.4, Claude 4.6 und Gemini 3.1 Pro.
Die Ergebnisse waren augenöffnend. Die Autoren fanden heraus, dass Aggregat-Scores (die Endnote) irreführend sind.
- Die Schwierigkeits-Falle: Wenn der Test hauptsächlich aus einfachen Fragen bestand, sahen alle KIs wie Genies aus und erzielten über 80 %. Sobald sie jedoch auf die „schweren“ Fragen stießen, brachen die Punktzahlen ein. Bei den schwierigsten Fragen bestand selbst die beste KI nur etwa 10 % richtig. Dies deutet darauf hin, dass aktuelle Modelle sehr fragil sind; sie funktionieren großartig bei einfachen Aufgaben, aber sie brechen zusammen, wenn die Dinge kompliziert werden.
- Unterschiedliche Fehler für unterschiedliche Modelle: Das Paper sagte nicht nur „Modell A ist besser“. Es brach die Fehler herunter, wie ein Mechaniker, der einen Automotor überprüft.
- GPT-5.4 war am schlechtesten darin, erforderliche Werkzeuge zu identifizieren und unnötige Aufrufe zu vermeiden, was die höchsten Raten sowohl bei „Miss Recall“ (Vergessen, ein benötigtes Werkzeug zu verwenden) als auch bei „Over Recall“ (Verwendung eines Werkzeugs, wenn es nicht nötig war) zeigte.
- Claude Opus 4.6 war am besten darin, sich daran zu erinnern, Werkzeuge zu benutzen (niedrigster „Miss Recall“), aber es benutzte sie manchmal, wenn es nicht sollte (hoher „Over Recall“).
- Gemini 3.1 Pro hatte das ausgewogenste Fehlerprofil und erreichte die niedrigste „Over Recall“-Rate, was ihm half, trotz eines geringeren Recalls als Claude eine wettbewerbsfähige Genauigkeit beizubehalten.
- Das „Zeit“-Problem: Eine spezifische Art von Fehler stach bei jedem Modell hervor: Temporale Fehler. Ob es darum ging, nach „nächstem Dienstag“ oder „letztem Monat“ zu fragen – die KIs hatten konsequent Schwierigkeiten, die Daten und Zeiten korrekt anzugeben. Dies war die größte Fehlerquelle über alle Modelle hinweg.
Warum das wichtig ist
Das Paper argumentiert, dass wir nicht einfach nur einen einzelnen Prozentsatz betrachten können, um die Fähigkeit einer KI zur Werkzeugnutzung zu beurteilen. Ein Modell kann einen hohen Score haben, weil es gut in einfachen Fragen ist oder weil es Glück hatte. Durch die Verwendung ihres neuen „Gold-Anchored“-Bewertungssystems – das die Antwort der KI mit einem durch Menschen verifizierten „Goldstandard“ vergleicht, anstatt mit der Vermutung einer anderen KI – konnten sie genau bestimmen, wo der Roboter gescheitert ist.
Die Autoren legen nahe, dass wir aufhören müssen, KI-Agenten wie Black Boxes zu behandeln, die entweder funktionieren oder nicht. Stattdessen müssen wir sie wie einen Arzt diagnostizieren: prüfen, ob er einen Schritt vergessen hat, ob er das falsche Werkzeug gegriffen hat oder ob er einfach nur das Timing verpasst hat. Ihre Arbeit zeigt, dass heutige KI zwar leistungsstark ist, aber immer noch signifikante blinde Flecken hat, insbesondere wenn die Aufgabe schwierig wird oder das Timing knifflig ist. Das Paper behauptet nicht, die Werkzeugnutzung der KI „gelöst“ zu haben, aber es liefert die erste echte Karte darüber, wo die Roboter stolpern, damit wir ihnen helfen können, fester auf den Beinen zu laufen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.