Benchmarking Web API Integration Code Generation
Dieses Paper führt WAPIIBench ein, einen Datensatz und eine Evaluierungspipeline, die aufzeigen, dass aktuelle Open-Source-Großsprachmodelle erhebliche Schwierigkeiten bei der Generierung von korrektem Code für die Web-API-Integration haben und aufgrund von Problemen wie hallucinierten Endpunkten und fehlerhafter Argumentverwendung eine Erfolgsquote von weniger als 40 % erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, belesenen Roboter beizubringen, ein ganz bestimmtes Gericht von einer riesigen, komplexen Speisekarte zu bestellen. Die Speisekarte ist nicht nur eine Liste von Gerichten; sie ist ein strenges Regelwerk darüber, wie man seine Bestellung schreibt, welche Knöpfe man drücken muss und welche Zutaten exakt aufzuführen sind. Wenn man auch nur ein einziges Detail falsch macht, weist die Küche die Bestellung ab.
In dieser Arbeit geht es darum, zu testen, wie gut diese „Roboter“ (die eigentlich Large Language Models oder LLMs sind – dieselbe Technologie hinter KI-Chatbots) den Code schreiben können, der nötig ist, um diese Bestellungen an echte Webdienste (wie Google Calendar, Slack oder Asana) zu senden.
Hier ist eine Aufschlüsselung dessen, was die Forscher gemacht haben und was sie herausgefunden haben, unter Verwendung einfacher Analogien:
Das Problem: Die „Magie“ ist noch keine Magie
Entwickler nutzen „Web-APIs“, damit verschiedene Softwareprogramme miteinander kommunizieren können. Es ist, als würde man Lego-Steine miteinander verbinden. Normalerweise müssen Menschen die Anweisungen schreiben, um diese Blöcke zusammenzustecken. Die Hoffnung war, dass die KI dies automatisch erledigen könnte.
Die Forscher fragten: Kann eine KI eine einfache Anfrage wie „Füge einen neuen Termin zu meinem Kalender hinzu“ verstehen und den perfekten, fehlerfreien Code schreiben, um das zu bewirken?
Das Experiment: Den „Führerschein-Test“ für die KI bauen
Um dies herauszufinden, entwickelte das Team einen speziellen Test namens WAPIIBench. Betrachten Sie dies als eine Art Fahrprüfung für die KI-Codierung.
- Die Strecke: Sie erstellten 395 spezifische „Fahrszenarien“ unter Verwendung von vier populären, realen Diensten (Asana, Google Calendar, Google Sheets und Slack).
- Die Regeln: Sie nutzten die offiziellen „Bedienungsanleitungen“ (OpenAPI-Spezifikationen) für diese Dienste, um genau zu wissen, wie eine korrekte Bestellung aussieht.
- Der Test: Sie gaben der KI einen Prompt (z. B. „Erstelle einen neuen Kalender“) und baten sie, den Code zu schreiben.
- Die Prüfung: Anstatt den Code nur zu lesen, um zu sehen, ob er richtig aussieht, ließen sie ihn tatsächlich in einer sicheren, kontrollierten Sandbox laufen. Wenn der Code versuchte, eine Bestellung an eine nicht existierende Adresse zu senden oder die falschen Zutaten verwendete, schlug der Test fehl.
Die Ergebnisse: Die KI verliert oft die Orientierung
Die Ergebnisse waren etwas enttäuschend für diejenigen, die auf sofortige Automatisierung hofften.
- Die Punktzahl: Selbst die besten Open-Source-KI-Modelle erfüllten nur etwa 30 % bis 40 % der Aufgaben vollständig korrekt. Das beste kommerzielle Modell (GPT-4o) schnitt besser ab und erreichte etwa 60–77 %, aber das bedeutet immer noch, dass es fast ein Drittel der Zeit scheiterte.
- Die „Halluzinationen“: Dies ist das größte Problem. Die KI erfand oft Dinge dazu.
- Falsche Adressen: Die KI erfand URL-Adressen, die nicht existierten (wie wenn man einem Taxifahrer sagt, er solle zu „123 Fake Street“ fahren, obwohl das Restaurant eigentlich in der „456 Main St“ liegt). Dies geschah in bis zu 39 % der Fälle.
- Falsche Zutaten: Die KI fügte Parameter (Zutaten) hinzu, die der Dienst nicht akzeptierte, oder ließ solche weg, die erforderlich waren.
- Teilerfolg: Die KI war gut darin, sich an die allgemeine Form des Codes zu erinnern (z. B. zu wissen, dass sie die
POST-Methode verwenden muss, was so ist, als wüsste man, dass man eine „Bestellung aufgeben“ muss, anstatt eine zu „stornieren“). Aber wenn es um die spezifischen Details ging, wohin sie es senden sollte und exakt was sie sagen musste, hatte sie Schwierigkeiten, die Teile korrekt zusammenzufügen.
Ein paar überraschende Wendungen
- Größer ist nicht immer besser: Manchmal schnitt ein mittelgroßes KI-Modell schlechter ab als sowohl ein winziges als auch ein riesiges Modell. Es ist wie ein Schüler, der zu viel für die falsche Prüfung gelernt hat und nun verwirrt ist.
- Gedächtnis vs. Verständnis: Es schien, als hätte die KI Teile der Handbücher aus ihren Trainingsdaten „auswendig gelernt“. Sie kannte einige URLs und Argumentnamen, konnte sie aber nicht zuverlässig kombinieren, um ein neues, spezifisches Problem zu lösen. Es war wie ein Schüler, der die Antworten der letztjährigen Matheprüfung auswendig gelernt hat, aber die Aufgaben des diesjährigen Jahres nicht lösen kann.
- Der „Lückentext“-Trick: Wenn die Forscher der KI die korrekte Adresse (URL) gaben und sie nur darum baten, den Rest auszufüllen, funktionierte die KI viel besser. Dies deutet darauf hin, dass die KI Anweisungen gut befolgen kann, wenn sie nicht zuerst das Ziel erraten muss.
Das Fazit
Das Paper kommt zu dem Schluss, dass KI zwar gut darin wird, Code zu schreiben, aber noch nicht zuverlässig genug ist, um Softwaresysteme ohne menschliche Aufsicht automatisch zu verbinden. Wenn man eine KI heute den Code schreiben lässt, um die Geschäftsanwendungen mit dem Internet zu verbinden, wird sie die Daten in etwa 60 % bis 70 % der Fälle an den falschen Ort senden oder die Verbindung unterbrechen.
Die Forscher sagen, dass wir bessere Sicherheitskontrollen und neue Wege benötigen, um der KI zu helfen, die Regeln in Echtzeit „nachzuschlagen“ (anstatt sich auf ihr Gedächtnis zu verlassen), bevor wir ihr vertrauen können, diese Verbindungen eigenständig aufzubauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.