Technische Samenvatting: Benchmarking van Web API Integratie Code Generatie

Probleemstelling

Web API-integratie is een fundamenteel onderdeel van de moderne software-infrastructuur, maar het schrijven van correcte code om deze API's aan te roepen blijft een uitdagende en tijdrovende taak voor ontwikkelaars. Hoewel Large Language Models (LLM's) aanzienlijk potentieel hebben getoond bij het automatiseren van softwareontwikkeling, blijft hun specifieke effectiviteit in het genereren van web API-aanroepcode grotendeels onverkend. In tegenstelling tot lokale functie-aanroepen, bevat web API-aanroepen complexe syntaxis, waaronder specifieke HTTP-methoden, geparametriseerde URL's, request bodies en headers en queryparameters, die vaak gedocumenteerd zijn in externe specificaties (bijv. OpenAPI) die niet altijd binnen het contextvenster van het model toegankelijk zijn.

De centrale onderzoeksvraag die wordt behandeld is: Hoe correct is door LLM gegenereerde web API-aanroepcode, en welke typen fouten komen veelmatig voor in dergelijke code?

Methodologie

Om deze vraag te beantwoorden, introduceren de auteurs WAPIIBench, een nieuwe dataset en evaluatiepipeline die ontworpen is om de capaciteiten van LLM's op dit domein systematisch te beoordelen.

1. Dataset Creatie (WAPIIBench)

De dataset bestaat uit 395 taak–configuratieparen afgeleid van vier real-world API's die voldoen aan de OpenAPI-standaard: Asana, Google Calendar, Google Sheets en Slack Web.

• Synthese: In plaats van bronnen uit bestaande repositories te halen (die vaak een gebrek hebben aan eenduidige taakbeschrijvingen), hebben de auteurs taken gesynthetiseerd met behulp van Gemini 1.5 Pro. Het model kreeg volledige OpenAPI-specificaties en gedetailleerde instructies om een natuurlijke taal taakbeschrijving ($t$) en een bijbehorende grondwaarheid request-configuratie ($c$) te genereren.
• Validatie: De gegenereerde data onderging strikte automatische en handmatige curatie om te garanderen dat elke taak een unieke, oplosbare configuratie had en dat argumenten correct werden weerspiegeld.
• Structuur: Elke sample vertegenwoordigt een API-endpoint en legt de HTTP-methode, URL en argumenten (body, headers, queryparameters) vast.

2. Evaluatiepipeline

De evaluatie volgt een vierfasenproces:

1. Code Generatie: LLM's krijgen de opdracht om starter code (JavaScript met de Axios bibliotheek) te voltooien op basis van een taakbeschrijving. Twee opstellingen werden getest:
   • Full Completion: Het model moet de HTTP-methode, URL en alle argumenten genereren.
   • Argument Completion: Het model krijgt de correcte methode en URL en moet alleen de argumenten genereren.
2. Code Executie: De gegenereerde code wordt uitgevoerd in een gecontroleerde, gesandboxte omgeving (Mock) die uitgaande verzoeken onderschept. Deze aanpak geeft prioriteit aan functionele correctheid boven syntactische gelijkenis, waarbij de werkelijke request-configuratie ($c'$) die door de code wordt verzonden, wordt vastgelegd.
3. Correctheidsanalyse: De vastgelegde configuratie ($c'$) wordt vergeleken met de grondwaarheid ($c$) en gevalideerd tegen de API-specificatie ($s$).
4. Metrieken: De studie maakt gebruik van fijnmazige metrieken, waaronder:
   • Correcte Implementaties: Percentage uitvoerbare code dat overeenkomt met de grondwaarheid.
   • Illegale Implementaties: Code die de API-specificatie schendt.
   • URL/Methode Nauwkeurigheid: Correctheid van endpoints en HTTP-methoden.
   • Argument Precisie/Recall: Nauwkeurigheid van parameter namen en waarden.

3. Geëvalueerde Modellen

De benchmark evalueerde 21 state-of-the-art open-source LLM's (waaronder **StarCoder, DeepSeek-Coder, Qwen-Coder, Code Llama en Llama 3.1) naast commerciële modellen (GPT-4o en GPT-4o mini) om prestatie-baselines vast te stellen.

Belangrijkste Resultaten

De experimenten laten zien dat het genereren van correcte web API-aanroepcode een aanzienlijke uitdaging vormt voor huidige LLM's, zelfs voor de meest capabele open-source modellen.

• Algemene Correctheid: Geen van de geëvalueerde open-source modellen loste meer dan 40% van de taken op.
  • In de Full Completion opstelling behaalde het beste open-source model (Code Llama 70B) een correctheid van 30%, terwijl GPT-4o 60% bereikte.
  • In de Argument Completion opstelling (waar het endpoint bekend is), verbeterde Code Llama 70B naar 40%, en GPT-4o bereikte 77%.
• Fouttypen:
  • Gehallucineerde Endpoints: Een primaire foutmodus is de generatie van onjuiste of niet-bestaande URL's. Tot 39% van de URL's waren illegaal in de full completion opstelling.
  • Argument Fouten: Modellen hallucineren frequent parameternamen (tot 31% illegale argumenten) of laten verplichte argumenten weg.
  • Executiefouten: Verschillende modellen (bijv. Qwen2.5-Coder, Llama 3.1) produceerden niet-uitvoerbare code in de full completion opstelling vanwege syntactische fouten of weigering om de code te voltooien, wat resulteerde in 0% correctheid voor die modellen.
• Modelgedrag:
  • Modellen presteren over het algemeen goed bij het voorspellen van HTTP-methoden (GET/POST), maar worstelen met de onbeperkte aard van URL's en argumenten.
  • Grotere modellen presteren niet altijd beter dan kleinere; in sommige families presteerden medium-grootte varianten slechter dan zowel kleinere als grotere tegenhangers.
  • Prestaties variëren aanzienlijk per API, wat waarschijnlijk correleert met de prevalentie van specifieke API's in de trainingsdata van de modellen.

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen aan het vakgebied van software engineering en AI:

1. WAPIIBench Dataset: De eerste dataset van dit type met bijna 400 paren van web API-aanroeptaken en verwachte uitkomsten over vier real-world API's, specifiek ontworpen voor executie-gebaseerde correctheid-analyse.
2. Open-Source Evaluatiepipeline: Een nieuwe, veilige en geautomatiseerde pipeline voor het evalueren van code generatie modellen op web API-taken met gebruik van fijnmazige metrieken die onderscheid maken tussen syntactische correctheid, specificatie-compliance en functioneel succes.
3. Empirische Inzichten: De studie levert het eerste systematische bewijs dat hoewel LLM's over enige gememoriseerde kennis van API-specificaties beschikken, ze moeite hebben om deze kennis te synthetiseren tot correcte, specificatie-conforme aanroepen zonder externe context. De hoge mate van gehallucineerde endpoints en argumenten benadrukt een kritiek gat in de betrouwbaarheid van huidige modellen voor productie-waardige API-integratie.

De auteurs concluderen dat hoewel LLM's veelbelovend zijn, er aanzienlijke beperkingen blijven bestaan. Ze benadrukken de noodzaak om kwaliteitsborgingstechnieken (zoals retrieval-augmented generation, fine-tuning of constrained decoding) te integreren in AI-gestuurde code generatie workflows om de correctheid en betrouwbaarheid van web API-integratiecode te waarborgen. De benchmark dient als een fundament voor toekomstig onderzoek naar het verbeteren van deze capaciteiten.