Riepilogo Tecnico: Benchmarking della Generazione di Codice per l'Integrazione di Web API

Definizione del Problema

L'integrazione delle Web API è una componente fondamentale dell'infrastruttura software moderna, eppure scrivere codice corretto per invocare queste API rimane un compito difficile e laborioso per gli sviluppatori. Sebbene i Large Language Models (LLM) abbiano dimostrato un potenziale significativo nell'automazione dello sviluppo del software, la loro efficacia specifica nella generazione di codice di invocazione di Web API rimane ampiamente inesplorata. A differenza delle chiamate a funzioni locali, le invocazioni di Web API comportano una sintassi complessa, che include metodi HTTP specifici, URL parametrizzati, corpi della richiesta (request body) e header, oltre a parametri di query, spesso documentati in specifiche esterne (ad esempio, OpenAPI) che non sono sempre accessibili all'interno della finestra di contesto del modello.

La domanda centrale di ricerca affrontata è: Quanto è corretto il codice di invocazione di Web API generato dagli LLM e quali tipi di errori sono comunemente presenti in tale codice?

Metodologia

Per rispondere a questa domanda, gli autori introducono WAPIIBench, un nuovo dataset e una pipeline di valutazione progettati per valutare sistematicamente le capacità degli LLM in questo dominio.

1. Creazione del Dataset (WAPIIBench)

Il dataset consiste in 395 coppie task–configurazione derivate da quattro API reali che aderiscono allo standard OpenAPI: Asana, Google Calendar, Google Sheets e Slack Web.

• Sintesi: A differenza del reperimento da repository esistenti (che spesso mancano di descrizioni dei task univoche), gli autori hanno sintetizzato i task utilizzando Gemini 1.5 Pro. Al modello sono state fornite le specifiche OpenAPI complete e istruzioni dettagliate per generare una descrizione del task in linguaggio naturale ($t$) e una corrispondente configurazione di verità fondamentale (ground-truth) ($c$).
• Validazione: I dati generati sono stati sottoposti a una rigorosa cura automatizzata e manuale per garantire che ogni task avesse una configurazione unica e risolvibile e che gli argomenti fossero correttamente riflessi.
• Struttura: Ogni campione rappresenta un endpoint API, catturando il metodo HTTP, l'URL e gli argomenti (body, header, parametri di query).

2. Pipeline di Valutazione

La valutazione segue un processo in quattro fasi:

1. Generazione del Codice: Agli LLM viene chiesto di completare un codice di partenza (JavaScript utilizzando la libreria Axios) basandosi su una descrizione del task. Sono stati testati due setup:
   • Completamento Totale (Full Completion): Il modello deve generare il metodo HTTP, l'URL e tutti gli argomenti.
   • Completamento degli Argomenti (Argument Completion): Al modello vengono forniti il metodo e l'URL corretti e deve generare solo gli argomenti.
2. Esecuzione del Codice: Il codice generato viene eseguito in un ambiente controllato e isolato (Mock) che intercetta le richieste in uscita. Questo approccio privilegia la correttezza funzionale rispetto alla somiglianza sintattica, catturando la reale configurazione della richiesta ($c'$) inviata dal codice.
3. Analisi della Correttezza: La configurazione catturata ($c'$) viene confrontata con la verità fondamentale ($c$) e validata rispetto alla specifica dell'API ($s$).
4. Metriche: Lo studio impiega metriche granulari, tra cui:
   • Implementazioni Corrette: Percentuale di codice eseguibile che corrisponde alla verità fondamentale.
   • Implementazioni Illecite: Codice che viola la specifica dell'API.
   • Accuratezza di URL/Metodo: Correttezza di endpoint e metodi HTTP.
   • Precisione/Richiamo degli Argomenti: Accuratezza dei nomi e dei valori dei parametri.

3. Modelli Valutati

Il benchmark ha valutato 21 LLM open-source allo stato dell'arte (tra cui StarCoder, DeepSeek-Coder, Qwen-Coder, Code Llama e Llama 3.1) insieme a modelli commerciali (GPT-4o e GPT-4o mini) per stabilire baseline di prestazione.

Risultati Chiave

Gli esperimenti rivelano che la generazione di codice corretto per l'invocazione di Web API è una sfida significativa per gli attuali LLM, anche per i modelli open-source più capaci.

• Correttezza Complessiva: Nessuno dei modelli open-source valutati ha risolto più del 40% dei task.
  • Nel setup di Completamento Totale, il miglior modello open-source (Code Llama 70B) ha raggiunto il 30% di correttezza, mentre GPT-4o ha raggiunto il 60%.
  • Nel setup di Completamento degli Argomenti (dove l'endpoint è noto), Code Llama 70B è migliorato al 40%, e GPT-4o ha raggiunto il 77%.
• Tipi di Errore:
  • Endpoint Allucinati: Un principale modo di fallimento è la generazione di URL errati o inesistenti. Fino al 39% degli URL era illegale nel setup di completamento totale.
  • Errori negli Argomenti: I modelli allucinano frequentemente i nomi dei parametri (fino al 31% di argomenti illegali) o omettono argomenti richiesti.
  • Errori di Esecuzione: Diversi modelli (ad esempio, Qwen2.5-Coder, Llama 3.1) hanno prodotto codice non eseguibile nel setup di completamento totale a causa di errori di sintassi o rifiuto di completare il codice, risultando in metriche di correttezza pari allo 0% per tali modelli.
• Comportamento dei Modelli:
  • I modelli funzionano generalmente bene nella previsione dei metodi HTTP (GET/POST), ma faticano con la natura non restrittiva di URL e argomenti.
  • I modelli più grandi non superano sempre quelli più piccoli; in alcune famiglie, le varianti di medie dimensioni hanno performato peggio sia delle controparti più piccole che di quelle più grandi.
  • Le prestazioni variano significativamente tra le diverse API, probabilmente in correlazione con la prevalenza di specifiche API nei dati di addestramento dei modelli.

Significato e Contributi

Il documento apporta tre contributi primari al campo dell'ingegneria del software e dell'IA:

1. Dataset WAPIIBench: Il primo dataset del genere contenente quasi 400 coppie di task di invocazione di Web API e risultati attesi attraverso quattro API reali, specificamente progettato per l'analisi della correttezza basata sull'esecuzione.
2. Pipeline di Valutazione Open-Source: Una nuova pipeline sicura e automatizzata per valutare i modelli di generazione del codice sui task di Web API utilizzando metriche granulari che distinguono tra correttezza sintattica, conformità alla specifica e successo funzionale.
3. Approfondimenti Empirici: Lo studio fornisce la prima evidenza sistematica del fatto che, sebbene gli LLM possiedano una certa conoscenza memorizzata delle specifiche API, faticano a sintetizzare tale conoscenza in invocazioni corrette e conformi alle specifiche senza un contesto esterno. L'alto tasso di endpoint e argomenti allucinati evidenzia una lacuna critica nell'affidabilità degli attuali modelli per l'integrazione di API in ambito produzione.

Gli autori concludono che, sebbene gli LLM mostrino promesse, rimangono limitazioni significative. Essi sottolineano la necessità di integrare tecniche di garanzia della qualità (come la generazione aumentata dal recupero, il fine-tuning o la decodifica vincolata) nei flussi di lavoro di generazione del codice guidati dall'IA per garantire la correttezza e l'affidabilità del codice di integrazione delle Web API. Il benchmark serve come fondamento per la ricerca futura volta a migliorare queste capacità.