Enhancing Large Language Models with Retrieval Augmented Generation for Software Testing and Inspection Automation

Titolo: Potenziamento dei Modelli Linguistici di Grandi Dimensioni (LLM) con Generazione Aumentata dal Recupero (RAG) per l'Automazione dei Test e dell'Ispezione del Software

1. Il Problema

Il ciclo di vita dello sviluppo software (SDLC) richiede attività critiche di Verifica e Validazione (V&V), in particolare il testing software e l'ispezione del codice (o revisione). Sebbene l'Intelligenza Artificiale, e in particolare i Modelli Linguistici di Grandi Dimensioni (LLM), offrano potenzialità rivoluzionarie per automatizzare queste attività, la loro adozione su larga scala è ostacolata da due problemi principali:

• Allucinazioni degli LLM: I modelli tendono a generare contenuti non fattuali, contraddittori o errati con sicurezza, un problema critico quando si tratta di identificare bug o generare test case affidabili.
• Mancanza di contesto: Gli LLM standard faticano a mantenere la coerenza con la documentazione specifica del progetto, i requisiti e le convenzioni di codice, portando a discrepanze tra codice, commenti e specifiche di test.
• Limiti delle approcci tradizionali: I metodi basati su regole o pattern rigidi sono spesso troppo laboriosi da configurare e non riescono a catturare le sfumature semantiche del codice e della documentazione umana.

2. Metodologia

Gli autori propongono un framework innovativo che integra i Modelli Linguistici di Grandi Dimensioni (LLM) con una pipeline di Generazione Aumentata dal Recupero (RAG). L'obiettivo è fornire al modello conoscenze esterne contestuali durante la generazione, riducendo le allucinazioni e migliorando la precisione.

Architettura del Sistema:

1. Knowledge Base (KB): Viene utilizzato il dataset MBPP (Mostly Basic Python Programming), contenente 1.000 snippet di codice Python ben scritti e privi di errori, come fonte di conoscenza di riferimento ("golden standard").
2. Fase di Indicizzazione (Retrieval):
   • I documenti della KB vengono codificati in vettori (embedding) utilizzando un modello di trasformazione delle frasi (MiniLM-L6-V2).
   • I vettori sono archiviati in un database vettoriale in memoria.
3. Fase di Generazione:
   • Per ogni task (codice da ispezionare o funzione da testare), il sistema genera un vettore di query.
   • Viene eseguita una ricerca di similarità (cosine similarity) per recuperare i documenti più pertinenti dalla KB.
   • Il prompt inviato all'LLM viene arricchito con il contesto recuperato (i documenti rilevanti) insieme al codice sorgente o alla descrizione della funzione.
4. Modelli Sperimentali: Sono stati testati diversi modelli OpenAI (GPT-3.5 Turbo, GPT-4, GPT-4o, GPT-4.1) sia con che senza la pipeline RAG.

Scenari di Applicazione:

• Ispezione Automatica del Codice: Utilizzando il dataset Bug In the Code Stack (4.010 task), il sistema deve identificare e classificare bug (es. parentesi mancanti, parole chiave usate come identificatori).
• Generazione Automatica di Test Case: Utilizzando il dataset di benchmark TestEval (210 task), il sistema genera test case per valutare la copertura (linee, rami, percorsi) e la capacità di compilazione/esecuzione.

3. Contributi Chiave

Il paper offre due contributi principali:

1. Framework RAG per l'Ispezione del Codice: Una metodologia per automatizzare la revisione del codice che supera i limiti degli LLM puri, fornendo loro esempi di codice corretto come riferimento contestuale.
2. Framework RAG per la Generazione di Test: Un approccio per generare test case più robusti e completi, sfruttando la conoscenza esterna per migliorare la copertura dei rami e delle linee di codice.
3. Valutazione Empirica Rigorosa: Un confronto diretto tra LLM standard e LLM potenziati da RAG, misurando non solo l'accuratezza, ma anche l'efficienza (tempo di esecuzione) e la copertura, utilizzando benchmark consolidati e un baseline umano (tasso di rilevamento del 60%).

4. Risultati Sperimentali

A. Ispezione del Codice:

• Accuratezza: L'aggiunta del RAG ha portato a un miglioramento significativo dell'accuratezza nella rilevazione dei bug.
  • GPT-3.5 Turbo: Accuratezza passata dal 66,78% (senza RAG) al 90,57% (con RAG).
  • GPT-4o: Accuratezza passata dall'84,49% all'89,88%.
  • GPT-4: Accuratezza passata dal 73,39% all'89,98%.
• Tipologia di Bug: I modelli potenziati da RAG hanno mostrato prestazioni superiori nel rilevare errori specifici come "virgola mancante", "parentesi non corrispondenti" e "uso di parole chiave come identificatori".
• Efficienza: L'impatto sul tempo di esecuzione è variabile. GPT-4o ha beneficiato del RAG riducendo il tempo di esecuzione (da ~1:27 a ~1:19), mentre GPT-3.5 Turbo ha subito un leggero aumento dovuto all'overhead di recupero.

B. Generazione di Test Case:

• Copertura e Successo: I modelli RAG hanno superato costantemente i modelli standard in termini di successo di compilazione ed esecuzione, nonché nella copertura di linee e rami.
  • Su GPT-3.5 Turbo, la copertura dei rami (branch coverage) è migliorata significativamente (es. da 78,05% a 80,35% per k=1).
  • Il successo di esecuzione è passato dal 94,61% al 98,76% per GPT-3.5 Turbo con RAG.
• Efficienza: Per GPT-3.5 Turbo, il RAG ha ridotto il tempo di esecuzione di circa 3,5 minuti (da 1:32:30 a 1:28:59), suggerendo che il contesto recuperato ha snellito il processo di generazione. Al contrario, per GPT-4o, l'overhead di recupero ha aumentato il tempo di oltre 14 minuti.

5. Significato e Impatto

Questo studio dimostra che l'integrazione di RAG è una strategia efficace per mitigare le allucinazioni degli LLM nel contesto dell'Ingegneria del Software (AI4SE).

• Riduzione dei Costi: Automatizzando l'ispezione e il testing con maggiore accuratezza, si riduce il tempo richiesto agli sviluppatori umani, abbattendo i costi del progetto.
• Affidabilità Superiore: I risultati mostrano che gli LLM potenziati da RAG possono non solo eguagliare, ma in molti casi superare le prestazioni medie degli ispettori umani (baseline del 60%), raggiungendo tassi di accuratezza superiori al 90% nella rilevazione dei bug.
• Scalabilità: L'approccio offre una via praticabile per gestire la crescente complessità dei sistemi software moderni, rendendo il testing e la revisione adattivi, sensibili al contesto e capaci di evolvere insieme al software.

In conclusione, il lavoro valida l'ipotesi che l'automazione basata su LLM, se arricchita da conoscenze esterne contestuali tramite RAG, rappresenta un passo fondamentale verso un ciclo di vita dello sviluppo software più efficiente, economico e sicuro.