Riepilogo Tecnico: Generazione di Codice con Augmentation del Contesto tramite Grafi della Conoscenza di Programmazione

Problema

Sebbene i Large Language Models (LLM) abbiano dimostrato competenza nella generazione di codice da linguaggio naturale, essi incontrano spesso difficoltà in compiti di programmazione complessi che richiedono conoscenze esterne, come specifiche convenzioni API, casi limite o pattern idiomatici. La Retrieval-Augmented Generation (RAG) è emersa come una soluzione per ancorare la generazione a fonti esterne (ad esempio, documentazione, repository). Tuttavia, gli approoli RAG esistenti per il codice soffrono di due colli di bottiglia primari:

1. Precisione del Recupero: I modelli di recupero standard spesso restituiscono contesti ridondanti, parzialmente rilevanti o fuorvianti. Trattare il codice e la documentazione come chunk piatti e basati sulla vicinanza dei vicini più prossimi non tiene conto della natura eterogenea degli artefatti di programmazione (centrati sul codice vs. centrati sul testo).
2. Allucinazione e Rumore: I modelli di generazione possono essere distratti da dati recuperati irrilevanti o possono allucinare quando costretti a integrare un contesto rumoroso, particolarmente sotto budget limitati di finestra di contesto.

Gli approcci attuali spesso mancano di un controllo esplicito sulla granularità delle unità recuperate e sull'assemblaggio del contesto, portando a un degrado delle prestazioni anziché a un miglioramento in scenari complessi.

Metodologia

Gli autori propongono i Programming Knowledge Graphs (PKG), una rappresentazione strutturata per la RAG che separa e organizza la conoscenza eterogenea in nodi fini e semanticamente coerenti. La metodologia si compone di tre fasi:

1. Costruzione del PKG

Il sistema costruisce due varianti distinte di grafo per gestire diverse modalità di dati:

• Code-Centric PKG (Centrato sul Codice): Il codice sorgente viene analizzato in un Abstract Syntax Tree (AST) per creare una gerarchia diretta. Un nodo funzione si espande in una sequenza di nodi blocco (es. if, for, try), che si espandono ulteriormente in blocchi figli. Questo crea un albero multi-livello con radice nella funzione, preservando i confini di contenimento sintattico.
• Text-Centric PKG (Centrato sul Testo): Il testo di tutorial e documentazione viene convertito in JSON strutturato. Viene costruito un Grafo Aciclico Diretto (DAG) dove i nodi rappresentano campi/sezioni JSON e gli archi codificano relazioni strutturali (ad esempio, collegando esempi a spiegazioni). Ciò consente il recupero a livello di campo piuttosto che il recupero di interi passaggi.

2. Recupero e Controllo del Contesto

Data una query dell'utente, il sistema recupera i nodi rilevanti basandosi sulla similarità del coseno. Per gestire le finestre di contesto e ridurre il rumore, gli autori implementano il tree pruning (potatura dell'albero):

• Dopo aver recuperato un nodo radice (ad esempio, una funzione o una sezione JSON), il sistema valuta i rami figli.
• I rami irrilevanti vengono potati valutando lo score del sottografo rimanente rispetto all'embedding della query.
• Ciò assicura che solo il contenuto più pertinente e fine venga serializzato e aggiunto al prompt.

Il sistema opera in due modalità di granularità:

• Func-PKG: Recupera a livello di funzione (più grossolano).
• Block-PKG: Recupera a livello di blocco (più fine), puntando a una maggiore precisione.

3. Reranking della Soluzione

Riconoscendo che il recupero può talvolta introdurre errori, gli autori impiegano un meccanismo di post-generation reranking (riordinamento post-generazione).

• Diverse soluzioni candidate vengono generate utilizzando diverse strategie (NoRAG, BM25, varianti PKG).
• I candidati vengono filtrati per validità sintattica e sanità del runtime (esecuzione in sandbox).
• Un reranker basato sulla similarità seleziona il miglior candidato dal set diversificato, dando priorità alle soluzioni che si allineano con la query e mitigando l'influenza di un contesto recuperato errato.

Contributi Chiave

1. Rappresentazione Novativa (PKG): Una rappresentazione strutturata della conoscenza per la RAG che modella il codice tramite gerarchie derivate da AST e il testo tramite DAG basati su JSON, consentendo un recupero fine granulare.
2. Analisi della Granularità: Una valutazione esplicita delle unità di recupero, confrontando il recupero a livello di funzione (Func-PKG) rispetto a quello a livello di blocco (Block-PKG) per quantificare il compromesso precisione-richiamo.
3. Assemblaggio del Contesto Strutturato: Un meccanismo per il recupero centrato sul testo che normalizza i tutorial in JSON strutturato, permettendo il recupero a livello di campo e l'assemblaggio del contesto strutturato.
4. Meccanismo di Pruning: Una strategia di potatura dell'albero applicata alla struttura del grafo recuperato per controllare la crescita del contesto ed escludere rami a bassa utilità prima della costruzione del prompt.
5. Integrazione del Reranking: L'applicazione di uno stadio di reranking dei candidati come meccanismo di selezione ortogonale per migliorare la correttezza finale e mitigare le allucinazioni indotte dal recupero.

Risultati Sperimentali

L'approccio è stato valutato sui benchmark HumanEval e MBPP utilizzando vari Code-LLM (CodeLlama, StarCoder2, DeepSeek-Coder) e LLM generali (Llama3.1).

• Guadagni di Performance:
  • Rispetto alla baseline NoRAG, l'approccio PKG ha migliorato l'accuratezza pass@1 fino al 20% su entrambi i benchmark.
  • Rispetto alle baseline di recupero sparse (BM25) e dense (Voyage-Code-2), il PKG ha dimostrato un incremento fino all'8% su HumanEval e un miglioramento del 34% su MBPP.
  • Block-PKG ha generalmente prodotto le migliori prestazioni medie tra i metodi senza reranking, suggerendo che unità di recupero più fini riducono il contesto irrilevante.
• Impatto del Reranking:
  • Il reranking ha fornito guadagni significativi aggiuntivi, migliorando il pass@1 di circa 4 punti su HumanEval e di 12 punti su MBPP rispetto ai migliori metodi senza reranking.
  • Ciò indica che il recupero serve al meglio come meccanismo per generare diversità di candidati, mentre la selezione è il driver principale dell'accuratezza finale.
• Analisi degli Errori:
  • Sul complesso dataset MBPP, il PKG ha ridotto significativamente gli AssertionErrors (discrepanze semantiche) ma ha introdotto più NameErrors e IndentationErrors in alcuni modelli.
  • Il PKG centrato sul testo (JSON-PKG) ha mostrato effetti eterogenei: ha beneficiato dei LLM generali e di modelli specifici su HumanEval, ma è stato meno costante del PKG centrato sul codice per i compiti di generazione di codice.
• Costo:
  • Sebbene la costruzione del PKG richieda un tempo di pre-elaborazione aggiuntivo (circa 301 minuti contro i 241 per l'embedding-only) e spazio di archiviazione, riduce l'uso di token di inferenza recuperando un contesto più fine, abbassando i costi computazionali durante la generazione.

Significato e Rivendicazioni

L'articolo sostiene che il recupero non è intrinsecamente benefico; il suo successo dipende criticamente dalla struttura delle unità di recupero e dalla strategia di selezione. Gli autori sostengono che:

• La Struttura Conta: Trattare il codice e la documentazione come chunk piatti è insufficiente. Rappresentazioni strutturate (basate su AST per il codice, basate su JSON per il testo) che rispettano i confini sintattici e semantici sono necessarie per preservare la conoscenza utile minimizzando il rumore.
• La Granularità è un Compromesso: Unità di recupero più fini (blocchi) generalmente migliorano la precisione ma richiedono una gestione attenta per evitare di omettere il contesto necessario.
• La Selezione è Critica: Il sistema più efficace non è definito dal "miglior singolo contesto", ma da una pipeline che utilizza il recupero strutturato per generare diversità di candidati e impiega un reranking robusto per filtrare gli errori indotti dal recupero.
• Limitazioni del Contesto: I benefici del PKG non sono uniformi; variano in base all'architettura del modello, al tema del problema (ad esempio, forti guadagni in Matematica/Sorting, potenziali regressioni in String Manipulation) e alla modalità di errore.

Gli autori concludono che la generazione di codice aumentata dal recupero deve essere trattata come un problema accoppiato di costruzione di artefatti rilevanti per il compito ad un'appropriata granularità e di selezione robusta tra i candidati per gestire il rumore del recupero.