Sintesi Tecnica: Oltre le Coppie di Codice: Generazione di Dati Basata sul Dialogo per la Traduzione di Codice tramite LLM

Problematica

I Large Language Models (LLM) hanno dimostrato capacità significative nella traduzione di codice per linguaggi popolari come Python e Java. Tuttavia, le loro prestazioni degradano significativamente in domini di programmazione a basse risorse (es. Fortran) e framework specializzati (es. CUDA), dove i dati di addestramento paralleli di alta qualità sono scarsi. Gli approcci esistenti basati su agenti seguono tipicamente un flusso di lavoro da sorgente a bersaglio, producendo coppie di codice sorgente-bersaglio finali. Sebbene efficaci nel generare codice sintatticamente valido, questi metodi scartano informazioni intermedie preziose — come errori del compilatore, diagnostica del runtime e interazioni con strumenti esterni — che sono cruciali per abilitare un ragionamento più profondo sulla semantica del programma e sul comportamento funzionale. Di conseguenza, i modelli addestrati su coppie di codice statiche spesso non riescono a recuperare dagli errori o a generare codice funzionalmente corretto in scenari di traduzione complessi.

Metodologia

Gli autori propongono una pipeline automatizzata di generazione di dataset che va oltre le tradizionali coppie di codice, incorporando un design a doppio LLM Questioner–Solver all'interno di un workflow di traduzione basato su agenti. Questo approccio genera dialoghi multi-turno che catturano il processo di ragionamento dietro il raffinamento della traduzione.

Il Modulo Questioner–Solver

Il cuore del sistema consiste in due ruoli distinti di LLM:

• Questioner (Interrogatore): Analizza lo stato corrente, sfrutta la memoria del dialogo (tentativi passati, errori, correzioni) e incorpora segnali esterni (errori del compilatore, output del runtime). Formula domande mirate, specifica vincoli e verifica la coerenza tra sorgente e bersaglio.
• Solver (Risolutore): Esegue le traduzioni, genera unit test, propone correzioni e restituisce i risultati della verifica.

Pipeline di Generazione del Dialogo Multi-Turno

La pipeline elabora il codice del Linguaggio di Programmazione Sorgente (SPL) attraverso le seguenti fasi per generare dialoghi verificati:

1. Preprocessing: Filtra il codice sorgente per garantire che sia autosufficiente, eseguibile e che rientri nelle finestre di contesto.
2. Generazione e Verifica degli Unit Test dello SPL: Il Solver genera unit test per il codice sorgente. Il Questioner analizza i risultati dell'esecuzione; se si verificano fallimenti, il Solver ripara i test o il codice. Questo ciclo continua fino al superamento dei test (fino a una soglia massima).
3. Traduzione Iniziale: Il Questioner richiede una traduzione nel linguaggio bersaglio e il Solver produce il codice iniziale.
4. Verifica e Raffinamento della Traduzione: Il codice tradotto viene compilato ed eseguito contro gli unit test. Il Questioner valuta i risultati e istruisce il Solver a raffinare la traduzione in base agli errori. Questo ciclo iterativo cattura le traiettorie di risoluzione dei problemi.
5. Verifica Duo-Test: Una fase finale assicura l'equivalenza funzionale tra il programma sorgente e quello tradotto confrontando gli output. Le traduzioni di successo e i loro interi storici di dialogo vengono archiviati come dati verificati.

Costruzione del Dataset

La pipeline produce due tipi di formati di dati per il fine-tuning:

• Livello di Dialogo: Conversazioni multi-turno complete che catturano l'intero workflow.
• Coppie Question–Solution (QS): Scambi atomici estratti dai dialoghi, che decompongono il ragionamento in passi granulari.

Gli autori hanno istanziato questa pipeline per due compiti: Fortran→C++ e C++→CUDA, generando 3,64k e 3,93k dialoghi, rispettivamente. Questi sono stati ulteriormente decomposti in oltre 14,1k (Fortran→C++) e 12,7k (C++→CUDA) coppie QS.

Contributi Chiave

1. Pipeline di Generazione Automatica del Dialogo: Un framework guidato da un modulo duale Questioner–Solver che integra la conoscenza esterna (compilatori, runtime) in tracce di ragionamento strutturate, andando oltre le statiche coppie di codice.
2. Nuovi Benchmark di Traduzione: Dataset su larga scala di traduzioni verificate con unit test per Fortran→C++ e C++→CUDA, accompagnati da tre suite di test disgiunte per una valutazione rigorosa.
3. Validazione delle Strategie di Strutturazione dei Dati: Gli autori dimostrano che diversi formati di dati ottimizzano compiti differenti. Decomporre i dialoghi in Coppie QS granulari è altamente efficace per padroneggiare la complessità sintattica, mentre l'uso della traccia di Dialogo completa è superiore per preservare la correttezza semantica.

Risultati Sperimentali

Gli autori hanno valutato l'approccio effettuando il fine-tuning di modelli open-weight di medie dimensioni (CodeLlama-13B, DeepSeek-Coder-6.7B, Qwen2.5-7B) sui dati generati.

• Correttezza Funzionale: Il fine-tuning sui dati generati ha prodotto miglioramenti drammatici. Nel compito impegnativo C++→CUDA, il tasso di successo degli unit test del modello CodeLlama-13B è aumentato dal 12,5% al 68,8% (un incremento di >56%) quando addestrato sui dati QS-Pair. Allo stesso modo, la traduzione Fortran→C++ ha visto CodeLlama-13B migliorare dal 42,3% al 74,1%.
• Guadagni nei Round di Debug: I modelli addestrati sui dati di dialogo hanno mostrato miglioramenti costanti attraverso molteplici round di debug, superando i modelli addestrati su coppie di codice statiche in termini di successo nella compilazione, esecuzione e test unitari.
• Competitività con Sistemi Proprietari: Un modello Qwen2.5-7B ottimizzato tramite dialogo ha superato significativamente sistemi proprietari più grandi (Gemini 2.5 Flash, Llama 4 Scout 17B) su metriche chiave come il successo di compilazione ed esecuzione, evidenziando l'efficienza dei costi della supervisione centrata sul dialogo.
• Punteggi CodeBLEU: I modelli sottoposti a fine-tuning hanno dimostrato miglioramenti costanti nei punteggi CodeBLEU, indicando un migliore allineamento sintattico e strutturale con le soluzioni di riferimento.

Significato

Il paper afferma che la supervisione guidata dal dialogo migliora costantemente la correttezza funzionale in diverse famiglie di modelli open-weight, particolarmente nei domini a basse risorse dove i tradizionali corpora paralleli non sono disponibili. Incorporando il ragionamento strutturato (feedback del compilatore, passi di correzione degli errori) nelle serie di dati, l'approccio consente agli LLM di apprendere non solo il risultato finale della traduzione, ma il processo attraverso cui si ottiene la correttezza. I risultati suggeriscono che questo metodo fornisce un percorso costo-efficace per raggiungere prestazioni allo stato dell'arte nella modernizzazione del codice legacy, permettendo a modelli open-weight più piccoli di competere o superare sistemi proprietari più grandi. Gli autori osservano che, sebbene il framework si concentri sulla correttezza funzionale come primo passo necessario, il lavoro futuro mirerà a incorporare metriche di valutazione consapevoli delle prestazioni.