Riepilogo Tecnico: Stare sulle Spalle dei Giganti: Distillazione della Conoscenza Stabilizzata per il Rilevamento di Cloni di Codice Cross-Linguistico

Definizione del Problema

Il Rilevamento di Cloni di Codice Cross-Linguistico (X-CCD) mira a identificare frammenti di codice funzionalmente equivalenti scritti in diversi linguaggi di programmazione. Questo compito è significativamente più impegnativo rispetto al rilevamento in un singolo linguaggio, poiché programmi semanticamente equivalenti spesso mancano di similarità sintattica a livello superficiale. Sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) abbiano mostrato promesse nel ragionamento semantico, la loro applicazione all'X-CCD incontra tre limitazioni principali:

1. Vincoli di Scatola Nera: I modelli proprietari sollevano preoccupazioni riguardo a costi, privacy e riproducibilità.
2. Affidabilità dei Modelli Compatti: Modelli più piccoli e open-source spesso faticano a seguire prompt di ragionamento complessi e non riescono a produrre output che possano essere mappati coerentemente in etichette binarie clone/non-clone.
3. Instabilità dell'Output: L'inferenza basata sulla generazione spesso produce risposte ambigue o non parsabili, portando a bassi "tassi di risposta" (la proporzione di input che producono una decisione binaria valida) e metriche di valutazione inaffidabili.

Metodologia

Gli autori propongono un framework che combina Distillazione della Conoscenza (KD) con Stabilizzazione della Risposta per trasferire le capacità di ragionamento da un modello insegnante robusto a modelli studenti compatti.

1. Pipeline di Distillazione della Conoscenza

• Modello Insegnante: DeepSeek-R1 viene utilizzato come insegnante per generare tracce di ragionamento di alta qualità, di "Stile Sistema 2" (lente, deliberate, analisi passo-passo) per coppie di codice cross-linguistico.
• Modelli Studenti: Vengono utilizzati due modelli autoregressivi compatti e istruiti: Phi-3-Mini e Qwen2.5-Coder-3B.
• Costruzione dei Dati:
  • Dati Seed: Derivati dal Project CodeNet, filtrando per le sottomissioni accettate per garantire la correttezza funzionale. Le coppie sono formate attraverso quattro combinazioni di linguaggi: Python–Java, Rust–Java, Rust–Python e Rust–Ruby.
  • Dati di Addestramento Sintetici: Il modello insegnante elabora le coppie seed utilizzando un prompt strutturato che richiede il confronto della funzionalità, il ragionamento algoritmico, l'analisi strutturale e una conclusione finale.
  • Filtraggio: Vengono mantenuti solo i campioni in cui l'etichetta predetta dall'insegnante corrisponde alla verità fondamentale (ground truth) per prevenire la propagazione del rumore.
  • Varianti: Lo studio valuta cinque varianti del dataset basate sulla struttura del prompt e sui componenti dell'output dell'insegnante (Solo Ragionamento, Solo Conclusione, o entrambi). La variante RRC (Prompt di Ragionamento + Output di Ragionamento + Conclusione) è stata identificata come la più efficace.
• Fine-Tuning: Gli studenti vengono sottoposti a fine-tuning utilizzando LoRA (Adattamento a Bassa Rango) per apprendere in modo efficiente i pattern di ragionamento e i confini decisionali dell'insegnante senza aggiornamenti completi dei parametri.

2. Metodi di Stabilizzazione della Risposta

Per affrontare il problema degli output non parsabili, vengono introdotti tre metodi per garantire un tasso di risposta del 100% (mappando ogni input su un'etichetta binaria):

• Conclusione Forzata: Un processo di inferenza in due fasi.
  • Fase 1: Il modello genera una risposta di ragionamento libera.
  • Fase 2: Un prompt di follow-up chiede al modello di decidere basandosi sul suo ragionamento precedente. Invece di generare testo, la decisione viene presa confrontando le probabilità dei token "Sì" e "No" nello stato nascosto finale.
• Testa di Classificazione Binaria: Un classificatore leggero viene attaccato alle rappresentazioni nascoste raggruppate del modello linguistico congelato. Apprende una mappatura diretta dagli embedding alle etichette binarie utilizzando la perdita di entropia incrociata binaria, eliminando la necessità di generazione di testo durante l'inferenza.
• Testa di Classificazione Contrastiva: Simile alla testa binaria ma addestrata con una perdita contrastiva supervisionata aggiuntiva. Questo obiettivo incoraggia le coppie di cloni ad avere embedding simili e le coppie non-cloni ad essere più distanti, mirando a migliorare la robustezza sotto spostamenti di distribuzione.

Configurazione Sperimentale

• Dataset: Gli esperimenti coprono set di test a Distribuzione Uguale (SD) e a Distribuzione Diversa (DD) attraverso le quattro coppie di linguaggi.
• Baseline: Le prestazioni zero-shot dei modelli studenti base sono confrontate con le loro controparti sottoposte a fine-tuning con KD.
• Metriche: Precisione, Recall, punteggio F1 e Tasso di Risposta (la percentuale di input mappati con successo su un'etichetta binaria).

Risultati Chiave

1. Impatto della Distillazione della Conoscenza (RQ2)

• Tasso di Risposta: KD migliora significativamente l'affidabilità dei modelli compatti. Ad esempio, su Rust–Ruby (SD), il tasso di risposta di Qwen-Coder è aumentato dal 24,3% al 67,7%. Su problemi DD, i guadagni sono stati ancora più pronunciati (ad esempio, Phi3 su Python–Java DD è passato dal 34,6% al 53,8%).
• Generalizzazione: KD ha migliorato costantemente i punteggi F1 sui set di test a Distribuzione Diversa (DD), suggerendo il trasferimento di pattern di ragionamento di livello superiore piuttosto che euristiche specifiche del dataset.
• Sensibilità del Modello: Qwen-Coder ha beneficiato in modo sproporzionatamente maggiore della KD rispetto a Phi3, ottenendo miglioramenti scalati di F1 di circa 27 punti (SD) e 23 punti (DD), rispetto a circa 7 e 9 punti per Phi3, rispettivamente.

2. Prestazioni della Stabilizzazione della Risposta (RQ3)

• Conclusione Forzata: Questo metodo ha raggiunto il miglior compromesso tra completezza e accuratezza. Quando combinato con KD, ha prodotto punteggi F1 coerenti (intervallo 70–75) in tutte le impostazioni con un tasso di risposta del 100%.
• Teste di Classificazione: Sebbene questi metodi abbiano raggiunto tassi di risposta del 100% e ridotto drasticamente il tempo di inferenza (da ore a minuti), hanno generalmente prodotto punteggi F1 inferiori rispetto all'approccio di conclusione forzata, in particolare a causa della ridotta recall nella variante della testa binaria.
• Efficienza vs. Accuratezza: Le teste binaria e contrastiva hanno ridotto il tempo di inferenza di circa 200–400 volte rispetto ai metodi basati sulla generazione, offrendo un'alternativa pratica per il deployment su larga scala dove la latenza è critica.

3. Prestazioni delle Baseline (RQ1)

• I piccoli modelli open-source hanno dimostrato capacità zero-shot non banali ma hanno sofferto di bassi tassi di risposta (spesso <50%) e scarsa robustezza su distribuzioni di problemi non visti. L'inferenza generativa grezza è stata giudicata insufficiente per un deployment pratico senza stabilizzazione.

Significato e Contributi

Il paper rivendica i seguenti contributi:

1. Primo Dataset Orientato al Ragionamento: Creazione di un dataset di addestramento sintetico (10.671 campioni) per CCD cross-linguistico utilizzando DeepSeek-R1, che copre quattro coppie di linguaggi ed è progettato per elicitaare il ragionamento di Sistema 2.
2. Analisi Sistematica dei Formati di Distillazione: Identificazione del formato "Ragionamento + Conclusione" (RRC) come il più efficace per distillare il ragionamento specifico per CCD.
3. Dimostrazione dell'Efficacia della KD: Evidenza che KD migliora sia i tassi di risposta che le prestazioni predittive (specialmente sotto spostamento di distribuzione) per modelli compatti come Phi3 e Qwen-Coder.
4. Framework di Stabilizzazione della Risposta: Introduzione di tre metodi per raggiungere tassi di risposta del 100%, con un focus specifico sulla tecnica Conclusione Forzata che preserva le capacità di ragionamento garantendo al contempo decisioni binarie valide.
5. Compromessi Pratici: Un'analisi dettagliata che mostra che, sebbene la conclusione forzata offra la massima accuratezza, le teste di classificazione forniscono un'alternativa altamente efficiente, consentendo il deployment locale di sistemi X-CCD senza dipendenza da API proprietarie costose.

Gli autori concludono che un X-CCD pratico con modelli open-source compatti richiede un approccio duale: distillare il ragionamento specifico per il compito da insegnanti robusti e stabilizzare lo spazio di output per garantire previsioni deterministiche e azionabili.