A Metamorphic Testing Perspective on Knowledge Distillation for Language Models of Code: Does the Student Deeply Mimic the Teacher?

Il paper propone MetaCompress, un framework di testing metamorfico che rivela come i modelli studenti derivati dalla distillazione della conoscenza spesso non imitino fedelmente il comportamento dei modelli insegnanti, esponendo discrepanze comportamentali e una maggiore vulnerabilità agli attacchi avversari non rilevate dalle tradizionali valutazioni basate sull'accuratezza.

L'essenziale

Immagina di avere un maestro cuoco (il "Teacher") che è un genio assoluto. Sa preparare piatti complessi, sa esattamente quanto sale mettere e, soprattutto, sa perché un piatto funziona. È un modello di intelligenza artificiale enorme, potente, ma per cucinare ci vuole una cucina industriale, molto tempo e tanta energia.

Ora, vuoi insegnare a un apprendista (lo "Student") a cucinare come il maestro, ma devi farlo in una piccola cucina di casa, velocemente e con poche risorse. Questo è il processo di Distillazione della Conoscenza: prendi la saggezza del maestro e la "spremi" dentro la testa dell'apprendista per creare una versione più piccola e veloce.

Fino a poco tempo fa, gli esperti dicevano: "Se l'apprendista ottiene lo stesso voto dell'esame finale del maestro, allora è perfetto!".

Ma questo articolo ci dice che c'è un grosso problema.

Il Problema: L'Apprendista che "Finge"

Gli autori hanno scoperto che, anche se l'apprendista prende il voto giusto sull'esame standard (l'accuratezza), non sta davvero imparando a pensare come il maestro. Sta solo memorizzando le risposte giuste per le domande che gli sono state fatte, senza capire la logica profonda.

Per dimostrarlo, hanno usato un trucco: hanno cambiato leggermente gli ingredienti del piatto (senza alterarne il gusto) o hanno messo l'apprendista in una situazione di caos (un attacco avversario).

• Il Maestro, anche con gli ingredienti cambiati, sapeva ancora cucinare il piatto perfetto.
• L'Apprendista, invece, si è bloccato o ha fatto un disastro.

È come se avessi un copilota che guida perfettamente in autostrada, ma appena la strada diventa un po' sconnessa o cambia il colore dell'asfalto, lui va nel panico e sbaglia tutto. Non ha "mimato" profondamente il maestro, ha solo copiato la superficie.

La Soluzione: Il "Test Metamorfico" (MetaCompress)

Per scoprire questa truffa, gli autori hanno creato un nuovo sistema di controllo chiamato MetaCompress.

Immagina che MetaCompress sia un detective privato per l'intelligenza artificiale. Invece di chiedere solo "Qual è la risposta giusta?", il detective fa domande strane e controlla la coerenza:

1. Se cambio il nome di un ingrediente, cambi ancora la ricetta? (Accordo sulle previsioni).
2. Se sono sicuro al 99% che sia sale, lo sei anche tu? (Conservazione della fiducia).
3. La tua probabilità di successo è simile alla mia? (Divergenza delle probabilità).
4. Se sono calibrato, lo sei anche tu? (Allineamento della calibrazione).

Il detective controlla se l'apprendista reagisce esattamente come il maestro quando le cose cambiano leggermente. Se l'apprendista reagisce in modo diverso, il detective alza la mano e dice: "Attenzione! Non stai imitando il maestro, stai solo recitando una parte!".

Cosa hanno scoperto?

Hanno testato questo sistema su modelli che analizzano il codice informatico (per trovare bug o cloni di codice). I risultati sono stati scioccanti:

• Sull'esame normale, l'apprendista sembrava perfetto (stesso voto del maestro).
• Con il test del detective (MetaCompress), hanno scoperto che fino al 62% delle volte l'apprendista si comportava in modo completamente diverso dal maestro, anche se il voto era lo stesso.
• Quando hanno provato a ingannare i modelli (attacchi avversari), l'apprendista ha fallito molto più spesso del maestro (fino a 285% di peggioramento!).

Perché è importante?

Se usi un'applicazione per il tuo computer o per la sicurezza di un sistema bancario, non vuoi un'apprendista che funziona bene solo quando tutto è perfetto. Vuoi qualcuno che pensi come il maestro, anche quando le cose si complicano.

In sintesi:
Questo studio ci insegna che non basta guardare il voto finale. Dobbiamo controllare come l'intelligenza artificiale pensa. Il nuovo sistema MetaCompress è come una lente d'ingrandimento che ci permette di vedere se il piccolo modello ha davvero ereditato il cervello del grande modello, o se è solo un imitatore superficiale che crollerà al primo vero problema.

È un passo fondamentale per rendere l'intelligenza artificiale più sicura, affidabile e pronta per il mondo reale, non solo per i test di laboratorio.

Sommario tecnico

1. Il Problema

I modelli linguistici basati su Transformer per il codice (es. CodeBERT, GraphCodeBERT) hanno raggiunto prestazioni all'avanguardia in compiti di analisi del software, ma il loro utilizzo pratico è limitato da costi computazionali elevati, velocità di inferenza lente e un impatto ambientale significativo. Per ovviare a ciò, la ricerca si sta orientando verso la Distillazione della Conoscenza (Knowledge Distillation - KD), che comprime un modello grande ("Teacher") in uno più piccolo ("Student") mantenendo le prestazioni.

Tuttavia, esiste un vuoto critico nella valutazione: le metriche tradizionali basate sull'accuratezza forniscono solo una visione superficiale. Non riescono a catturare se lo studente "mima profondamente" il comportamento predittivo e le rappresentazioni interne del teacher. Di conseguenza, uno studente potrebbe ottenere un'accuratezza simile al teacher su dati puliti, ma fallire miseramente in scenari reali o sotto attacco, rivelando una scarsa fedeltà comportamentale.

2. Metodologia

Gli autori propongono un approccio in due fasi: un'indagine empirica per quantificare il problema e un nuovo framework di valutazione.

A. Indagine Empirica sull'Adversarial Robustness

Per verificare se gli studenti mimano profondamente i teacher, gli autori hanno sottoposto modelli compressi (ottenuti tramite tecniche come Compressor, AVATAR e MORPH) ad attacchi avversariali (es. ALERT, MHM, WIR-Random, CODA).

• Tecnica: Modifiche sintattiche e semantiche minime al codice (es. rinomina di identificatori) che preservano la funzionalità ma ingannano il modello.
• Obiettivo: Misurare il calo delle prestazioni (Attack Success Rate - ASR) degli studenti rispetto ai teacher. Se lo studente mimasse profondamente il teacher, la sua robustezza dovrebbe essere simile.

B. Proposta di MetaCompress

Per superare i limiti delle metriche di accuratezza, gli autori introducono MetaCompress, un framework di Metamorphic Testing (MT).

• Concetto: Invece di confrontare l'output con un'etichetta di verità (ground truth), MetaCompress confronta direttamente gli output del modello Student con quelli del modello Teacher su input identici, verificando relazioni metamorfiche (MR) che definiscono la "fedeltà comportamentale".
• Le 4 Relazioni Metamorfiche (MR) definite:
  1. MR1 - Accordo di Predizione: Lo studente deve prevedere la stessa classe (top-1) del teacher.
  2. MR2 - Similarità della Distribuzione di Probabilità: Le distribuzioni di probabilità (logits) dello studente e del teacher devono essere simili (misurate tramite Divergenza KL).
  3. MR3 - Conservazione dell'Alta Confidenza: Quando il teacher è molto sicuro (es. >0.9), lo studente deve essere altrettanto sicuro e prevedere la stessa classe.
  4. MR4 - Allineamento della Calibrazione: Le curve di calibrazione (accuratezza empirica vs. probabilità prevista) devono allinearsi tra teacher e studente.

3. Risultati Chiave

Gli esperimenti sono stati condotti su due task principali: Rilevamento dei Cloni e Previsione delle Vulnerabilità, utilizzando CodeBERT e GraphCodeBERT.

• Divario di Robustezza: Sebbene gli studenti avessero un'accuratezza simile ai teacher (differenza < 3%), hanno mostrato una robustezza avversariale drasticamente inferiore. In alcuni casi, la perdita di prestazioni sotto attacco è stata fino al 285% maggiore rispetto al teacher.
• Efficacia di MetaCompress: Il framework ha rivelato discrepanze comportamentali che l'accuratezza non aveva mostrato:
  • Fino al 62% di violazioni nelle relazioni metamorfiche (in particolare MR3 per la previsione delle vulnerabilità).
  • Gli studenti spesso falliscono nel mantenere la distribuzione di probabilità e la calibrazione del teacher, anche quando la classe predetta è corretta.
  • Anche tecniche avanzate come MORPH (che includeva la robustezza metamorfica nel training) non sono riuscite a colmare completamente il divario comportamentale rispetto ai teacher.
• Robustezza del Framework: Uno studio di ablazione ha dimostrato che MetaCompress rileva queste discrepanze anche quando gli input vengono trasformati (codice metamorfico), confermando che il framework è robusto e non dipende da specifiche configurazioni di input.

4. Contributi Principali

1. Insight Empirico: Dimostrazione che le metriche di accuratezza tradizionali sono insufficienti per valutare la distillazione della conoscenza nel codice, poiché nascondono gravi difetti nella fedeltà comportamentale e nella robustezza avversariale.
2. Tecnica (MetaCompress): Introduzione di un nuovo framework di testing basato su relazioni metamorfiche output-based per valutare sistematicamente la fedeltà comportamentale tra modelli teacher e student.
3. Valutazione Completa: Un'analisi estesa che mostra come MetaCompress identifichi fino al 62% di discrepanze comportamentali non rilevate dalle metriche standard.
4. Open Science: Rilascio del pacchetto di replicazione per garantire trasparenza e riproducibilità.

5. Significato e Implicazioni

• Sicurezza e Affidabilità: Per applicazioni critiche (es. rilevamento di vulnerabilità), un modello che "sembra" accurato ma non mima il comportamento del teacher è pericoloso, poiché potrebbe fallire in modo imprevedibile in scenari reali o sotto attacco.
• Nuovo Paradigma di Valutazione: Il lavoro sposta il focus dalla semplice "correttezza del task" alla "fedeltà comportamentale", suggerendo che la distillazione deve preservare non solo l'output finale, ma anche la logica interna, la confidenza e la calibrazione.
• Guida per la Pratica: Gli sviluppatori dovrebbero integrare controlli di violazione delle relazioni metamorfiche (MR) nelle pipeline di CI/CD prima del deployment. Un alto tasso di violazione indica che il modello compresso non è adatto per ambienti ad alto rischio, indipendentemente dalla sua accuratezza di base.
• Direzione Futura: Suggerisce la necessità di nuove tecniche di distillazione che allineino non solo i logits finali, ma anche le rappresentazioni intermedie e le distribuzioni di probabilità per colmare il "divario di conoscenza" comportamentale.

In sintesi, il paper evidenzia che comprimere un modello non significa semplicemente ridurne le dimensioni mantenendo l'accuratezza, ma richiede di garantire che il modello compresso erediti la robustezza e la coerenza comportamentale del modello originale, un aspetto che MetaCompress permette di misurare quantitativamente.