UCSC-NLP at SemEval-2026 Task 13: Multi-View Generalization and Diagnostic Analysis of Machine-Generated Code Detection

1. Enunciato del Problema

Il paper affronta la sfida critica di distinguere tra codice scritto da umani e codice generato dall'intelligenza artificiale, un compito essenziale per mantenere l'integrità accademica, garantire equità nelle assunzioni e proteggere le catene di approvvigionamento software. Gli autori partecipano alla SemEval-2026 Task 13, che presenta due sotto-compiti distinti con sfide uniche:

• Sotto-compito A (Rilevamento Binario): Distinguere il codice umano da quello generato da macchine. La sfida principale qui è lo spostamento della distribuzione: i dati di addestramento sono limitati a Python, C++ e Java in un dominio algoritmico, mentre il set di test include lingue non viste (JavaScript, C#, Go, ecc.) e domini non visti (Ricerca, Produzione), inclusi il 33,4% di snippet a "contenuto misto".
• Sotto-compito B (Attribuzione Multi-classe): Identificare la specifica famiglia di Modelli Linguistici su Larga Scala (LLM) che ha generato il codice (Umano vs 10 diverse famiglie di LLM). La sfida principale è lo squilibrio estremo delle classi: il dataset è dominato dal codice umano (88,4%), creando un rapporto di 221:1 tra la classe maggioritaria e le più piccole classi minoritarie. Ciò porta a un "fallimento catastrofico della classe minoritaria" dove i modelli standard prevedono semplicemente la classe maggioritaria.

2. Metodologia

Sotto-compito A: Framework di Generalizzazione Multi-Vista

Per affrontare il disallineamento linguistico e di dominio, gli autori affinano UniXcoder-base utilizzando un framework di addestramento multi-vista progettato per apprendere rappresentazioni invarianti al generatore. Il sistema elabora tre viste dell'input di codice:

1. Vista Originale: Tokenizzazione standard.
2. Vista Delessicalizzata: Identificatori, letterali di stringa e numeri sono sostituiti con token generici (ID, STR, NUM) per rimuovere indizi superficiali specifici della lingua.
3. Vista a Contenuto Misto: Frammenti di testo casuali vengono iniettati negli snippet di codice per simulare la distribuzione a contenuto misto presente nel set di test.

Tecniche Chiave:

• Prefissi Strutturali a 3 Domini: Gli snippet sono preceduti da un prefisso che indica il loro tipo (pulito, misto o frammento) per aiutare il modello ad allineare i tipi di contenuto.
• Perdita di Coerenza KL Simmetrica: Il modello è addestrato per minimizzare la divergenza di Kullback-Leibler simmetrica tra le previsioni delle viste originale e delessicalizzata/mista, imponendo coerenza tra diverse rappresentazioni.
• Dropout dei Token: Il 15% dei token non speciali viene mascherato casualmente durante l'addestramento per prevenire la dipendenza da parole chiave spurie specifiche della lingua.
• Strategia di Inferenza: La previsione finale è la media dei logit da tutte e tre le viste, agendo come un ensemble a costo zero.

Sotto-compito B: Baseline Diagnostica ed Estensione con Pesi di Classe

Gli autori utilizzano CodeBERT-base con un head di classificazione softmax lineare.

1. Baseline Diagnostica: Un modello standard affinato senza ridistribuzione dei pesi delle classi. Questo serve come controllo per dimostrare che l'affinamento standard fallisce sotto squilibrio estremo.
2. Sistema con Pesi di Classe: Un sistema competitivo che applica pesatura delle classi inversa alla frequenza alla perdita di entropia incrociata. Questo aumenta il peso delle classi minoritarie di LLM proporzionalmente alla loro sottorappresentazione per costringere il modello ad apprendere caratteristiche discriminative per generatori rari.

3. Contributi Chiave

1. Framework Robusto di Rilevamento Binario: Un approccio innovativo di addestramento multi-vista che ottiene una forte generalizzazione su lingue e domini non visti imponendo coerenza tra le viste di codice delessicalizzato, misto e originale.
2. Analisi Diagnostica dello Squilibrio: Una dimostrazione rigorosa che l'affinamento standard fallisce catastroficamente nei compiti di attribuzione multi-classe con squilibrio estremo delle classi. Gli autori mostrano che un'alta accuratezza (88,4%) può mascherare un fallimento completo nel rilevare le classi minoritarie (Macro F1 ~0,08).
3. Evidenza Empirica di Sovrapposizione degli Embedding: La visualizzazione tramite t-SNE rivela che, mentre il codice umano e quello macchina sono separabili nello spazio degli embedding (Sotto-compito A), diverse famiglie di LLM si sovrappongono significativamente tra loro e con il codice umano (Sotto-compito B), spiegando la difficoltà dell'attribuzione fine.

4. Risultati

Sotto-compito A (Rilevamento Binario)

• Validazione: Ha raggiunto un Macro F1 di 0,993 quasi perfetto.
• Set di Test: Ha raggiunto un Macro F1 di 0,845 sul set di test fuori distribuzione.
• Analisi: Il divario di 14,8 punti tra i punteggi di validazione e test riflette la difficoltà della generalizzazione cross-linguistica piuttosto che l'overfitting. Il modello ha mostrato prestazioni bilanciate tra le classi Umano e Macchina, senza bias sistematici.

Sotto-compito B (Attribuzione Multi-classe)

• Baseline Diagnostica: Ha raggiunto un'Accuratezza dell'88,4% ma un Macro F1 catastrofico di 0,086. Il modello ha effettivamente previsto "Umano" per quasi tutti gli input, fallendo nell'identificare qualsiasi specifica famiglia di LLM.
• Sistema con Pesi di Classe: Applicando la pesatura inversa alla frequenza e addestrando per 3 epoche, il sistema ha recuperato il Macro F1 a 0,345 (un miglioramento relativo del 301%).
• Compromesso: Questo miglioramento è avvenuto a scapito di un'accuratezza complessiva scesa al 78,7%, indicando che il modello è passato con successo da un bias verso la classe maggioritaria a una genuina discriminazione multi-classe.

5. Significato e Direzioni Future

• Impatto Pratico: Il lavoro evidenzia che, sebbene il rilevamento binario del codice AI stia diventando robusto, l'attribuzione fine (identificare quale AI ha scritto il codice) rimane una sfida aperta a causa dell'omogeneità architetturale tra gli LLM e dello squilibrio dei dati.
• Insight Metodologico: Il paper dimostra che metriche standard come l'accuratezza sono fuorvianti nei compiti di rilevamento del codice squilibrati; il Macro F1 è la metrica critica.
• Lavoro Futuro: Gli autori suggeriscono che i futuri miglioramenti nell'attribuzione potrebbero richiedere:
  • Apprendimento contrastivo per massimizzare la separazione inter-classe.
  • Incorporazione di caratteristiche strutturali (AST, grafi di flusso di controllo) invece di affidarsi esclusivamente a segnali a livello di token.
  • Funzioni di perdita avanzate come Focal Loss o campionamento bilanciato per le classi.
  • Esplorazione di architetture basate su decoder o encoder-decoder (ad es. CodeT5).

Il paper conclude con una dichiarazione etica che sottolinea come, a causa dei tassi di falsi positivi (Recall Umano di 0,760), la revisione umana rimanga essenziale prima di prendere decisioni conseguenti riguardanti la paternità o le assunzioni.