Dream at SemEval-2026 Task 13: SALSA for Single-Pass Machine-Generated Code Detection

Sintesi Tecnica: SALSA per il rilevamento del codice generato da macchine in singolo passaggio

Definizione del Problema
Il documento affronta la sfida critica del rilevamento del codice generato da Grandi Modelli Linguistici (LLM), un compito essenziale per mantenere l'integrità della valutazione e la fiducia nel software. Nello specifico, gli autori affrontano il SemEval-2026 Task 13 Subtask A, che inquadra il problema come un compito di classificazione binaria (scritto da umani vs. generato da macchine) su frammenti di codice. La difficoltà principale risiede nella generalizzazione Out-of-Distribution (OOD): il sistema deve operare in modo robusto su linguaggi di programmazione e domini applicativi non visti (ad esempio, passando da dati di addestramento algoritmici a scenari di valutazione di ricerca o produzione). Gli approcci tradizionali basati su caratteristiche progettate manualmente o regole decisionali spesso mancano della necessaria copertura del dominio e robustezza.

Metodologia: SALSA
Gli autori propongono SALSA (Single-pass Autoregressive LLM Structured Classification), una formulazione che riformula la classificazione come un compito di generazione di token vincolato piuttosto che come un problema standard di sequenza-a-sequenza o basato su caratteristiche.

1. Prompt Strutturato e Mappatura dei Token:

   • Invece di permettere al modello di generare spiegazioni verbiose o formati incoerenti, SALSA mappa ogni classe a un singolo token di output dedicato (ad esempio, "0" per umano, "1" per macchina).
   • Il prompt è strutturato con delimitatori chiari e un'istruzione diretta (ad esempio, "il codice è generato da una macchina?") che richiede la risposta in un formato specifico: <ANSWER>#</ANSWER>.
   • Per evitare il ragionamento chain-of-thought che introduce latenza e varianza di formato, gli autori utilizzano il flag /no_think e un blocco <thought> vuoto (specificamente per i modelli Qwen3) per forzare un output a singolo token.

2. Strategia di Addestramento per la Robustezza OOD:

   • Obiettivo: Il modello viene addestrato utilizzando un obiettivo di modellazione del linguaggio causale, ma la perdita (loss) è valutata esclusivamente alla posizione del token dell'etichetta. Ciò concentra gli aggiornamenti del gradiente sulla distribuzione del next-token per le classi target.
   • Fine-Tuning Efficiente dei Parametri (PEFT): Gli autori impiegano LoRA (Low-Rank Adaptation) per ridurre i rischi di overfitting e accelerare l'addestramento.
   • Regime di Addestramento Conservativo: Per evitare che il modello si specializzi eccessivamente nel dominio di addestramento (il che degrada le prestazioni OOD), gli autori adottano un approccio conservativo:
     • Singolo Epoch: L'addestramento è limitato a un unico epoch.
     • Learning Rate Basso: Viene utilizzato un tasso di $5 \times 10^{-6}$.
     • Campionamento Bilanciato: Dato lo forte sbilanciamento del dataset di addestramento verso Python (91,5%), gli autori implementano un campionamento bilanciato tra i gruppi (linguaggio, etichetta). Ciò evita che il modello apprenda pattern specifici di Python a scapito dell'allineamento generale al compito.

3. Inferenza:

   • L'inferenza prevede un singolo passaggio in avanti (forward pass). Il sistema estrae i logit solo per i token delle classi target ("0" e "1") e applica una softmax per determinare l'etichetta predetta, minimizzando l'overhead di decodifica.

Contributi Chiave

• Formulazione: L'introduzione di SALSA, che converte la classificazione in un compito di predizione affidabile a singolo token, eliminando la fragilità della generazione aperta degli LLM.
• Ottimizzazione OOD: Una dimostrazione che il fine-tuning conservativo (basso learning rate, singolo epoch, campionamento bilanciato) preserva le capacità generali del modello base, superando significativamente le strategie di addestramento aggressive negli scenari OOD.
• Prestazioni: Il sistema ottiene un miglioramento sostanziale rispetto al baseline ufficiale, colmando il divario nella rilevazione del codice multi-linguaggio e cross-dominio.

Risultati
Gli autori hanno valutato il loro sistema sulla leaderboard del SemEval-2026 Task 13:

• Confronto con il Baseline: Il baseline ufficiale CodeBERT ha raggiunto un punteggio F1 OOD di 0,305.
• Prestazioni di SALSA: Il miglior sistema, utilizzando Qwen2.5-72B-Instruct sottoposto a fine-tuning con SALSA, ha raggiunto un punteggio F1 OOD di 0,789.
• Zero-Shot vs. Fine-Tuned: Le prestazioni zero-shot sono variate significativamente in base alla dimensione e all'architettura del modello, con alcuni modelli che mostravano un forte bias verso la predizione di codice "scritto da umani" (alta precisione, recall molto bassa). Il fine-tuning con la proposta strategia conservativa ha risolto questi bias, raggiungendo un punteggio F1 di validazione quasi perfetto (0,996) pur mantenendo una forte generalizzazione OOD.
• Scaling del Modello: Le prestazioni sono generalmente scalate con la dimensione del modello, con il modello da 72B parametri che ha superato le varianti da 32B e 8B.

Significatività
Il documento afferma che SALSA fornisce una soluzione robusta, efficiente e scalabile per il rilevamento del codice generato da macchine. Delegando la decisione sull'autorialità al modello tramite il prompting strutturato e gestendo attentamente il processo di fine-tuning per evitare l'overfitting, l'approccio riesce a generalizzare con successo a linguaggi e domini non visti. I risultati suggeriscono che preservare le capacità generaliste del modello base attraverso un addestramento conservativo è più efficace per i compiti OOD rispetto alla massimizzazione dell'accuratezza in-domain. Gli autori notano che il loro codice è pubblicamente disponibile, facilitando ulteriore ricerca in questo ambito.