Riepilogo Tecnico: Astensione dal Compito per Modelli Linguistici di Grande Dimensione nella Generazione di Codice

Definizione del Problema

Il documento affronta la questione critica delle allucinazioni nei Modelli Linguistici di Grande Dimensione (LLM) applicati alla generazione di codice. Mentre la ricerca esistente si concentra prevalentemente sull'allucinazione a livello di campione (rilevamento di singoli frammenti di codice che non vengono eseguiti o non soddisfano i requisiti), questo lavoro identifica una fonte di errore più fondamentale: l'allucinazione a livello di compito. Ciò si verifica quando un LLM è intrinsecamente poco probabile che risolva un compito di codifica specifico a causa di prompt ambigui o delle limitazioni intrinseche del modello, indipendentemente dal numero di campioni generati.

Gli autori formalizzano il problema dell'Astensione dal Compito: determinare se un LLM dovrebbe rifiutarsi di rispondere a un prompt specifico di generazione di codice per evitare di produrre codice funzionalmente errato. L'obiettivo è definire una funzione di rifiuto $r(x)$ che identifichi i compiti in cui la probabilità di generare una soluzione corretta è bassa, specificamente quando la metrica $H@k$ (la probabilità che $k$ campioni generati casualmente siano tutti errati) supera una tolleranza al rischio definita dall'utente $\alpha$.

Metodologia: CODEREFUSER

L'approccio proposto, CODEREFUSER, è basato sul framework Learn Then Test (LTT), utilizzando il test di ipotesi multiple per fornire garanzie teoriche rigorose e libere dalla distribuzione. Il metodo opera in due fasi:

1. Fase di Calibrazione

• Costruzione del Set di Calibrazione: A differenza dei compiti NLP standard, il set di calibrazione è composto da prompt di compito accoppiati a casi di test oracle (verità fondamentale).
• Definizione del Rischio di Ammissione: Il rischio è definito come la probabilità che un compito venga ammesso (non rifiutato) ma che l'LLM non riesca a generare una soluzione corretta entro $k$ tentativi ($H@k$).
• Funzioni di Punteggio: Per gestire la diversità sintattica del codice semanticamente equivalente, gli autori propongono funzioni di punteggio basate sull'esecuzione anziché metriche linguistiche statiche. Queste si basano sul clustering dei campioni di codice in base ai loro output di esecuzione rispetto ai casi di test:
  • Rapporto di Cluster (CR): Misura la proporzione di campioni appartenenti al cluster semantico dominante (consenso del modello).
  • Entropia Semantica (SE): Quantifica l'incertezza del compito misurando la diversità della distribuzione risultante dei cluster.
• Selezione della Soglia: Utilizzando il test di ipotesi multiple, il metodo identifica un insieme di soglie valide ($\Lambda_{valid}$) che garantiscono che il rischio di ammissione rimanga al di sotto della tolleranza $\alpha$ con alta confidenza ($1-\delta$).

2. Fase di Test

• Generazione Duale: Per un nuovo prompt di test, l'LLM genera sia soluzioni di codice sia i corrispondenti casi di test.
• Filtraggio Duale Campione-Test (STDF): Un meccanismo innovativo per affrontare il problema secondo cui i casi di test generati dall'LLM potrebbero essere invalidi o difettosi.
  • Filtraggio del Tasso di Errore: Rimuove i casi di test che causano fallimenti diffusi nell'esecuzione su tutta la popolazione di campioni.
  • Filtraggio della Diversità dell'Output: Rimuove i casi di test che inducono un'alta entropia semantica (indicante comportamento indefinito o input non validi), limitando al contempo il rapporto di potatura per evitare di scartare test validi.
• Processo Decisionale: I casi di test raffinati vengono utilizzati per clusterizzare i campioni di codice. La decisione di astensione viene presa applicando le soglie calibrate ai punteggi del Rapporto di Cluster o dell'Entropia Semantica. Se i criteri non sono soddisfatti, il modello si astiene.

Contributi Chiave

1. Formalizzazione dell'Astensione dal Compito: Il documento introduce e formalizza il concetto di astensione a livello di compito nella generazione di codice, distinguendolo dal rilevamento di allucinazioni a livello di campione.
2. Framework con Garanzie Teoriche: Propone un metodo basato sul test di ipotesi multiple che fornisce una garanzia rigorosa e libera dalla distribuzione secondo cui il rischio di accettare un compito "cattivo" è controllato al di sotto di una soglia specificata.
3. Punteggio Basato sull'Esecuzione con STDF: Gli autori introducono uno schema di punteggio basato sugli esiti di esecuzione runtime e un meccanismo di Filtraggio Duale Campione-Test (STDF). Ciò consente al sistema di operare senza dipendere da casi di test oracle durante la fase di test, mitigando al contempo il rumore introdotto dai test generati dal modello.
4. Minima Dipendenza dagli Oracle: L'approccio richiede casi di test oracle solo durante la fase di calibrazione, rendendolo pratico per il deployment in cui i test di verità fondamentale non sono disponibili per ogni nuovo compito.

Risultati Sperimentali

Gli autori hanno valutato CODEREFUSER sui benchmark HumanEval e MBPP utilizzando quattro LLM per codice open-source (DeepSeek-Coder, Qwen2.5-Coder, CodeLlama e WizardCoder).

• Prestazioni: CODEREFUSER ha superato significativamente le linee di base esistenti, inclusi metodi statici (PPL, NLI, CLM) e rilevatori basati sull'esecuzione (CodeHalu, Execution). In media, ha ottenuto un miglioramento assoluto del 26,5% nella precisione di astensione rispetto al miglior concorrente esistente.
• Statico vs. Esecuzione: Gli esperimenti hanno dimostrato che i metodi statici (anche con dimensioni del campione quadruplicate) non sono riusciti a eguagliare le prestazioni dei metodi basati sull'esecuzione, confermando che l'esecuzione del codice è necessaria per una stima accurata del rischio in questo dominio.
• Trasferibilità: Il metodo ha mostrato una robusta trasferibilità, mantenendo elevate prestazioni quando la calibrazione è stata eseguita su MBPP e il test su HumanEval, nonostante lo spostamento della distribuzione.
• Controllo del Rischio: I risultati empirici hanno confermato le garanzie teoriche, mostrando che il rischio di ammissione è stato controllato con successo al di sotto della tolleranza target $\alpha in oltre il 90% dei casi. Inoltre, CODEREFUSER ha raggiunto questo controllo del rischio con un tasso di astensione significativamente inferiore (rifiutando meno compiti validi) rispetto ai metodi di base come PPL.

Significato e Affermazioni

Il documento afferma di rappresentare un progresso verso la generazione di codice da parte di LLM provatamente corretta. Consentendo ai modelli di dire con sicurezza "Non lo so" per i compiti che è improbabile risolvano, l'approccio fornisce un meccanismo affidabile per una generazione di codice più sicura e robusta.

Gli autori riconoscono modestamente le limitazioni:

• Spostamento della Distribuzione: La garanzia teorica si basa sull'assunzione che i dati di calibrazione e di test siano indipendenti e identicamente distribuiti (i.i.d.). Sebbene gli esperimenti mostrino robustezza a spostamenti moderati, deviazioni estreme nel mondo reale potrebbero indebolire le garanzie.
• Determinismo: Il metodo assume che i compiti abbiano soluzioni deterministiche. Potrebbe non applicarsi direttamente a sistemi software non deterministici o interattivi.
• Ambito Linguistico: La valutazione attuale è limitata al Python; l'efficacia in altri linguaggi (ad esempio C, Java) con caratteristiche diverse di memoria o puntatori richiede ulteriore valutazione.

Il lavoro non propone nuove applicazioni, ma piuttosto un livello di sicurezza fondamentale che può essere integrato nei flussi di lavoro esistenti di generazione di codice per mitigare il rischio di allucinazioni.