When to Answer and When to Defer: A Decision Framework for Reliable Code Predictions

Riepilogo Tecnico: Quando Rispondere e Quando Rinviare

Enunciato del Problema
I modelli linguistici per il codice sono sempre più utilizzati per compiti di classificazione (ad esempio, rilevamento di vulnerabilità) e compiti generativi (ad esempio, sintesi del codice). Tuttavia, questi modelli mostrano frequentemente una scarsa allineamento tra la confidenza predittiva e la correttezza effettiva, assegnando spesso un'alta confidenza a previsioni errate e una bassa confidenza a quelle corrette. I metodi esistenti di calibrazione e stima dell'incertezza, sviluppati principalmente per il linguaggio naturale, non si trasferiscono efficacemente al codice. Nello specifico, le tecniche di calibrazione post-hoc riducono spesso la media della miscalibrazione ma non migliorano la classificazione delle previsioni in base alla probabilità di correttezza, prerequisito fondamentale per una selezione efficace (astensione). Inoltre, gli approcci attuali trattano l'incertezza come un indicatore passivo piuttosto che come un segnale azionabile, mancando di meccanismi integrati per risolvere o validare i casi incerti.

Metodologia: Un Quadro Decisionale Unificato
Gli autori propongono un quadro orientato al deployment che integra la stima dell'incertezza, la calibrazione del modello e la gestione dell'astensione basata su strumenti. Il quadro è progettato per operare su compiti sia di classificazione che generativi attraverso tre componenti fondamentali:

1. Stima dell'Incertezza: Il sistema estrae segnali interni dai modelli per informare le decisioni a valle. Ciò include metriche derivate dalle distribuzioni predittive e metodi che quantificano la variabilità del modello sotto perturbazioni controllate. Questi segnali servono come base per calcolare la probabilità di correttezza, anziché agire come filtri diretti.
2. Strategie di Calibrazione:
   • Calibrazione Pre-deployment: Per i modelli di classificazione, il quadro introduce un'intestazione di astensione esplicita o una classe "rifiuto" nello spazio delle etichette, addestrata con perdite consapevoli del rischio selettivo. Per i modelli generativi, impiega un addestramento consapevole della ricompensa per allineare la generazione a proxy di correttezza (ad esempio, tassi di passaggio della validazione), incoraggiando un comportamento conservativo in caso di incertezza.
   • Calibrazione Post-deployment: Per abilitare l'astensione senza re-addestramento, il quadro applica schemi di calibrazione ponderata (che enfatizzano classi ad alto errore o sottorappresentate) e calibrazione consapevole della varianza (mappando la dispersione delle previsioni sulle probabilità di correttezza). Per i modelli generativi, la calibrazione avviene sia a livello di token (per una fiducia incrementale) sia a livello di sequenza (per una valutazione olistica dell'output).
3. Astensione e Recupero (Livello MCP): Quando un punteggio calibrato scende sotto una soglia regolabile, il sistema astiene e attiva un livello di recupero Modello-Contesto-Protocollo (MCP).
   • Per Compiti Generativi: Il livello MCP affronta le modalità di fallimento arricchendo gli input con informazioni mancanti del compito (ad esempio, generando piani intermedi), iniettando conoscenze esterne (ad esempio, frammenti di documentazione) o imponendo semplificazioni (ad esempio, vincolando la lunghezza della generazione).
   • Per Compiti di Classificazione: L'astensione innesca un recupero specifico del dominio utilizzando analizzatori statici, strumenti di slicing del programma o validatori basati su regole per valutare il flusso di controllo e le dipendenze dei dati, garantendo che le decisioni siano supportate da prove simboliche.

Contributi Chiave

• Quadro Unificato: Un'architettura generalizzabile per l'astensione selettiva e il recupero strutturato su compiti di modellazione del codice sia di classificazione che generativi.
• Calibrazione Specifica per Compito: Strategie di calibrazione innovative adattate al codice, inclusa la calibrazione comportamentale basata sui logit per la classificazione e la scalatura ponderata per i modelli generativi.
• Meccanismi di Astensione a Doppia Fase: Metodi per l'astensione esplicita tramite re-addestramento del modello (pre-deployment) e tramite soglie di confidenza calibrate senza re-addestramento (post-deployment).
• Astensione Azionabile: Una riconcettualizzazione dell'astensione come primitiva decisionale che innesca interventi guidati da strumenti (MCP) piuttosto che un fallimento terminale.
• Impegno per la Scienza Aperta: Una promessa di rilasciare codice, configurazioni e dataset sotto una licenza permissiva.

Risultati Preliminari
Gli autori presentano risultati empirici che valutano la trasferibilità delle metriche di incertezza e delle tecniche di calibrazione su modelli di codice pre-addestrati:

• Modelli Generativi: Un metodo di scalatura logistica ponderata applicato a DeepSeek-Coder-7b e CodeLlama-7b sul benchmark MBPP+ ha ridotto costantemente l'errore di calibrazione (ECE) e il punteggio di Brier rispetto alla scalatura di Platt e alla regressione isotonica. A una copertura dell'80%, l'accuratezza della previsione selettiva ha superato il 70%.
• Modelli di Classificazione: Un metodo di calibrazione comportamentale operante direttamente sui logit del modello (bypassando softmax) è stato applicato a compiti di previsione dei difetti. Questo approccio ha prodotto i punteggi di Brier e ECE più bassi tra le strategie testate, raggiungendo un'accuratezza selettiva superiore al 90% a una copertura dell'80% per DeepSeek-Coder-7b e Qwen-Coder-7b.
• Metriche di Incertezza: La valutazione di 16 metriche di incertezza su previsione di difetti, rilevamento di vulnerabilità e generazione di codice ha rivelato che, sebbene molte correlino con la correttezza, nessuna funge da soluzione agnostica rispetto al compito per un'astensione affidabile senza calibrazione comportamentale. Le metriche non calibrate sovrastimano spesso l'affidabilità su previsioni errate a causa di un abbinamento di pattern superficiale nel codice.

Significato e Affermazioni
Il documento sostiene che il deployment affidabile dei modelli di codice richiede di andare oltre la segnalazione passiva della confidenza per passare a sistemi operativi che agiscano con cautela in caso di incertezza. Gli autori affermano che il loro quadro fornisce una base per l'uso consapevole del rischio e controllato per copertura dei modelli di codice. Trattando l'astensione come un meccanismo decisionale principiato supportato da strumenti di analisi leggeri, il lavoro mira a abilitare un deployment robusto nei flussi di lavoro di ingegneria del software ad alto rischio senza sacrificare la copertura per la sicurezza. La ricerca sottolinea che un'astensione efficace nei compiti di codice richiede una calibrazione comportamentale – allineando la confidenza interna con la correttezza a livello di singola istanza – piuttosto che fare affidamento esclusivamente su metriche distributive.