Fine-grained Approaches for Confidence Calibration of LLMs in Automated Code Revision

1. Il Problema

Nel panorama attuale dell'ingegneria del software assistita dall'IA, gli sviluppatori fanno sempre più affidamento sui Modelli Linguistici su Grande Scala (LLM) per attività di revisione automatica del codice (ACR), come la riparazione di bug, la correzione di vulnerabilità di sicurezza e il raffinamento del codice. Sebbene questi modelli siano potenti, sono intrinsecamente imperfetti e tendono a produrre output errati.

Il problema centrale è la mancanza di trasparenza a livello di istanza. Gli LLM post-addestrati non generano naturalmente punteggi di confidenza ben calibrati (cioè, la probabilità che il modello assegna alla correttezza del suo output non corrisponde alla probabilità empirica di essere corretto).

• Limiti degli approcci attuali: I metodi di calibrazione esistenti, come il Platt-scaling globale, operano a livello di sequenza intera (coarse-grained). Questi metodi assumono che l'errore sia uniforme su tutto il codice generato. Tuttavia, nelle attività di revisione del codice, la correttezza è spesso determinata da decisioni di modifica locali (es. un singolo token errato può invalidare l'intera implementazione).
• Conseguenze: Una calibrazione grossolana porta a punteggi di confidenza inaffidabili, impedendo agli sviluppatori di prendere decisioni immediate sull'accettazione dell'output o di attivare meccanismi di astensione (abstention) per evitare errori.

2. Metodologia

Lo studio propone un approccio fine-grained (a grana fine) per la calibrazione della confidenza, basato su due pilastri principali:

A. Punteggi di Confidenza Fine-Grained

Invece di considerare la probabilità dell'intera sequenza di output, gli autori ipotizzano che i segnali di incertezza più informativi risiedano nelle decisioni di modifica locali. Propongono tre nuovi punteggi:

1. Probabilità del Token Minimo ($P_{min}$): La probabilità più bassa assegnata a qualsiasi token nella sequenza. Riflette la fragilità introdotta dalla decisione meno confidente del modello.
2. Probabilità dei K Token Più Bassi ($P_{low-K}$): La media aritmetica delle probabilità dei $K$ token con le probabilità più basse. $K$ viene selezionato dinamicamente per ogni campione utilizzando l'algoritmo Kneedle per identificare il punto di flesso nella distribuzione delle probabilità.
3. Incertezza Ponderata dall'Attenzione ($P_{attn-\omega}$): Estende il metodo precedente ponderando i token a bassa probabilità in base alla loro "saliency" (importanza) nel codice generato, calcolata attraverso la massa di attenzione assegnata dai token successivi.

B. Platt-Scaling Locale

Sostituiscono il Platt-scaling globale (un singolo regressore logistico condiviso per tutti i campioni di un task) con il Platt-scaling locale.

• Funzionamento: Utilizza un clustering basato su embedding (input/output + punteggi di confidenza grezzi) per raggruppare campioni simili. Viene addestrato un calibratore logistico distinto per ogni cluster.
• Gestione degli outlier: Per i campioni che non appartengono a nessun cluster (outlier), viene utilizzata una funzione di fallback (backoff), che può essere il calibratore globale o il punteggio grezzo.
• Obiettivo: Catturare errori di calibrazione dipendenti dal campione (sample-dependent) che il metodo globale non riesce a modellare.

C. Setup Sperimentale

• Task: Riparazione di Programmi (DCF-Bug), Riparazione di Vulnerabilità (DCF-Vul), Rifinimento Automatico del Codice (CR-Trans).
• Modelli: 14 modelli LLM open-source di diverse dimensioni (da 7B a 72B parametri) appartenenti alle famiglie Llama, CodeLlama, Qwen e DeepSeek.
• Metriche di Correttezza: Exact Match (EM), Edit Progress (EP), Checks Passed (CP).
• Metriche di Calibrazione: Expected Calibration Error (ECE), Brier Score (B), Bin Coverage (BC).

3. Risultati Chiave

RQ1: Separazione tra Corretto e Errato

L'analisi preliminare ha mostrato che le distribuzioni di probabilità dei token presentano una forte asimmetria negativa (skewness). La maggior parte dei token ha probabilità alte, mentre pochi token critici (gli outlier) hanno probabilità basse.

• I punteggi fine-grained (in particolare $P_{min}$) riescono a catturare questi segnali critici, mentre i punteggi a livello di sequenza (media o likelihood normalizzata) li "diluiscono".
• I punteggi fine-grained mostrano una separazione maggiore (Wasserstein Distance) e una migliore correlazione di rango (Kendall's $\tau$) tra output corretti e errati rispetto ai metodi tradizionali.

RQ2: Efficacia del Platt-Scaling Globale con Punteggi Fine-Grained

L'applicazione del Platt-scaling globale ai nuovi punteggi ha portato a miglioramenti significativi rispetto all'uso di punteggi sequenziali:

• Riduzione dell'Errore: $P_{min}$ ha ottenuto sistematicamente l'errore di calibrazione (ECE) più basso e la massima copertura dei bin (BC) su tutti i task.
• Limiti: Per il task di Rifinimento del Codice (CR-Trans), il Platt-scaling globale, anche con punteggi fine-grained, non è sufficiente a ridurre l'errore a livelli accettabili per il processo decisionale (ECE > 0.14).

RQ3: Miglioramento con Platt-Scaling Locale

L'introduzione del Platt-scaling locale ha dimostrato di essere cruciale, specialmente per task complessi:

• Riparazione Programmi e Vulnerabilità: Il miglioramento è marginale ma positivo. Il Platt-scaling globale è spesso sufficiente se la latenza è una priorità.
• Rifinimento del Codice (CR-Trans): Il Platt-scaling locale è essenziale. Ha ridotto drasticamente l'errore di calibrazione (fino a $\Delta ECE \approx 0.16$) e risolto il problema del "collasso del singolo bin" (dove tutti i campioni ricevono lo stesso punteggio). Questo task presenta un'eterogeneità degli errori molto più alta, richiedendo calibratori specifici per cluster diversi.
• Combinazione Ottimale: La combinazione di Probabilità del Token Minimo ($P_{min}$) e Platt-Scaling Locale ha prodotto le prestazioni migliori in assoluto.

4. Contributi Principali

1. Prima proposta di punteggi di confidenza fine-grained per task ACR, rivelando segnali di incertezza nascosti nelle decisioni di modifica locali che i metodi sequenziali ignorano.
2. Introduzione del Platt-Scaling Locale per task ACR, correggendo i pattern di miscalibrazione dipendenti dal campione che i metodi globali non riescono a catturare.
3. Analisi Completa: Uno studio esaustivo su 5 punteggi di confidenza, 2 metodi di calibrazione, 3 task ACR e 14 modelli diversi, fornendo raccomandazioni pratiche basate sui dati.

5. Significato e Raccomandazioni Pratiche

Il lavoro fornisce linee guida concrete per l'implementazione di sistemi di calibrazione in produzione:

• Per Riparazione di Bug e Vulnerabilità: L'uso di punteggi fine-grained (in particolare $P_{min}$) con Platt-scaling globale è sufficiente per ottenere stime affidabili con un overhead di latenza trascurabile. Il Platt-scaling locale può essere aggiunto solo se è richiesta una riduzione estrema dell'errore a scapito della velocità.
• Per Rifinimento del Codice: L'applicazione del Platt-scaling locale con punteggi fine-grained è obbligatoria. Senza di essa, i punteggi di confidenza sono gravemente miscalibrati, portando a decisioni errate sull'accettazione del codice generato.
• Impatto: Questi metodi permettono agli sviluppatori di fidarsi in modo più intelligente degli LLM, attivando meccanismi di intervento umano solo quando la confidenza calibrata è bassa, migliorando così l'efficienza e la sicurezza del flusso di lavoro di sviluppo software.

In sintesi, il paper dimostra che per le attività di revisione del codice, l'incertezza non è uniforme: deve essere misurata a livello di token critico e calibrata localmente per essere utile in scenari reali.