Sintesi Tecnica: Accuratezza, Stabilità e Affidabilità di Esecuzioni Ripetute di Modelli Linguistici di Grandi Dimensioni su Compiti di Programmazione Deterministici

Definizione del Problema

I modelli linguistici di grandi dimensioni (LLM) vengono sempre più impiegati per compiti condizionati dal testo con specifiche deterministiche, come la sintesi di programmi, dove la correttezza è binaria e verificata da suite di test eseguibili. I benchmark di valutazione convenzionali (ad es., HumanEval, MBPP) riportano tipicamente l'accuratezza di una singola esecuzione o metriche di "successo finale" come pass@k, che misurano la capacità di un modello di produrre almeno una soluzione corretta entro $k$ tentativi.

Tuttavia, molti scenari di implementazione pratica richiedono la stabilità: la capacità di un modello di produrre risultati corretti e coerenti attraverso invocazioni ripetute sotto identiche descrizioni del compito. Sebbene lavori recenti abbiano inquadrato il campionamento ripetuto come una forma di calcolo durante l'inferenza, la relazione sistematica tra correttezza e stabilità — specificamente, il divario tra il successo medio di esecuzione di un modello e la sua affidabilità senza tentativi di riprova (retry) — rimane poco esplorata. Questo articolo affronta la domanda di quanto l'accuratezza osservata si traduca in un comportamento affidabile e privo di riprova, particolarmente per i sistemi con prestazioni intermedie dove la variabilità è massima.

Metodologia

Configurazione Sperimentale

Lo studio utilizza un dataset curato di 100 problemi di programmazione deterministici (stile LeetCode), selezionati in base alla loro recente pubblicazione per minimizzare la contaminazione dai dati storici di addestramento. Il dataset include 20 problemi Easy, 50 Medium e 30 Hard, coprendo varie tematiche algoritmiche. Tutti i problemi sono autosufficienti, non richiedono l'accesso a reti esterne e sono valutati tramite un harness di test deterministico e fisso.

Modelli e Configurazione

La valutazione copre 16 modelli provenienti da cinque famiglie di provider (OpenAI, Anthropic, Google, Qwen, DeepSeek), inclusi sia architetture standard che specializzate nel ragionamento (ad es., o4-mini, DeepSeek-R1).

• Protocollo: Ogni modello viene valutato sotto due template di prompt (DETAILED e MINIMAL) con 5 esecuzioni ripetute ($R=5$) per problema.
• Parametri: La maggior parte dei modelli utilizza $T=0.3$ e $top\_p=0.9$ per simulare un decoding stocastico realistico. Per i modelli specializzati nel ragionamento e per specifiche restrizioni API (ad es., o4-mini), i budget di token o i regimi di decoding interni fissi sono stati adeguati.
• Istanze Totali: L'esperimento produce 16.000 istanze di valutazione.

Metriche

Il documento introduce un protocollo di valutazione su esecuzioni ripetute con tre metriche primarie:

1. Run-Level Pass Rate (RLPR): La probabilità che una singola invocazione casuale abbia successo.
   $$RLPR = \frac{1}{NR} \sum_{i=1}^{N} \sum_{r=1}^{R} Y_{i,r}$$
2. Perfect Stability Rate (PSR): La frazione di compiti per i quali il sistema ha successo su tutte le $R$ esecuzioni senza richiedere un riprovare.
   $$PSR = \frac{1}{N} \sum_{i=1}^{N} \mathbb{I}\left(\sum_{r=1}^{R} Y_{i,r} = R\right)$$
   Nota: Il PSR è matematicamente equivalente al pass@k con $k=R$ e una soglia di "tutti i successi", ma qui è interpretato come una misura di affidabilità di deployment piuttosto che una misura di capacità.
3. Average Variance (AV): Una misura dell'instabilità per singolo problema, che cattura la varianza nelle probabilità di successo tra i compiti.

Risultati Chiave

Il Divario Accuratezza–Stabilità

Lo studio trova una forte correlazione tra RLPR e PSR ($r = 0.985$), eppure l'RLPR sopravvaluta costantemente l'affidabilità in produzione.

• Entità del Divario: La differenza $\Delta = RLPR - PSR$ non è uniforme tra i modelli, raggiungendo un massimo di 17,8 punti percentuali (osservato in Gemini 2.5 Flash sotto il prompt DETAILED).
• Picco di Accuratezza Intermedia: Il divario è più ampio per i sistemi con prestazioni intermedie. I modelli con probabilità di successo intermedie esibiscono la varianza più elevata (la varianza di Bernoulli è massimizzata a $p \approx 0.5$), portando a discrepanze significative tra successo medio e stabilità perfetta.
• Inversioni di Classifica: RLRL e PSR possono produrre classifiche divergenti per i modelli. Ad esempio, GPT-4.1 supera GPT-4.1-mini in RLPR (59,6% vs 58,4%) ma resta indietro in PSR (47,5% vs 50,0%), a causa di un maggiore divario accuratezza–stabilità nel primo.

Variabilità a Livello di Problema

• Polarizzazione vs Instabilità: Modelli come Qwen-Turbo presentano un AV basso perché i loro esiti sono polarizzati (o passano costantemente o falliscono in tutte le esecuzioni), risultando in un piccolo divario nonostante la bassa accuratezza complessiva. Al contrario, modelli come Gemini 2.5 Flash mostrano un AV elevato, indicando una sostanziale variabilità tra i tentativi.
• Modalità di Fallimento: La modalità di fallimento dominante è "Risposta Errata" (58%), seguita da "Tempo Limite Superato" (27%). L'instabilità è legata non solo all'incoerenza algoritmica ma anche alla fragilità dell'implementazione (timeout/errori di runtime), che aumenta con la difficoltà del problema.

Sensibilità ai Prompt e Architettura

• Effetti del Prompt: La sensibilità al prompt è dipendente dal modello e non uniforme. Mentre la maggior parte dei modelli mostra differenze minori (<3 pp) tra i prompt DETAILED e MINIMAL, alcuni (ad es., Claude Sonnet 4.5) mostrano inversioni. Nessun template domina uniformemente, e la significatività statistica per gli effetti del prompt è stata generalmente bassa dato il campione.
• Architetture di Ragionamento: Lo studio indaga se i modelli specializzati nel ragionamento (ad es., Chain-of-Thought) esibiscano sistematicamente divari accuratezza–stabilità minori. I risultati sono eterogenei: DeepSeek-R1 mostra una stabilità migliore del previsto, mentre altri (QwQ-Plus, Gemini 2.5 Flash+Think) mostrano divari maggiori. Un test di permutazione ($p=0.97$) non ha trovato un vantaggio sistematico per le architetture di ragionamento in questo campione, sebbene l'analisi sia stata annotata come sottodimensionata a causa del numero limitato di modelli di ragionamento.

Significato e Rivendicazioni

L'articolo sostiene che l'analisi della stabilità su esecuzioni ripetute è un complemento necessario alla convenzionale segnalazione dell'accuratezza per la generazione deterministica condizionata dal testo.

1. Oltre la Misura della Capacità: Mentre il pass@k misura la capacità di un modello di trovare una soluzione eventualmente, il PSR misura l'affidabilità di deployment (coerenza). Queste due metriche mirano a diverse preoccupazioni a valle e possono divergere significamente, specialmente per i sistemi a media accuratezza.
2. Rivelare Rischi Nascosti: Affidarsi esclusivamente all'RLPR può mascherare una sostanziale instabilità. Un modello con un tasso di successo a livello di esecuzione del 60% ma solo del 47% di stabilità perfetta lascia una frazione significativa di compiti in un regime che "richiede riprova", il che può essere inaccettabile nei flussi di lavoro automatizzati che richiedono comportamenti riproducibili.
3. Contributo Metodologico: Il documento stabilisce il PSR e l'Average Variance (AV) come obiettivi di valutazione di primo livello. Dimostra che il divario accuratezza–stabilità è un fenomeno osservabile, specifico per ogni modello e praticamente significativo che non può essere inferito solo dalla performance media.

Gli autori concludono che, sebbene le loro scoperte siano specifiche per la generazione di codice Python a turno singolo, il framework fornisce una lente critica per comprendere l'affidabilità nei flussi di lavoro sensibili alla riproducibilità. Avvertono che i loro risultati sono specifici per le versioni API valutate e non tengono conto di una gestione più ampia o di dipendenze multi-turno.