🤖 machine learning

CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes

Questo articolo introduce CELEUS, un framework che sfrutta i processi E per fornire intervalli di confidenza certificabili e validi in qualsiasi momento per la valutazione degli LLM, riducendo significativamente il numero di campioni richiesti attraverso il campionamento guidato dall'incertezza e approssimazioni assistite da surrogati.

Autori originali: Zhijian Zhou, Zesheng Ye, Zhaorun Chen, Bo Li, Feng Liu

Pubblicato 2026-06-23

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhijian Zhou, Zesheng Ye, Zhaorun Chen, Bo Li, Feng Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un enorme barattolo con 100.000 biglie. Alcune sono rosse (rappresentano un errore fatto dall'IA) e altre sono blu (rappresentano una risposta corretta). Vuoi conoscere l'esatta percentuale di biglie rosse nell'intero barattolo per decidere se l'IA è abbastanza valida da essere utilizzata nel mondo reale.

Il problema? Controllare ogni singola biglia è lento, costoso e a volte richiede l'intervento di un essere umano per guardarla. Se prendi semplicemente un pugno a caso e indovini, potresti essere fortunato o sfortunato, e non saprai quanto la tua stima sia vicina alla verità.

Questo articolo presenta CELEUS, un modo intelligente e matematicamente garantito per scoprire quella percentuale in modo rapido e sicuro.

Ecco come funziona, usando semplici analogie:

1. Il Problema: "Stop e Vai" vs. "Continua a Controllare"

Tradizionalmente, per essere sicuri della propria risposta, si potrebbe controllare un numero fisso di biglie (diciamo 1.000) e poi fermarsi. Ma cosa succede se le prime 1.000 erano tutte blu? Penseresti che il barattolo sia perfetto, ma potresti essere stato solo fortunato.

Alcuni metodi più recenti provano a controllare le biglie una alla volta e a fermarsi non appena sono "abbastanza sicuri". Tuttavia, l'articolo sostiene che questi metodi abbiano un difetto: se continui a controllare i tuoi progressi e decidi di fermarti in base a ciò che vedi proprio ora, potresti accidentalmente ingannare te stesso facendoti credere di essere più sicuro di quanto tu non sia in realtà. È come un giocatore d'azzardo che continua a cambiare la propria strategia di scommessa in base alle ultime vincite; alla fine, potrebbe pensare di avere un sistema "garantito", ma in realtà è solo stato fortunato.

CELEUS corregge questo problema. Fornisce una garanzia "certificabile". Qualunque sia il momento in cui decidi di fermarti, la matematica promette che la tua risposta rientrerà in un intervallo specifico rispetto alla verità (come dire: "Siamo sicuri al 95% che il conteggio delle biglie rosse sia compreso tra il 10% e il 12%").

2. Il Segreto: La "Palla di Cristallo" (Surrogati)

Controllare una biglia è costoso (come chiedere a un essere umano di correggere un saggio). CELEUS usa un trucco per risparmiare denaro.

Immagina di avere una Palla di Cristallo (chiamata "modello surrogato"). È un'IA più piccola e meno costosa che guarda una biglia e indovina se è rossa o blu.

L'imprevisto: La Palla di Cristallo non è perfetta. A volte sbaglia l'indovino.
La Strategia CELEUS: Invece di controllare ogni biglia con un essere umano costoso, CELEUS chiede alla Palla di Cristallo di indovinare per tutte le biglie prima di tutto.
- Se la Palla di Cristallo è molto sicura e coerente, CELEUS si fida di lei e non si preoccupa di controllare quella biglia con l'umano.
- Se la Palla di Cristallo è confusa o il suo indovino sembra rischioso, CELEUS dice: "Ehi, devo controllare questo con l'umano per esserne sicuro".

Questo è chiamato Approssimazione Assistita da Surrogati. Permette al sistema di saltare i controlli costosi sulle biglie facili e concentrarsi solo su quelle difficili.

3. Il "Detective dell'Incertezza" (Campionamento)

CELEUS non sceglie le biglie casualmente. Agisce come un detective che cerca gli indizi più confondenti.

Utilizza il Campionamento Guidato dall'Incertezza. Se la Palla di Cristallo dice che una biglia è "Rossa", ma la matematica suggerisce che potrebbe essere in realtà "Blu" (un grande disaccordo), CELEUS dà la priorità al controllo di quella specifica biglia con l'essere umano. Ignora le biglie dove tutti sono d'accordo. È come un insegnante che corregge una pila di compiti: dedica la maggior parte del tempo ai saggi difficili da valutare, non a quelli che sono ovviamente perfetti o ovviamente terribili.

4. Il "Libro Mastro Magico" (E-Processes)

Come fa CELEUS a sapere di non aver barato guardando gli indovini della Palla di Cristallo?

Utilizza uno strumento matematico chiamato E-Process. Immaginalo come un libro mastro magico o un "misuratore di correttezza".

Ogni volta che CELEUS controlla una biglia, aggiorna il libro mastro.
Il libro mastro è progettato in modo tale che, se il sistema sta mentendo o barando (fermandosi troppo presto o usando cattivi indovini), il "misuratore di correttezza" suonerà un fischietto e mostrerà una bandiera rossa.
Poiché il libro mastro è costruito in questo modo, il sistema può aggiornare il suo intervallo di confidenza continuamente senza mai infrangere le regole. È come un giudice che può sospendere un processo in qualsiasi momento, esaminare le prove raccolte finora e dire: "Abbiamo abbastanza elementi per essere sicuri al 95%", senza che il processo diventi mai ingiusto.

I Risultati: Più Veloci e Più Economici

L'articolo ha testato questo metodo su modelli di IA reali (come Llama e DeepSeek) utilizzando benchmark standard (come l'analisi del sentiment e domande di cultura generale).

L'affermazione: CELEUS ha raggiunto lo stesso livello di certezza dei metodi precedenti, ma ha utilizzato dal 54% al 62% in meno di controlli umani.
L'analogia: Se un vecchio metodo avesse avuto bisogno di chiedere a un essere umano di correggere 10.000 saggi per esserne sicuro, CELEUS ne avrebbe richiesti solo circa 4.000, perché ha usato la "Palla di Cristallo" per gestire il resto.
La Garanzia: Nonostante abbia controllato meno saggi, l'articolo dimostra matematicamente che il punteggio finale è comunque affidabile e non si "romperà" solo perché si è deciso di fermarsi prima.

Riassunto

CELEUS è un nuovo modo per testare l'IA che:

Risparmia denaro usando una "Palla di Cristallo" (surrogato) economica per indovinare le risposte per la maggior parte degli elementi.
Concentra lo sforzo chiedendo agli umani di controllare solo gli elementi in cui la Palla di Cristallo è confusa.
Garantisce la sicurezza usando un speciale "Libro Mastro" matematico (E-Process) che assicura che i risultati siano accurati indipendentemente da quando si decide di smettere di controllare.

Permette ai ricercatori di dire: "Siamo statisticamente sicuri che questa IA sia valida", senza dover perdere tempo e denaro controllando ogni singolo esempio.

Riepilogo Tecnico: CELEUS

Definizione del Problema

La valutazione dei Large Language Models (LLM) si affida sempre più alla cura sequenziale di campioni per stimare le metriche di performance. Tuttavia, le pratiche di valutazione standard affrontano un divario critico tra rigore teorico e applicazione pratica. I metodi esistenti che aggiornano i intervalli di confidenza (CI) in modo sequenziale spesso non sono anytime-valid (validi in qualsiasi momento). Ciò significa che quando un valutatore aggiorna ripetutamente i CI e li utilizza per decidere quando fermarsi (ad esempio, quando la larghezza dell'intervallo raggiunge una precisione target), la probabilità di copertura dichiarata (ad esempio, 95%) può fallire a causa del "double dipping" — ovvero l'uso degli stessi dati sia per selezionare la strategia di valutazione che per quantificare l'incertezza. Inoltre, il semplice fatto di raccogliere più campioni non certifica che la stima sia sufficientemente precisa per il processo decisionale, lasciando privo di un criterio di arresto statisticamente fondato.

Approcci attuali come Cer-Eval tentano di affrontare questo problema tramite la partizione adattiva, ma si basano su assunzioni di partizione fissa che non valgono quando le partizioni vengono apprese adattivamente dai dati, portando a una potenziale perdita di copertura. Inoltre, l'efficienza della valutazione è ostacolata dall'alto costo dell'ottenimento di etichette di verità fondamentale (ground-truth) o giudizi umani, rendendo necessari strategie che minimizzino il numero di campioni valutati pur mantenendo la validità statistica.

Gli approcci attuali come Cer-Eval tentano di affrontare questo problema tramite la partizione adattiva, ma si basano su assunzioni di partizione fissa che non valgono quando le partizioni vengono apprese adattivamente dai dati, portando a una potenziale perdita di copertura. Inoltre, l'efficienza della valutazione è ostacolata dall'alto costo dell'ottenimento di etichette di verità fondamentale o giudizi umani, rendendo necessarie strategie che minimizzino il numero di campioni valutati pur mantenendo la validità statistica.

Metodologia

Il paper propone CELEUS (Certifiable and Efficient LLM Evaluation via E-Processes), un framework che colma il divario tra rigore teorico ed efficienza pratica sfruttando gli E-processes.

Framework Core

Intervalli di Confidenza Anytime-Valid: CELEUS costruisce i CI utilizzando gli E-processes, che forniscono garanzie valide per qualsiasi tempo di arresto (stopping time). A differenza dei metodi tradizionali, gli E-processes si basano solo sull'assunto che i punteggi di valutazione siano limitati (garantito tramite normalizzazione o clipping), il che li rende robusti rispetto alle regole di arresto adattive.
Procedura Sequenziale: Il metodo opera su un pool di dati finito $D_N$ . Ad ogni round $t$ , seleziona un campione non valutato, osserva il suo rischio reale e aggiorna il CI. Il processo si interrompe quando la larghezza del CI raggiunge una precisione target $\epsilon$ .

Componenti Tecniche Chiave

Per garantire efficienza e validità sotto campionamento non uniforme, CELEUS costruisce segnali inferenziali utilizzando due ingredienti primari:

Campionamento Guidato dall'Incertezza: Invezione del campionamento casuale uniforme, CELEUS dà priorità ai campioni che si prevede ridurranno la varianza della stima. La probabilità di campionamento $q_t$ è progettata per essere proporzionale all'entità della discrepanza tra il rischio osservato e un punteggio surrogato. Ciò si allinea con la regola di campionamento ottimale per la varianza derivata teoricamente.
Approssimazioni Assistite da Surrogati: Per i campioni non valutati, CELEUS utilizza i punteggi di un modello surrogato più piccolo e pre-addestrato (ad esempio, un modello da 7–8B) per approssimare il rischio reale. Ciò consente al framework di estrarre informazioni dall'intero pool senza dover valutare ogni campione con il modello target.

Costruzione del Segnale

Il framework costruisce un segnale per round $\hat{S}_t$ che è condizionatamente non distorto (conditionally unbiased) per il rischio del pool finito $R_N$ . Il segnale combina:

Una stima completata dal surrogato del rischio del pool (utilizzando i rischi osservati per i campioni valutati e i punteggi surrogati per il resto).
Una correzione ponderata per l'inverso della probabilità per il residuo del campione appena valutato (la differenza tra il suo rischio reale e il punteggio surrogato).

Questa non distorsione condizionale è il meccanismo centrale che consente la costruzione di E-processes validi. Il framework eleva poi il CI dal rischio del pool finito $R_N$ al rischio della popolazione $R$ utilizzando una correzione di tipo Hoeffding, che dipende dalla dimensione totale del pool $N$ .

Garanzie Teoriche

Copertura Anytime-Valid: I CI risultanti coprono il vero rischio della popolazione con una probabilità almeno pari a $1-\alpha$ in qualsiasi tempo di arresto.
Tasso di Shrinkage: La larghezza dei CI si contrae a un tasso quasi parametrico di $O(\sqrt{\log t \log \log t / t})$ , al netto di fattori logaritmici.
Riduzione della Varianza: Il paper dimostra che il campionamento guidato dall'incertezza e l'assistenza del surrogato proposti riducono la varianza condizionale dei segnali, accelerando direttamente la contrazione degli intervalli di confidenza.

Contributi Chiave

Colmare il Divario tra Rigore e Pratica: CELEUS fornisce il primo framework per la valutazione degli LLM che è sia statisticamente rigoroso (anytime-valid) che praticamente efficiente, risolvendo i fallimenti di copertura degli esistenti metodi adattivi come Cer-Eval.
Nuova Costruzione del Segnale: Il paper introduce un segnale condizionatamente non distorto che integra approssimazioni assistite da surrogati con la ponderazione per l'inverso della probabilità, consentendo la costruzione di E-process validi sotto campionamento non uniforme e adattivo.
Analisi Teorica: Gli autori forniscono prove per la non distorsione dello stimatore, la validità dei CI anytime-valid e le proprietà di varianza ottimale della loro strategia di campionamento. Caratterizzano inoltre il tasso di convergenza della larghezza del CI.
Validazione Empirica: Esperimenti estesi dimostrano che CELEUS raggiunge la precisione target utilizzando il 54–62% in meno di campioni valutati rispetto ai baseline (come il campionamento uniforme con E-processes), preservando la copertura nominale. L'uso di modelli surrogati piccoli (7–8B parametri) senza fine-tuning specifico per il task migliora ulteriormente l'efficienza di un ulteriore 10–23% rispetto alla variante senza surrogato.

Risultati

Gli esperimenti sono stati condotti su tre benchmark (SST-2, AG News, MMLU) con vari modelli target (ad esempio, Llama-3-70B, DeepSeek-67B, Mixtral-8×7B) e coppie target-surrogato.

Copertura: In contesti diagnostici dove Cer-Eval non riusciva a mantenere la copertura (tasso di mis-copertura del 16,1% rispetto al nominale 5%), CELEUS e altri metodi basati su E-process hanno mantenuto tassi di mis-copertura inferiori al livello nominale (0,021–0,030).
Efficienza: CELEUS ha raggiunto la precisione target ( $\epsilon=0,05$ ) con significativamente meno etichette. Ad esempio, su MMLU, ha richiesto 3.242 campioni rispetto agli 8.144 del baseline (EVALUE), una riduzione del 60%.
Impatto del Surrogato: La variante assistita dal surrogato ha costantemente superato la versione senza surrogati, dimostrando che l'utilizzo di modelli più piccoli pre-addestrati riduce efficacementamente la varianza del segnale di stima.

Significato e Rivendicazioni

Il paper sostiene che CELEUS offra un criterio statisticamente fondato per decidere quando sono stati valutati campioni sufficienti, andando oltre le semplici stime puntuali verso intervalli di confidenza certificati. Garantendo la anytime-validity, permette ai valutatori di monitorare i progressi e interrompere l'esecuzione in anticipo senza gonfiare i tassi di errore di Tipo I.

Gli autori sottolineano che il loro metodo è particolarmente prezioso in scenari in cui la valutazione si basa su annotazioni umane costose o su forti giudici LLM, poiché riduce drasticamente il numero di tali valutazioni necessarie. Notano che, sebbene il metodo affronti l'incertezza statistica nella valutazione, non risolve altri rischi di deployment (ad esempio, sicurezza, bias) né garantisce che il benchmark stesso sia rappresentativo delle condizioni reali. Il costo computazionale del punteggio del surrogato è riconosciuto ma dimostrato essere trascurabile rispetto al risparmio derivante dalla riduzione delle valutazioni del modello target.

Il lavoro futuro suggerito dagli autori include l'estensione del framework verso scenari di valutazione consapevoli del cambiamento di distribuzione (distribution-shift-aware).