Riepilogo Tecnico: ECUASn – Una Famiglia di Metriche per la Valutazione Principiata di Sistemi Arricchiti da Incertezza

Enunciato del Problema

Nelle decisioni automatizzate ad alto rischio, gli utenti (umani o sistemi a valle) necessitano di accedere all'incertezza predittiva per decidere se accettare o rifiutare l'output di un sistema in base ai compromessi di costo specifici dell'applicazione. Questi sistemi, denominati Sistemi Arricchiti da Incertezza (UA), producono sia una previsione candidata sia un punteggio di incertezza.

La letteratura attuale valuta i sistemi UA utilizzando metriche disgiunte:

1. Qualità della Previsione: Misurata tramite accuratezza o tasso di errore.
2. Qualità dell'Incertezza: Misurata tramite metriche di classificazione binaria (es. AUC, ECE, punteggio di Brier) trattando l'incertezza come un predittore di risposte errate.
3. Metriche Integrate: Approcci come l'Area sotto la Curva Rischio-Copertura (AURC) integrano questi aspetti scorrendo una soglia di rifiuto.

Gli autori sostengono che questi approcci siano inadeguati. Metriche separate non riescono a riflettere il valore fornito all'utente che prende una decisione finale. Inoltre, l'AURC e le sue varianti sono invarianti rispetto a trasformazioni monotone del punteggio di incertezza; premiano la classificazione ma non penalizzano le incertezze scarsamente calibrate (sovrastimate o sottostimate) purché l'ordine relativo sia preservato. Questo è un difetto critico per i sistemi in cui l'incertezza deve essere interpretata come una probabilità di correttezza. Inoltre, i metodi esistenti richiedono spesso di fissare un costo di rifiuto specifico ($\gamma$) durante lo sviluppo, che potrebbe non essere noto o potrebbe variare tra utenti e istanze.

Metodologia

Il documento propone ECUASn (Costo Atteso per Sistemi Arricchiti da Incertezza), una famiglia di metriche fondata sulla teoria della decisione bayesiana.

1. Fondamento Teorico della Decisione

Gli autori definiscono un sistema UA come una funzione $f^{UA}: \mathcal{X} \to \tilde{\mathcal{D}} \times \mathbb{R}_{\ge 0}$, che produce una risposta candidata $\tilde{d}$ e un punteggio di incertezza $u$. La decisione finale $d$ è o $\tilde{d}$ o un rifiuto $d_r$.

Una funzione di costo $C_\gamma(y, d)$ è definita basandosi su un costo di rifiuto $\gamma$:
$$C_\gamma(y, d) = \begin{cases} \tilde{C}(y, d) & \text{se } d \in \tilde{\mathcal{D}} \\ \gamma & \text{se } d = d_r \end{cases}$$
dove $\tilde{C}$ è il costo della risposta candidata data la verità fondamentale $y$.

2. Derivazione di Regole di Punteggio Corrette (PSR)

Per evitare di fissare $\gamma$, gli autori costruiscono una metrica che premia i sistemi che producono incertezze interpretabili probabilisticamente.

• Decisione Bayesiana: Per una data funzione di costo e una distribuzione condizionale $q$ sulle classi, la decisione ottimale minimizza il costo atteso. Il costo atteso della decisione ottimale, indicato come $u_{\tilde{C}}(q)$, funge da incertezza teorica.
• Regola di Punteggio Corretta (PSR): Valutando la funzione di costo alla decisione bayesiana, viene derivata una nuova funzione di costo $C^*_\gamma(y, q)$. Questa funzione è una Regola di Punteggio Corretta, il che significa che è minimizzata in valore atteso quando la distribuzione predetta corrisponde alla distribuzione vera. Questa proprietà garantisce che la metrica premi le probabilità ben calibrate, a differenza dell'AURC.

3. La Famiglia ECUASn

Per creare una metrica indipendente da un costo di rifiuto specifico, gli autori integrano la PSR $C^*_\gamma$ su un intervallo di possibili costi di rifiuto $\gamma$, ponderata da una funzione $w(\gamma)$.
$$C^*_w(y, q) = \int_{0}^{u_M} w(\gamma) C^*_\gamma(y, q) d\gamma$$
Gli autori parametrizzano la funzione di peso come $w_n(\gamma) \propto \gamma^{n-1}$, ottenendo la metrica ECUASn. Il parametro $n$ controlla il compromesso:

• $n=0$: Penalizza pesantemente le previsioni errate fatte con alta confidenza (è richiesta un'alta incertezza per il rifiuto). Questo è raccomandato per scenari ad alto rischio.
• $n \to \infty$: La metrica degenera verso il tasso di errore standard 0-1, diventando meno sensibile alla qualità del punteggio di incertezza stesso.

4. Applicazione ai Sistemi Generativi

Per i modelli generativi, il concetto di "correttezza" è definito su classi di equivalenza semantica piuttosto che su corrispondenze esatte di stringhe. Gli autori sostengono che, per una decisione ottimale, l'incertezza dovrebbe essere calcolata sulla distribuzione di queste classi di equivalenza, non sulle singole sequenze di token. Ciò fornisce una giustificazione teorica per i risultati empirici secondo cui l'entropia semantica produce punteggi di incertezza migliori. In pratica, per compiti generativi, si assume che il numero di classi $K$ tenda all'infinito.

Contributi Chiave

1. Sostituzione Principiata della Metrica: Introduzione di ECUASn, una famiglia di metriche fondata sulla teoria della decisione che sostituisce l'AURC. A differenza dell'AURC, ECUASn premia le incertezze interpretabili probabilisticamente (regole di punteggio corrette) rimanendo agnostica rispetto a un costo di rifiuto specifico.
2. Insight Teorico sull'Incertezza Generativa: Una spiegazione teorica del perché i punteggi di incertezza derivati dalle classi di equivalenza semantica (piuttosto che dalle singole previsioni) siano superiori per i sistemi generativi. Ciò è derivato direttamente dalla costruzione del costo della decisione bayesiana.
3. Compromesso Parametrizzato: L'introduzione del parametro $n$, che permette ai praticanti di sintonizzare la metrica in base al profilo di rischio specifico della loro applicazione (es. $n=0$ per scenari di rifiuto ad alto rischio).

Risultati Empirici

Gli autori hanno valutato ECUASn su diversi dataset di classificazione e generazione:

• Classificazione: Esperimenti su dataset linguistici (AGNews, SST-2), vocali (SITW, FVCAUS) e di immagini (CIFAR-10/100).
  • Impatto della Calibrazione: Le metriche ECUASn (in particolare per bassi valori di $n$) hanno rilevato con successo i miglioramenti nella qualità del sistema dovuti alla calibrazione post-hoc, mentre l'AURC è spesso rimasta invariata perché è invariante rispetto a trasformazioni monotone che preservano la classificazione.
  • Baseline Naive: ECUASn ha correttamente identificato sistemi che, nonostante avessero buoni punteggi di calibrazione (come CE o punteggio di Brier sulla distribuzione $q$), performavano peggio di un sistema naive basato su prior quando si considerava l'output combinato di previsione e incertezza.
• Generazione (TriviaQA & MMLU): Esperimenti utilizzando vari LLM (Qwen, Ministral, Gemini) e tre metodi di elicita della confidenza (Posteriore della Sequenza, Is True, Verbalizzato).
  • Disaccordo tra Metriche: La classificazione dei metodi di elicita della confidenza variava significativamente a seconda della metrica utilizzata. Ad esempio, il metodo "Verbalizzato" spesso aveva il miglior tasso di errore (ER) ma una scarsa calibrazione, portando a punteggi ECUASn elevati (prestazioni peggiori) rispetto al "Posteriore della Sequenza".
  • Sensibilità alla Verità Fondamentale: Gli autori hanno curato manualmente un sottoinsieme di TriviaQA (455 campioni) per correggere errori nell'etichettatura automatica dell'equivalenza semantica. Hanno dimostrato che la valutazione automatica può alterare drasticamente le classifiche dei sistemi, evidenziando la necessità di protocolli di valutazione attenti.

Significato e Affermazioni

Il documento afferma che ECUASn fornisce una valutazione completa dei sistemi UA integrando l'impatto sia delle previsioni errate sia delle incertezze imperfette in un singolo valore.

• Allineamento alla Teoria della Decisione: Le metriche sono progettate per riflettere l'utilità effettiva del sistema per un utente che prende decisioni in condizioni di incertezza, piuttosto che misurare semplicemente le proprietà statistiche dell'output.
• Sensibilità alla Calibrazione: Premendo l'interpretabilità probabilistica, ECUASn affronta un limite maggiore dell'AURC, che non riesce a distinguere tra incertezze ben calibrate e scarsamente calibrate se la classificazione è preservata.
• Utilità Pratica: Il framework permette agli utenti di selezionare un valore di $n$ appropriato per la loro tolleranza al rischio, rendendolo uno strumento flessibile per valutare i sistemi in ambienti ad alto rischio dove il costo di un falso positivo (accettare una risposta sbagliata) è severo.

Gli autori concludono che, sebbene ECUASn assuma che l'utente operi all'interno di un quadro teorico decisionale (minimizzando il costo atteso), offre un'alternativa più robusta e principiata alle attuali pratiche di valutazione per i sistemi arricchiti da incertezza.