🤖 AI

Estimating Uncertainty in Classifier Performance with Applications to Large Language Models and Nested Data

Questo articolo valuta i metodi degli intervalli di confidenza per le metriche delle prestazioni dei classificatori in condizioni tipiche della classificazione di testi nelle scienze sociali — come campioni di piccole dimensioni e dati annidati — dimostrando che gli approcci standard spesso producono una copertura inaccurata e raccomandando alternative superiori come Agresti-Coull, Wilson e il bootstrapping gerarchico per migliorare la trasparenza e la validazione nelle applicazioni di machine learning.

Autori originali: Kylie Anglin

Pubblicato 2026-06-26

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kylie Anglin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere uno chef che ha appena inventato una nuova ricetta per la "Torta al Cioccolato Perfetta". Vuoi dire al mondo quanto sia buona. Non ti limiti a dire: "È buona al 90%". Devi dimostrarlo. Così, inviti 20 persone a degustarla. 18 di loro dicono: "Sì, è fantastica!".

Nel mondo dell'informatica e dei Large Language Models (LLM), è esattamente questo che fanno i ricercatori. Addestrano i computer a leggere testi e a classificarli in categorie (come "arrabbiato", "felice" o "spam"). Per dimostrare che il suo computer è intelligente, mostrano al computer un campione di testo che è già stato valutato da esseri umani, e calcolano un punteggio, come il "Recall" (quanti dei testi "arrabbiati" ha trovato il computer?).

Il Problema: Il "Gioco delle Indovine" della Fiducia
L'articolo sostiene che i ricercatori stiano attualmente giocando a un pericoloso "Gioco delle Indovine". Riportano il loro punteggio (ad esempio, "accuratezza del 90%!"), ma raramente riportano quanto siano sicuri di quel numero.

Pensa a una previsione del tempo. Se un meteorologo dice: "C'è il 90% di probabilità di pioggia", è utile. Ma se dice solo: "Pioverà", senza dirti se si basa su un'immagine satellitare o su una supposizione, non puoi fidarti.

In questo articolo, l'autrice, Kylie Anglin, afferma che quando i ricercatori utilizzano piccoli gruppi di persone per testare i loro computer, o quando la "pioggia" (il testo specifico che stanno cercando) è molto rara, i modi standard per calcolare "quanto siamo sicuri" (chiamati Intervalli di Confidenza) sono spesso compromessi. Sono come un righello che si restringe e si allunga in modo imprevedibile.

I "Righelli Rotti" (Metodi Vecchi)
L'articolo mette alla prova diversi modi per misurare questa certezza. Trova che i due metodi più comuni utilizzati oggi siano come usare un righello fatto di gomma:

L'Intervallo di Wald: Questo è il metodo "da manuale". Funziona bene se hai una folla enorme e risultati medi. Ma se hai un gruppo piccolo o un punteggio molto alto (come il 95%), questo righello si restringe troppo. Ti dice: "Siamo sicuri al 95% che il punteggio sia compreso tra il 94% e il 96%", quando in realtà il punteggio reale potrebbe essere ovunque tra l'80% e il 100%. Fornisce un falso senso di precisione.
Il Bootstrap di Base: Questo è un metodo in cui si simula l'esperimento migliaia di volte su un computer per vedere cosa succede. L'articolo trova che la versione standard di questo metodo è anche "oscillante" e spesso sottostima il rischio, specialmente con gruppi piccoli.

I "Righelli Migliori" (Nuove Raccomandazioni)
L'articolo suggerisce di sostituire quei righelli di gomma con righelli più robusti che non si deformano così tanto.

Per Testi Indipendenti (Il Test "Solo"): Se ogni testo proviene da una persona diversa ed è totalmente unico, l'autrice raccomanda di usare il metodo Agresti-Coull. Pensa a questo come all'aggiunta di un pizzico di "imbottitura di sicurezza" al tuo calcolo. È semplice, facile da calcolare e impedisce al righello di restringersi troppo.
Per Metriche Complesse (Come l'F1): Alcuni punteggi sono combinazioni complesse di diverse cose (come il punteggio F1). Non puoi usare formule semplici per questi. L'autrice propone un nuovo trucco chiamato Regolarizzazione dei Pseudo-Conteggi (Pseudo-Count Regularization). Immagina di stare cucinando una torta, ma sei preoccupato di non avere abbastanza ingredienti. Aggiungi un "ingrediente fantasma" (un uovo immaginario e una tazza di farina immaginaria) al tuo mix prima di iniziare. Questo stabilizza la ricetta in modo che il risultato finale non crolli se hai solo pochi ingredienti reali. Questo metodo rende le simulazioni al computer molto più affidabili.

Il Problema della "Camera dell'Eco" (Dati Annidati)
Ecco dove la questione si fa complicata. Nella vita reale, le persone non scrivono solo una frase; ne scrivono molte. Un terapeuta potrebbe scrivere 30 note; uno studente potrebbe scrivere 20 saggi. Questi testi sono "annidati" all'interno della persona. Non sono indipendenti; condividono la stessa voce, lo stesso stile e le stesse stranezze.

Questi testi sono annidati dentro la persona. Non sono indipendenti; condividono la stessa voce, lo stesso stile e le stesse stranezze. Questi testi sono "annidati" all'interno della persona. Non sono indipendenti; condividono la stessa voce, lo stesso stile e le stesse stranezze.

Se tratti 30 note di una persona come se fossero 30 note di 30 persone diverse, stai barando. Ti stai ingannando facendoti credere di avere più dati di quanti ne hai realmente. È come chiedere a un amico di assaggiare la tua torta 30 volte e contare questo come 30 opinioni diverse. Non stai ottenendo 30 opinioni; stai ottenendo un'unica opinione ripetuta 30 volte.

Quando ignori questo effetto "camera dell'eco":

I tuoi intervalli di confidenza diventano troppo stretti. Pensi di essere sicuri al 95%, ma potresti esserlo solo al 65%.
La Soluzione: L'articolo suggerisce due modi principali per correggere la cosa:
1. Aggiusta la Matematica: Usa una formula che riduca la tua "dimensione del campione effettiva" per tenere conto del fatto che i testi sono correlati. È come dire: "Abbiamo 30 note, ma poiché appartengono alla stessa persona, contano solo come 10 opinioni indipendenti".
2. Il Bootstrap Gerarchico: Invece di rimescolare semplicemente le singole note in una simulazione al computer, rimescola prima le persone, poi rimescola le note all'interno di esse. Questo rispetta il fatto che le note appartengono a una persona specifica.

Il Grande Messaggio
Il messaggio principale dell'articolo è un appello all'onestà nella segnalazione.

Non limitarti a riportare il punteggio. Se dici che il tuo computer è accurato al 90%, devi anche dire: "Siamo sicuri al 95% che il numero reale sia compreso tra X e Y".
Usa gli strumenti giusti. Non usare i vecchi righelli di gomma (Wald o Bootstrap di base) per dataset piccoli o con prestazioni elevate. Usa quelli più robusti (Agresti-Coull o il nuovo metodo dei Pseudo-Conteggi).
Attenzione ai cluster. Se i tuoi dati provengono dalle stesse persone che scrivono più volte, devi regolare la matematica per evitare un'eccessiva fiducia.

Utilizzando questi metodi migliori, i ricercatori possono smettere di fingere di sapere più di quanto sanno davvero. Aiuta a capire quando hanno bisogno di raccogliere più dati (più persone, più testi) per ottenere un risultato veramente affidabile, invece di sperare solo che il loro piccolo campione sia sufficiente.

Sintesi Tecnica: Stima dell'Incertezza nelle Prestazioni dei Classificatori con Applicazioni ai Large Language Models e ai Dati Annidati

Problematica
I ricercatori utilizzano sempre più la classificazione del testo — tramite modelli supervisionati o Large Language Models (LLM) — per estrarre costrutti da dati in linguaggio naturale. Sebbene vengano regolarmente riportate metriche di prestazione come recall, precision e F1 per validare questi modelli, esse sono spesso presentate come stime puntuali senza accompagnamento di misure di incertezza statistica (ad esempio, intervalli di confidenza o errori standard). Quando l'incertezza viene riportata, i metodi utilizzati sono spesso inappropriati per le condizioni tipiche della classificazione del testo nelle scienze sociali: campioni di dimensioni piccole o moderate, costrutti infrequenti (che portano a bassi conteggi di casi positivi), elevati tassi di prestazione (comuni con gli LLM) e strutture di dati annidati (testi raggruppati all'interno di individui). I metodi predefiniti, come l'intervallo di Wald e il bootstrap percentile di base, si dimostrano dotati di una copertura inaccurata, scendendo spesso significativamente al di sotto del livello nominale del 95%, in particolare quando le dimensioni del campione sono ridotte o le proporzioni sono estreme. Inoltre, le procedure standard di stima dell'intervallo assumono osservazioni indipendenti e identicamente distribuite (i.i.d.), un assunzione violata quando i testi sono annidati all'interno di individui, portando a una sottostima dell'incertezza e a intervalli di confidenza eccessivamente stretti.

Metodologia
Il documento impiega una serie di studi di simulazione per valutare la copertura e la ampiezza di vari metodi di intervallo di confidenza in condizioni tipiche della classificazione del testo.

Simulazioni su Dati Indipendenti: Gli autori simulano proporzioni binomiali ( $p$ ) che vanno da 0,5 a 0,95 e dimensioni del campione ( $n$ ) da 10 a 500. Confrontano intervalli analitici (Wald, Wilson, Agresti-Coull, Clopper-Pearson) contro intervalli bootstrapped (percentile, BCa e un nuovo bootstrap regolarizzato con pseudo-conteggi).
- Metodo Novello: Viene proposto un "bootstrap regolarizzato con pseudo-conteggi". Questo comporta l'aggiunta di osservazioni pseudo al campione originale (ad esempio, aggiungendo un successo e un fallimento per le proporzioni, o aggiungendo osservazioni pseudo a ciascun quadrante della matrice di confusione per l'F1) prima del resampling. Ciò imita il comportamento dell'intervallo analitico di Agresti-Coull all'interno di un framework bootstrap.
- Valutazione F1: Simulazioni specifiche valutano la copertura del punteggio F1 variando la precision e il recall reali in popolazioni sbilanciate (prevalenza = 0,10).
Simulazioni su Dati Annidati: Per affrontare la non-indipendenza, gli autori simulano dati gerarchici in cui i testi sono annidati all'interno di individui.
- Design: Viene generata una popolazione di 2000 individui, ognuno dei quali produce 60 testi. Gli schemi di campionamento variano tra "piccolo corpus" (media di ~3 testi per individuo) e "moderato corpus" (media di ~30 testi per individuo).
- Metodi Testati: Lo studio confronta intervalli analitici non aggiustati, intervalli analitici aggiustati per la dimensione effettiva del campione ( $n_{eff}$ ) e i gradi di libertà del design ( $df_{design}$ ), e intervalli bootstrapped (cluster bootstrap o hierarchical bootstrap).
- Aggiustamenti: Per i dati annidati, lo studio testa aggiustamenti utilizzando l'effetto di design (DEFF) basato sulla correlazione intra-classe (ICC) e l'uso di quantili $t$ invece di quantili $z$ per tenere conto della riduzione dei gradi di libertà.

Contributi Chiave

Confronto Sistematico: Il documento fornisce una valutazione sistematica della copertura degli intervalli di confidenza specificamente adattata alle condizioni di alte prestazioni, piccoli campioni e dati annidati prevalenti nella classificazione del testo nelle scienze sociali.
Identificazione dei Fallimenti Predefiniti: Dimostra che l'intervallo di Wald e il bootstrap percentile di base sono i metodi meno accurati, producendo spesso tassi di copertura bassi tra 0,40 e 0,66 in scenari con campioni piccoli e prestazioni elevate (ad esempio, $p=0,95$ ).
Nuova Regolarizzazione: Gli autori introducono e validano un bootstrap regolarizzato con pseudo-conteggi. Questo metodo migliora la copertura sia per le proporzioni che per le metriche non proporzionali (come l'F1) in piccoli campioni e regimi ad alte prestazioni, affrontando il comportamento erratico dello standard bootstrapping.
Guida per i Dati Annidati: Lo studio chiarisce che per i dati annidati, aumentare semplicemente il numero di testi non è sufficiente; sono necessari aggiustamenti per la dimensione effettiva del campione e i gradi di libertà del design. Confronta il cluster bootstrap con l'hierarchical bootstrap, riscontrando che l'hierarchical bootstrapping è generalmente più accurato ma può essere eccessivamente conservativo quando gli individui producono pochissimi testi.
Pianificazione della Dimensione del Campione: Il documento fornisce tabelle e visualizzazioni che illustrano la relazione tra dimensione del campione, tasso di prestazione e ampiezza dell'intervallo di confidenza, evidenziando l'alto costo per ottenere intervalli stretti quando le prestazioni sono elevate o i campioni sono piccoli.

Risultati

Dati Indipendenti: Gli intervalli analitici Agresti-Coull, Wilson e Clopper-Pearson raggiungono costantemente una copertura vicina o superiore al livello nominale di 0,95, anche con campioni piccoli. Il bootstrap regolarizzato con pseudo-conteggi performa in modo comparabile per le proporzioni ed è l'unica opzione robusta per i punteggi F1 in piccoli campioni. Wald e il percentile bootstrap di base sottocoprono costantemente.
Dati Annidati: Gli intervalli non aggiustati (trattando i testi come indipendenti) sottocoprono gravemente (ad esempio, ~65% di copertura quando il 95% è atteso) quando i testi sono annidati.
- Aggiustamenti: Gli intervalli aggiustati per $n_{eff}$ e $df_{design}$ (utilizzando specificamente le formule di Agresti-Coull o Wilson con questi aggiustamenti) forniscono una copertura accurata.
- Performance del Bootstrap: Il pseudo-count regularized hierarchical bootstrap fornisce una copertura accurata in tutte le condizioni. Il cluster bootstrap è più preciso (intervalli più stretti) ma rischia la sottocopertura, in particolare quando il numero di testi per individuo è elevato (~30) e il numero di individui è piccolo.
Sensibilità alla Dimensione del Campione: L'ampiezza degli intervalli di confidenza è altamente sensibile al numero di individui nei design annidati piuttosto che solo al numero totale di testi. Aumentare il numero di individui produce una maggiore precisione statistica rispetto all'aumento del numero di testi per individuo.

Significatività e Rivendicazioni
Il documento sostiene che l'entità di una metrica di prestazione è insufficiente senza una misura della sua precisione. L'assenza di intervalli di confidenza accurati minaccia la trasparenza delle applicazioni di machine learning nelle scienze sociali, portando potenzialmente a un eccesso di fiducia nelle inferenze basate sui modelli.

Gli autori sostengono che il loro lavoro offre raccomandazioni basate sull'evidenza per migliorare gli standard di reporting:

Per i dati indipendenti, l'intervallo di Agresti-Coull è raccomandato come default per la sua semplicità e accuratezza, con il bootstrap regolarizzato con pseudo-conteggi come alternativa preferita per le metriche non proporzionali come l'F1.
Per i dati annidati, gli analisti devono aggiustare per la dimensione effettiva del campione e i gradi di libertà. Il pseudo-count regularized hierarchical bootstrap è raccomandato quando gli aggiustamenti analitici sono impraticabili.
Il documento sottolinea la necessità per i ricercatori di considerare i requisiti della dimensione del campione nella fase di design, notando in particolare che i costrutti rari e gli alti livelli di prestazione richiedono una pianificazione attenta per garantire che le "dimensioni del campione analitiche" (ad esempio, il numero di casi positivi, non solo il numero totale di testi) possano supportare un'inferenza affidabile.

Gli autori notano modestamente alcune limitazioni, tra cui il fatto che le loro simulazioni annidate assumono una singola struttura ICC e che il documento si concentra sulla stima dell'incertezza piuttosto che sulla stima non distorta delle metriche stesse. Chiamano a futuri lavori per stabilire benchmark per i comuni valori di ICC e i range di prestazione in psicologia per assistere ulteriormente nel design degli studi.

Articoli simili