Uncertainty Estimation for the Open-Set Text Classification systems

Questo articolo propone l'adattamento del metodo Holistic Uncertainty Estimation (HolUE) al dominio del testo per migliorare l'identificazione delle incertezze nei sistemi di classificazione open-set, ottenendo significativi incrementi nelle prestazioni di rifiuto delle predizioni errate su diversi benchmark e rendendo pubblico il codice sorgente.

L'essenziale

Immagina di avere un portiere di un club esclusivo (il sistema di intelligenza artificiale). Il suo lavoro è controllare chi entra nella sala VIP.

Il Problema: Il Portiere Confuso

In un mondo ideale, il portiere conosce tutti i membri del club (le "classi note"). Se arriva qualcuno che non conosce, dovrebbe dire: "Scusi, non sei nella lista, non puoi entrare".

Tuttavia, nella realtà, le cose sono più complicate:

1. Il "Finto Amico" (Ambiguità): Qualcuno arriva vestito esattamente come un membro, ma in realtà è un estraneo. Il portiere è incerto: "Sembra un membro, ma non ne sono sicuro".
2. Il "Membro Sfigato" (Rumore): Un vero membro arriva, ma è vestito in modo strano, ha la voce rotta o è molto nervoso. Il portiere pensa: "Non sembra un membro, meglio non farlo entrare".
3. Il "Doppio Incrocio" (Confini sfocati): Due membri hanno gusti così simili che è difficile capire a quale dei due appartenga una certa richiesta.

Il problema è che i sistemi attuali sono bravi a dire "Sì" o "No", ma non sono bravi a dire "Non ne sono sicuro". Spesso, quando sono confusi, fanno un errore e lo dichiarano con troppa sicurezza.

La Soluzione: Il "Termometro della Certezza" (HolUE)

Gli autori di questo articolo (Erlygin e Zaytsev) hanno creato un nuovo sistema chiamato HolUE (Stima Olistica dell'Incertezza). Immaginalo come un termometro della certezza che il portiere tiene in mano.

Invece di guardare solo il viso della persona (come facevano i metodi vecchi), questo termometro controlla due cose contemporaneamente:

1. La "Mappa della Folla" (Gallery Uncertainty):

   • L'analogia: Immagina che il club abbia una mappa dove i membri sono raggruppati in zone. Se una persona arriva esattamente a metà strada tra la zona dei "Fan di Calcio" e la zona dei "Fan di Tennis", il sistema sa che c'è confusione. Non è colpa della persona, ma della mappa: le zone si sovrappongono.
   • Cosa fa HolUE: Rileva se la persona è in una zona "grigia" tra due gruppi. Se sì, alza il livello di allarme: "Attenzione, qui c'è ambiguità!".

2. La "Qualità del Messaggio" (Embedding Uncertainty):

   • L'analogia: Immagina che un membro ti scriva un messaggio. Se il messaggio è scritto con la mano che trema, con parole senza senso o con un tono strano, anche se è un membro vero, è difficile capirlo.
   • Cosa fa HolUE: Controlla se il messaggio è "pulito" o "rumoroso". Se il messaggio è confuso, il sistema alza il livello di allarme: "Questo input è ambiguo, non fidiamoci al 100%".

Perché è Geniale?

I metodi precedenti guardavano solo una di queste due cose.

• Alcuni guardavano solo la mappa: se eri vicino al confine, ti scartavano (ma potevi essere un membro vero).
• Altri guardavano solo la qualità: se il messaggio era strano, ti scartavano (ma potevi essere un membro vero che ha solo sbagliato a scrivere).

HolUE fa entrambe le cose insieme. È come avere un portiere che guarda sia la mappa del club sia la qualità del tuo biglietto, e sa esattamente quando dire: "Fermati, non sono sicuro al 100%. Chiamiamo il manager (un umano) per controllare".

I Risultati: Quanto funziona?

Gli autori hanno fatto dei test su tre tipi di "club" diversi:

1. Chi ha scritto questo testo? (Attribuzione dell'autore).
2. Cosa vuole l'utente? (Intento: es. "Voglio un taxi" vs "Che tempo fa?").
3. Di cosa parla l'articolo? (Temi: es. Sport, Politica, Scienza).

I risultati sono stati impressionanti. Il nuovo sistema (HolUE) è stato da 4 a 3 volte più bravo dei sistemi precedenti nel capire quando stava per sbagliare.

• Su alcuni test, il vecchio sistema sbagliava il 79% delle volte nel filtrare gli errori, mentre il nuovo sistema ne sbagliava solo il 17%.
• In pratica, HolUE riesce a salvare il sistema da disastri, rifiutando le domande strane o ambigue prima che facciano danni.

In Sintesi

Questo articolo ci insegna che per costruire un'intelligenza artificiale affidabile, non basta che sia "brava" a rispondere. Deve anche essere umile: deve sapere quando non è sicura.

HolUE è come un sistema di allarme intelligente che non si limita a suonare quando c'è un intruso, ma ti avvisa anche quando la nebbia è troppo fitta per vedere chiaramente, permettendoti di fermarti e chiedere aiuto prima di prendere una decisione sbagliata. È un passo fondamentale per rendere l'IA più sicura e fidata nel mondo reale.

Sommario tecnico

Titolo: Stima dell'Incertezza per i Sistemi di Classificazione del Testo in Set Aperto (Open-Set)

Fonte: Information Processes, Vol. 24, No. 1, 2024.
Autori: L. A. Erlygin, A. A. Zaytsev (Skoltech e Sber, Russia).

---

1. Il Problema: Classificazione in Set Aperto (OSTC)

Il lavoro affronta la sfida della Riconoscimento in Set Aperto (Open-Set Recognition - OSR) applicata al dominio del testo. A differenza della classificazione classica a "set chiuso", dove un sistema deve assegnare un'etichetta a un campione tra un insieme fisso di classi note, l'OSTC richiede al sistema di:

1. Classificare un campione di testo in una delle classi note (il "gallery").
2. Rifiutare il campione come "sconosciuto" se non appartiene a nessuna delle classi note.

Questo scenario è critico per applicazioni reali come:

• Classificazione delle Intenzioni (Intent Classification): Un assistente virtuale deve gestire richieste fuori scope senza forzarne una classificazione errata.
• Attribuzione dell'Autore: Verificare se un testo è stato scritto da un autore noto o da un impostore.
• Classificazione di Argomenti (Topic Classification): Rifiutare articoli che non rientrano nelle categorie predefinite.

Il problema centrale identificato dagli autori è che l'alta accuratezza di classificazione non garantisce l'affidabilità del sistema. È necessario stimare l'incertezza per prevedere quando il sistema commetterà un errore (falso positivo, falso negativo o misidentificazione) e decidere se astenersi dal prendere una decisione.

2. Metodologia: Holistic Uncertainty Estimation (HolUE)

Gli autori adattano il framework HolUE (originariamente sviluppato per il riconoscimento biometrico facciale) al dominio del testo. L'approccio si basa sull'identificazione e la modellazione di due fonti principali di incertezza:

A. Fonti di Incertezza

1. Incertezza della Galleria (Gallery Uncertainty): Deriva dalla struttura geometrica dello spazio degli embedding. Se un embedding si trova vicino al confine decisionale tra due classi note, la decisione è ambigua indipendentemente dalla qualità del campione.
2. Incertezza dell'Embedding (Embedding Uncertainty): Deriva dalla qualità dei dati o dall'ambiguità intrinseca del testo (es. formulazioni vaghe, slang, rumore). Questo si traduce in un'alta varianza nella distribuzione dell'embedding.

B. Architettura del Modello

Il sistema utilizza un approccio probabilistico bayesiano:

1. Estrazione delle Feature: I testi vengono codificati utilizzando un modello BERT pre-addestrato. Vengono estratti gli embedding del token [CLS] e proiettati attraverso un collo di bottiglia (MLP).
2. Embedding Probabilistici (SCF): Invece di un punto deterministico, il modello genera una distribuzione di probabilità. Viene adattato il modello Spherical Confidence Face (SCF):
   • Un "head" predice la direzione media dell'embedding ($\mu$).
   • Un secondo "head" predice un parametro di concentrazione ($\kappa$) che è inversamente proporzionale alla varianza (basso $\kappa$ = alta incertezza).
   • La distribuzione risultante è una von Mises-Fisher (vMF) sulla sfera ipersferica.
3. Modello Bayesiano Olistico:
   • Viene calcolata la distribuzione a posteriori delle classi $p(c|x)$ integrando la distribuzione dell'embedding $p(z|x)$ con la struttura della galleria $p(c|z)$.
   • L'incertezza totale è misurata tramite la Divergenza di Kullback-Leibler (KL) tra la distribuzione a posteriori e la distribuzione a priori.
   • La KL-divergenza si scompone in due componenti: $KL_1$ (ambiguità della galleria) e $KL_2$ (qualità del campione/incertezza di embedding).
   • Queste due componenti vengono normalizzate e fuse tramite una piccola rete neurale (MLP) per produrre il punteggio finale di incertezza HolUE.

3. Contributi Chiave

• Identificazione delle Fonti: Dimostrazione che le fonti di incertezza identificate nel riconoscimento facciale (struttura della galleria e varianza dell'embedding) sono trasferibili ed efficaci anche per gli embedding testuali derivati da transformer.
• Adattamento del Framework: Prima applicazione di un metodo di stima dell'incertezza bayesiana olistico (HolUE) specificamente per il rilevamento di errori nella classificazione del testo in set aperto.
• Nuovo Benchmark: Creazione di un protocollo OSR rigoroso per l'attribuzione dell'autore basato sul dataset PAN, che simula una galleria dinamica di autori noti.
• Validazione Estensiva: Sperimentazione su una vasta gamma di dataset e task (attribuzione dell'autore, intenzioni, argomenti).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset diversi:

• PAN (Attribuzione dell'autore).
• CLINC150 (Classificazione delle intenzioni).
• Yahoo Answers, AGNews, DBPedia (Classificazione di argomenti).

Metrica Principale: Prediction Rejection Ratio (PRR), che misura quanto bene il sistema filtra gli errori prima di raggiungere una certa soglia di FPIR (False Positive Identification Rate).

Risultati Principali:

• Superiorità di HolUE: Il metodo HolUE ha superato significativamente tutte le baseline (inclusi metodi basati solo sul punteggio di accettazione AccScr e metodi basati solo sulla qualità del campione SCF).
• Miglioramenti Specifici:
  • Yahoo Answers: +365% di miglioramento rispetto a SCF (PRR 0.79 vs 0.17).
  • DBPedia: +347% di miglioramento (PRR 0.85 vs 0.19).
  • PAN: +240% di miglioramento (PRR 0.51 vs 0.15).
  • CLINC150: +40% di miglioramento (PRR 0.73 vs 0.52).
• Analisi delle Curve: Le curve di filtraggio del rischio mostrano che HolUE riesce a identificare e rimuovere sia i falsi positivi (accettando campioni sconosciuti) che i falsi negativi (rifiutando campioni noti) molto più efficacemente delle altre metodologie, mantenendo un'accuratezza di riconoscimento più alta man mano che i campioni vengono filtrati.

5. Significato e Conclusioni

Questo lavoro colma un divario significativo tra la ricerca sull'incertezza nel dominio visivo (biometria) e quello testuale (NLP).

• Affidabilità: Dimostra che per sistemi critici (es. assistenti virtuali, sicurezza), non basta essere accurati; bisogna sapere quando non si è sicuri.
• Robustezza: L'approccio olistico è essenziale perché l'incertezza nei testi può derivare sia da ambiguità semantiche (galleria) che da rumore nei dati (qualità). Ignorare una delle due fonti porta a prestazioni subottimali.
• Impatto Futuro: Gli autori propongono di estendere questo framework per il rilevamento di allucinazioni nei modelli linguistici generativi (LLM), utilizzando le stime di incertezza per identificare output fattualmente incoerenti.

In sintesi, il paper fornisce una soluzione matematicamente fondata e sperimentalmente validata per rendere i sistemi di classificazione del testo più sicuri, trasparenti e capaci di operare in scenari di mondo reale dove le categorie sconosciute sono inevitabili.