Credal Concept Bottleneck Models for Epistemic-Aleatoric Uncertainty Decomposition

1. Enunciato del Problema

Nelle applicazioni di Natural Language Processing (NLP) ad alto rischio (ad esempio, sanità, diritto, finanza), i modelli standard producono un singolo punteggio di confidenza che fonde due tipi distinti di incertezza:

• Incertezza Epistemica: Incertezza riducibile causata dall'ignoranza del modello o da una specifica insufficiente (ad esempio, il modello non ha visto esempi di training sufficientemente simili).
• Incertezza Aleatoria: Incertezza irriducibile causata da ambiguità intrinseca o rumore nei dati di input (ad esempio, gli annotatori umani sono genuinamente in disaccordo sull'etichetta).

Limiti degli Approcci Attuali:

• Concept Bottleneck Models (CBM): Sebbene i CBM migliorino l'interpretabilità prevedendo concetti intermedi comprensibili all'uomo, tipicamente producono probabilità puntuali (singoli valori). Questo collassa l'incertezza epistemica e quella aleatoria, rendendo impossibile determinare perché una previsione sia incerta.
• Divario di Azionabilità: Senza decomposizione, i praticanti non possono distinguere tra casi in cui il modello necessita di più dati di training (alta incertezza epistemica) e casi in cui è richiesta una revisione umana a causa di un input ambiguo (alta incertezza aleatoria).

2. Metodologia: CREDENCE

Gli autori propongono CREDENCE (Credal Ensemble Concept Estimation), un framework che scompone l'incertezza a livello di concetti per costruzione.

Innovazioni Architetturali Chiave

1. Previsioni Credali (Intervalli): Invece di una singola probabilità $p_k$, ogni concetto $k$ è previsto come un intervallo di probabilità $[p_k, \bar{p}_k]$. Questo intervallo rappresenta un Insieme Credale, catturando la gamma di probabilità plausibili.
2. Separazione Strutturale dell'Incertezza: L'architettura garantisce che i segnali epistemici e aleatori provengano da fonti distinte per impedire che collassino in un unico punteggio.
   • Incertezza Epistemica ($U_{epi}$): Derivata dal disaccordo dell'ensemble. Il modello utilizza $H$ testine leggere (adapter LoRA) diversificate con ranghi e tassi di dropout variabili. La varianza nelle loro previsioni quantifica la confusione del modello.
   • Incertezza Aleatoria ($U_{ale}$): Derivata da una testina dedicata addestrata specificamente per prevedere il disaccordo degli annotatori (ambiguità). Questa testina impara a produrre un valore proporzionale alla varianza nelle etichette umane per un dato concetto.

Fasi della Pipeline

1. Encoder: Un modello pre-addestrato congelato (ad esempio, RoBERTa, LLM) codifica il testo di input $x$ in una rappresentazione $h$.
2. Testine Ensemble: $H$ testine LoRA diversificate prevedono le probabilità dei concetti $\hat{p}_h^{(k)}$.
3. Aggregazione Credale:
   • Si formano i limiti dell'intervallo: $C_k = [\min_h \hat{p}_h^{(k)}, \max_h \hat{p}_h^{(k)}]$.
   • L'incertezza epistemica è calcolata come la varianza tra le testine: $U_{epi}^{(k)} = \text{Var}_h[\hat{p}_h^{(k)}]$.
4. Testina Aleatoria: Una testina separata prevede $\sigma_\theta^{(k)}$, addestrata per corrispondere al tasso osservato di disaccordo degli annotatori (verità fondamentale) durante l'addestramento.
5. Classificazione e Decisione:
   • Le etichette finali sono previste utilizzando la media delle probabilità dei concetti.
   • Regole di Decisione: Il sistema utilizza i segnali decomposti per instradare i campioni:
     • Fiducia: Bassa Epi, Bassa Ale $\rightarrow$ Automatizzare.
     • Raccolta Dati: Alta Epi, Bassa Ale $\rightarrow$ Raccogliere più dati di training.
     • Revisione Umana: Bassa Epi, Alta Ale $\rightarrow$ Instradare agli umani (l'input è ambiguo).
     • Astensione: Alta Epi, Alta Ale $\rightarrow$ Rifiutare la previsione.

3. Contributi Chiave

1. Formulazione CBM Credale: Una variante CBM innovativa che rappresenta le previsioni dei concetti come intervalli di probabilità anziché stime puntuali, consentendo una quantificazione dell'incertezza rigorosa.
2. Decomposizione Strutturale: Un metodo che separa i segnali epistemici (confusione del modello) e aleatori (ambiguità dei dati) utilizzando componenti architetturali distinti (varianza dell'ensemble vs. testina di ambiguità supervisionata), prevenendo il collasso del segnale.
3. Guida Prescrittiva Azionabile: Dimostra che decomporre l'incertezza permette interventi specifici e ottimizzati (ad esempio, dare priorità alla raccolta dati per errori epistemici rispetto alla revisione umana per casi aleatori).

4. Risultati Sperimentali

Il framework è stato valutato su molteplici compiti NLP (Sentimento, Emozione, Tossicità) utilizzando dataset come CEBaB, GoEmotions, HateXplain e SST-2.

• Validità della Decomposizione (RQ1 & RQ2):

  • Correlazione Epistemica: CREDENCE mostra una forte correlazione positiva tra incertezza epistemica ed errori di previsione ($\rho_{epi} \approx 0.287$ su CEBaB). Quando il modello sbaglia, le testine dell'ensemble sono in disaccordo.
  • Correlazione Aleatoria: L'incertezza aleatoria correla fortemente con il disaccordo degli annotatori ($\rho_{ale} \approx 0.785$ su CEBaB), superando di gran lunga le baseline (ad esempio, CBM+Ensemble $\rho_{ale} \approx 0.356$).
  • Separazione: Su SST-2 (che manca di etichette di disaccordo degli annotatori), l'incertezza aleatoria mostra correttamente nessuna correlazione con gli errori, dimostrando che misura l'ambiguità, non il fallimento del modello.

• Azionabilità (RQ3):

  • Intervento sui Concetti: Sostituire i concetti con alta incertezza aleatoria con etichette di verità fondamentale produce guadagni di accuratezza significativamente superiori ($\Delta Acc \approx 18.9\%$) rispetto alla sostituzione di concetti ad alta incertezza epistemica ($\Delta Acc \approx 4.3\%$). Ciò suggerisce che i concetti ambigui guidano gli esiti del compito più della confusione del modello.
  • Efficienza di Instradamento: Il framework di decisione a quattro quadranti identifica i casi di "Revisione Umana" (Bassa Epi, Alta Ale) in cui il modello è effettivamente corretto ma gli umani sono in disaccordo, raggiungendo il potenziale massimo di guadagno di accuratezza ($85.7\%$) se instradati correttamente.

• Efficienza: CREDENCE ottiene questi risultati con un sovraccarico minimo (utilizzando adapter LoRA) rispetto ai Deep Ensemble completi, mantenendo un'accuratezza competitiva mentre fornisce segnali di incertezza ricchi.

5. Significato e Impatto

• Colmare il Divario tra Teoria e Pratica: Il paper va oltre la quantificazione teorica dell'incertezza per fornire azioni prescrittive. Indica ai praticanti cosa fare in base al tipo di incertezza (ad esempio, "raccogliere dati" vs. "inviare a un umano").
• Gestione della Soggettività: Nei compiti NLP in cui la "verità fondamentale" è spesso un composito di giudizi umani contestati (soggettività), distinguere tra ignoranza del modello e ambiguità intrinseca è critico. CREDENCE fornisce il primo framework CBM per modellare esplicitamente questa distinzione.
• Collaborazione Uomo-AI: Identificando i casi in cui il giudizio umano è essenziale (alta aleatoria) rispetto a quelli in cui il modello necessita semplicemente di più training (alta epistemica), il framework ottimizza l'allocazione delle risorse umane e dei budget di raccolta dati.
• Robustezza: Il metodo si generalizza attraverso diverse scale di modelli (da encoder con 66M parametri a LLM con 8B parametri) e compiti NLP diversificati.

In sintesi, CREDENCE trasforma l'incertezza da un singolo punteggio di confidenza opaco in uno strumento diagnostico strutturato e azionabile, consentendo un dispiegamento più affidabile ed efficiente dei sistemi di AI in ambienti ad alto rischio.