Riassunto Tecnico: Separazione Strutturale dell'Incertezza Epistemica e Aleatoria

1. Definizione del Problema

L'incertezza predittiva è tradizionalmente scomposta in incertezza epistemica (EU) (ignoranza riducibile del modello) e incertezza aleatoria (AU) (ambiguità persistente dei dati). Sebbene concettualmente distinte, i metodi standard per stimare queste quantità spesso falliscono nel separarle empiricamente. Tecniche come il Monte Carlo dropout, i deep ensembles e le reti evidentiali derivano entrambi gli stimi dalla stessa distribuzione predittiva $p(y|x)$.

Ciò crea una "trappola algebrica": poiché sia l'EU che l'AU sono funzioni della stessa distribuzione, esse ereditano una dipendenza algebrica condivisa. Recenti benchmark indicano che questi componenti sono spesso fortemente correlati ($\rho \ge 0.78$), rendendo impossibile distinguere tra un modello confuso (alta EU) e dati intrinsecamente ambigui (alta AU). Risultati formali (es. Tomov et al., 2026) suggeriscono che nessuna funzione post-hoc di $p(y|x)$ può distinguere univocamente tra errore riducibile e ambiguità intrinseca, poiché diversi stati sottostanti di incertezza possono indurre la stessa distribuzione predittiva ottimale.

2. Metodologia: Separazione Strutturale

Il paper propone la separazione strutturale come principio di progettazione per rompere questo accoppiamento algebrico. Invece di derivare entrambe le incertezze da un singolo oggetto predittivo, gli autori assegnano l'EU e l'AU a percorsi di parametri disgiunti all'interno di Modelli di Variabili Latenti Supervisionati (SLVM).

Architettura Core: Modello a Collo di Bottiglia Concettuale Credale (Credal CBM)

L'istanza primaria è un Credal CBM costruito su un encoder congelato (es. DistilBERT). L'architettura introduce tre percorsi di parametri ortogonali:

1. Percorso della Media ($\mu$): Predice la stima puntuale dei concetti, alimentando la testa del task.
2. Testa Epistemica ($\sigma_{epi}$): Addestrata per tracciare l'errore di predizione riducibile. È parametrizzata da un insieme disgiunto $\phi_{epi}$ ed è supervisionata da una loss che combina l'errore di predizione (con stop-gradient per evitare il gaming) e un regolarizzatore Hausdorff KL.
3. Testa Aleatoria ($\sigma_{ale}$): Addestrata per tracciare l'ambiguità di etichetta persistente. È parametrizzata da un insieme disgiunto $\phi_{ale}$ ed è supervisionata direttamente dall'entropia della distribuzione delle etichette reali ($H[\hat{p}^*]$), derivata dal disaccordo tra più annotatori o da distribuzioni di risposte derivate dal corpus.

Meccanismi Chiave

• Parametrizzazione Disgiunta: Le teste epistemica e aleatoria utilizzano insiemi di parametri non sovrapponibili ($\phi_{epi} \cap \phi_{ale} = \emptyset$).
• Proiezioni Ortogonali: L'output dell'encoder $h$ viene proiettato in sottospazi ortogonali ($W_{epi}h$, $W_{ale}h$) per garantire che le teste ricevano input di feature non sovrapposti.
• Isolamento del Gradiente: La loss di addestramento è decomposta in modo che la loss epistemica ($L_{epi}$) dipenda solo da $\phi_{epi}$ e la loss aleatoria ($L_{ale}$) dipenda solo da $\phi_{ale}$. Gli autori dimostrano (Teorema 3.3) che in queste condizioni, i cross-gradient sono identicamente nulli ($\nabla_{\phi_{epi}} L_{ale} = 0$ e $\nabla_{\phi_{ale}} L_{epi} = 0$).
• Insiemi Credali: Il modello rappresenta i concetti come insiemi credali (insiemi convessi di distribuzioni di probabilità) definiti da una media $\mu$ e una covarianza epistemica $\Sigma_{epi}$, mentre la varianza aleatoria $\sigma_{ale}$ è modellata separatamente al di fuori dell'insieme credale.

3. Contributi Chiave

1. Principio di Separazione Strutturale: Il paper introduce un framework per gli SLVM in cui EU e AU sono calcolate da distinti percorsi di parametri supervisionati piuttosto che da una decomposizione post-hoc di $p(y|x)$.
2. Teorema di Isolamento del Gradiente: Una prova formale che dimostra come, con parametri disgiunti e termini di loss separati, le teste di EU e AU rimangano disaccoppiate durante l'addestramento, evitando la trappola algebrica identificata nei lavori precedenti.
3. Istanza Credal CBM: Un'implementazione specifica utilizzando un Modello a Collo di Bott Bottleneck Concettuale Credale che utilizza proiezioni ortogonali e funzioni di loss ibride per ottenere questa separazione.
4. Diagnostica Comprensiva: Gli autori introducono e validano metriche per testare non solo la decorrelazione, ma anche la validità semantica:
   • Isolamento del Gradiente: Verifica dei cross-gradient nulli.
   • Correlazione: Misurazione di $\rho(U_{epi}, U_{ale})$.
   • Riducibilità della Scala dei Dati: Verifica se l'EU diminuisce all'aumentare dei dati.
   • Tracciamento dell'Ambiguità: Verifica se l'AU correla con l'ambiguità reale ($H[\hat{p}^*]$).

4. Risultati Sperimentali

Il metodo è stato valutato su cinque benchmark: tre dataset a collo di bottiglia concettuale (CEBaB, HateXplain, GoEmotions) con ambiguità derivata dagli annotatori, e due dataset di QA (MAQA*, AmbigQA*) con ambiguità derivata dal corpus.

• Decorrelazione: La separazione strutturale ha ridotto la correlazione di Spearman tra EU e AU dal range di base osservato nei metodi standard come Deep Ensembles e MC Dropout ($\rho \in [0.75, 0.84]$) a $\rho \approx 0.05$. Anche senza una penalità di decorrelazione esplicita ($\lambda_d = 0$), la correlazione rimaneva bassa ($\rho \in [0.12, 0.23]$), significativamente al di sotto del "pavimento post-hoc".
• Validità Semantica:
  • Tracciamento Aleatorio: La testa aleatoria ha mostrato una forte correlazione con l'ambiguità reale ($\rho(\sigma_{ale}, H) \in [0.42, 0.74]$), mentre i baseline mostravano un tracciamento molto più debole.
  • Sensibilità Epistemica: La testa epistemica è rimasta sensibile all'errore di predizione e ha mostrato la firma di riducibilità attesa (diminuzione dei gradient norm all'aumentare dei dati di addestramento).
• Utilità a Valle: Il metodo ha permesso il routing basato su quadranti, distinguendo con successo tra:
  • DATI (Alta EU, Bassa AU): Casi che richiedono più dati (es. fatti oscuri).
  • REVISIONE (Bassa EU, Alta AU): Casi che richiedono revisione umana a causa dell'ambiguità intrinseca (es. opinioni soggettive).
    I baseline standard collassavano questi casi distinti su una diagonale, fallendo nel supportare tali decisioni operative.
• Robustezza: I risultati sono rimasti costanti attraverso diverse architetture di encoder (DistilBERT, BERT, RoBERTa) e sono stati corroborati su un'istanza di Self-Explaining Neural Network (SENN).

5. Significato e Rivendicazioni

Il paper sostiene che le architetture di variabili latenti supervisionate forniscono una via pratica verso stime di incertezza che non sono solo decorrelate, ma operativamente distinguibili.

• Superamento dell'Impossibilità: Spostando la stima dallo spazio di output (funzioni di $p(y|x)$) allo spazio dei parametri (teste separate con gradienti separati), l'approccio aggira i risultati di impossibilità che si applicano alle decomposizioni post-hoc.
• Distinzione Operativa: Il significato primario non è solo la decorrelazione statistica, ma la capacità di supportare decisioni diverse: un'alta EU segnala la necessità di più dati o di un miglioramento del modello, mentre un'alta AU segnala la necessità di astensione o revisione umana.
• Limitazioni: Gli autori notano con modestia che il framework dipende dalla disponibilità di strutture latenti supervisionate (concetti) e segnali di supervisione relativi all'ambiguità (es. dati multi-annotatore). Riconoscono che la scalabilità al fine-tuning end-to-end di grandi modelli linguistici (LLM) potrebbe richiedere un attento routing dei gradienti per mantenere la separazione, e che gli attuali benchmark sono costruiti appositamente e sono relativamente piccoli.

In sintesi, il paper argomenta che la separazione architettonica, combinata con target di supervisione distinti, è una condizione necessaria ed efficace per produrre stime di incertezza che siano semanticamente valide e utili per il processo decisionale.