Technische Samenvatting: Structurele Separatie van Epistemische en Aleatorische Onzekerheid

1. Probleemstelling

Voorspellende onzekerheid wordt traditioneel gedecomposeerd in epistemische onzekerheid (EU) (reduceerbare modelonwetendheid) en aleatorische onzekerheid (AU) (persistente datambiguïteit). Hoewel conceptueel verschillend, falen standaardmethoden voor het schatten van deze grootheden vaak in het empirisch scheiden ervan. Technieken zoals Monte Carlo dropout, deep ensembles en evidentienetwerken afleiden beide schattingen uit dezelfde voorspellende distributie $p(y|x)$.

Dit creëert een "algebraïsche valstrik": omdat zowel EU als AU functies zijn van dezelfde distributie, erven ze een gedeelde algebraïsche afhankelijkheid. Recente benchmarks wijzen uit dat deze componenten vaak sterk gecorreleerd zijn ($\rho \ge 0,78$), wat het onmogelijk maakt om te onderscheiden tussen een model dat in verwarring is (hoge EU) en data die inherent ambigu is (hoge AU). Formele resultaten (bijv. Tomov et al., 2026) suggereren dat geen enkele post-hoc functie van $p(y|x)$ uniek onderscheid kan maken tussen reduceerbare fout en intrinsieke ambiguïteit, aangezien verschillende onderliggende onzekerheidstoestanden dezelfde optimale voorspellende distributie kunnen induceren.

2. Methodologie: Structurele Separatie

Het paper stelt structurele separatie voor als ontwerpprincipe om deze algebraïsche koppeling te verbreken. In plaats van beide onzekerheden af te leiden uit een enkel voorspellend object, wijst de auteur EU en AU toe aan disjuncte parameterpaden binnen Supervised Latent Variable Models (SLVMs).

Kernarchitectuur: Credal Concept Bottleneck Model (CBM)

De primaire instantie is een Credal CBM gebouwd op een bevroren encoder (bijv. DistilBERT). De architectuur introduceert drie orthogonale parameterpaden:

1. Gemiddeld pad ($\mu$): Voorspelt de puntinschatting van concepten, die de task head voedt.
2. Epistemische head ($\sigma_{epi}$): Getraind om reduceerbare voorspellingsfout te volgen. Het wordt geparametriseerd door een disjuncte verzameling $\phi_{epi}$ en wordt gesuperviseerd door een loss die voorspellingsfout combineert (met stop-gradients om 'gaming' te voorkomen) en een Hausdorff KL-regularisator.
3. Aleatorische head ($\sigma_{ale}$): Getraind om persistente labelambiguïteit te volgen. Het wordt geparametriseerd door een disjuncte verzameling $\phi_{ale}$ en wordt direct gesuperviseerd door de entropie van de grondwaarheid labeldistributie ($H[\hat{p}^*]$), afgeleid van multi-annotator onenigheid of corpus-afgeleide antwoorddistributies.

Kernmechanismen

• Disjuncte Parametrisatie: De epistemische en aleatorische heads gebruiken niet-overlappende parameterverzamelingen ($\phi_{epi} \cap \phi_{ale} = \emptyset$).
• Orthogonale Projecties: De encoder output $h$ wordt geprojecteerd in orthogonale subruimten ($W_{epi}h$, $W_{ale}h$) om ervoor te zorgen dat de heads niet-overlappende feature-inputs ontvangen.
• Gradient Isolatie: De trainingsloss wordt gedecomposeerd zodat de epistemische loss ($L_{epi}$) alleen afhankelijk is van $\phi_{epi}$ en de aleatorische loss ($L_{ale}$) alleen afhankelijk is van $\phi_{ale}$. De auteurs bewijzen (Theorema 3.3) dat onder deze condities de cross-gradients identiek nul zijn ($\nabla_{\phi_{epi}} L_{ale} = 0$ en $\nabla_{\phi_{ale}} L_{epi} = 0$).
• Credal Sets: Het model representeert concepten als credal sets (convex sets van waarschijnlijkheidsdistributies) gedefinieerd door een gemiddelde $\mu$ en een epistemische covariantie $\Sigma_{epi}$, terwijl de aleatorische variantie $\sigma_{ale}$ apart van de credal set wordt gemodelleerd.

3. Belangrijkste Bijdragen

1. Structureel Separatieprincipe: Het paper introduceert een framework voor SLVMs waarbij EU en AU worden berekend vanuit afzonderlijke gesuperviseerde parameterpaden in plaats van een post-hoc decompositie van $p(y|x)$.
2. Gradient-Isolatie Theorema: Een formeel bewijs dat met disjuncte parameters en aparte loss-termen, de epistemische en aleatorische heads tijdens de training ongekoppeld blijven, waardoor de algebraïsche valstrik wordt vermeden.
3. Credal CBM Instantie: Een specifieke implementatie met een Credal Concept Bottleneck Model die gebruikmaakt van orthogonale projecties en hybride loss-functies om deze separatie te bereiken.
4. Omvattende Diagnostiek: De auteurs introduceren en valideren metrieken om niet alleen decorrelatie, maar ook semantische validiteit te testen:
   • Gradient Isolatie: Verifiëren van nul cross-gradients.
   • Correlatie: Meten van $\rho(U_{epi}, U_{ale})$.
   • Data-Scaling Reduceerbaarheid: Controleren of EU afneemt naarmate de data toeneemt.
   • Ambiguïteit Tracking: Verifiëren of AU correleert met de grondwaarheid ambiguïteit ($H[\hat{p}^*]$).

4. Experimentele Resultaten

De methode werd geëvalueerd over vijf benchmarks: drie concept-bottleneck datasets (CEBaB, HateXplain, GoEmotions) met annotator-afgeleide ambiguïteit, en twee QA-datasets (MAQA*, AmbigQA*) met corpus-afgeleide ambiguïteit.

• Decorrelatie: Structurele separatie reduceerde de Spearman-correlatie tussen EU en AU van de baseline range van $\rho \in [0,75, 0,84]$ (geobserveerd in standaardmethoden zoals Deep Ensembles en MC Dropout) naar $\rho \approx 0,05$. Zelfs zonder een expliciete decorrelatie-penalty ($\lambda_d = 0$), bleef de correlatie laag ($\rho \in [0,12, 0,23]$), aanzienlijk lager dan de "post-hoc vloer".
• Semantische Validiteit:
  • Aleatorische Tracking: De aleatorische head vertoonde een sterke correlatie met de grondwaarheid ambiguïteit ($\rho(\sigma_{ale}, H) \in [0,42, 0,74]$), terwijl baselines veel zwakkere tracking vertoonden.
  • Epistemische Sensitiviteit: De epistemische head bleef gevoelig voor voorspellingsfout en vertoonde de verwachte reduceerbaarheid-signatuur (dalende gradiëntnormen naarmate de trainingsdata toenam).
• Downstream Nut: De methode maakte kwadrant-gebaseerde routing mogelijk, waarbij succesvol onderscheid werd gemaakt tussen:
  • DATA (Hoge EU, Lage AU): Casussen die meer data vereisen (bijv. obscure feiten).
  • REVIEW (Lage EU, Hoge AU): Casussen die menselijke beoordeling vereisen vanwege inherente ambiguïteit (bijv. subjectieve meningen).
    Standaard baselines lieten deze verschillende casussen samenvallen op een diagonaal, waardoor ze faalden in het ondersteunen van deze operationele beslissingen.
• Robuustheid: De resultaten hielden stand bij verschillende encoder-architecturen (DistilBERT, BERT, RoBERTa) en werden bevestigd door een Self-Explaining Neural Network (SENN) instantie.

5. Betekenis en Claims

Het paper claimt dat gesuperviseerde latent-variabele architecturen een praktische route bieden naar onzekerheidsschattingen die niet slechts gedecorreleerd zijn, maar ook operationeel onderscheidbaar zijn.

• Overwinnen van Onmogelijkheid: Door de schatting te verplaatsen van de outputruimte (functies van $p(y|x)$) naar de parameterruimte (aparte heads met aparte gradiënten), omzeilt de aanpak de onmogelijkheidsresultaten die gelden voor post-hoc decomposities.
• Operationeel Onderscheid: De primaire betekenis is niet alleen statistische decorrelatie, maar het vermogen om verschillende beslissingen te ondersteunen: hoge EU signaleert een behoefte aan meer data of modelverbetering, terwijl hoge AU een behoefte aan onthouding of menselijke beoordeling signaleert.
• Beperkingen: De auteurs merken bescheiden op dat het framework afhankelijk is van de beschikbaarheid van gesuperviseerde latente structuren (concepten) en ambiguïteitsgerelateerde supervisiesignalen (bijv. multi-annotator data). Zij erkennen dat het schalen naar end-to-end fine-tuning van grote LLM's zorgvuldige gradiënt-routing vereist om de separatie te handhaven, en dat de huidige benchmarks doelbewust zijn opgebouwd en relatief klein zijn.

Samenvattend betogen de auteurs dat architecturale separatie, gecombineerd met onderscheidende supervisiedoelen, een noodzakelijke en effectieve voorwaarde is voor het produceren van onzekerheidsschattingen die semantisch valide en bruikbaar zijn voor besluitvorming.