Credal Concept Bottleneck Models for Epistemic-Aleatoric Uncertainty Decomposition

1. Probleemstelling

In hoog-risico Natural Language Processing (NLP)-toepassingen (bijv. gezondheidszorg, juridisch, financiën) geven standaardmodellen één enkele zekerheidscore uit die twee verschillende soorten onzekerheid vermengt:

• Epistemische Onzekerheid: Verminderbare onzekerheid veroorzaakt door modelonwetendheid of onderdefiniëring (bijv. het model heeft niet genoeg vergelijkbare trainingsvoorbeelden gezien).
• Aleatorische Onzekerheid: Onvermijdbare onzekerheid veroorzaakt door inherente ambiguïteit of ruis in de invoergegevens (bijv. menselijke annotatoren zijn oprecht het oneens over het label).

Beperkingen van Huidige Benaderingen:

• Concept Bottleneck Models (CBM's): Hoewel CBM's de interpreteerbaarheid verbeteren door tussenliggende, voor mensen begrijpelijke concepten te voorspellen, geven ze doorgaans puntkansen (enkele waarden) uit. Dit doet epistemische en aleatorische onzekerheid ineenstorten, waardoor het onmogelijk wordt om te bepalen waarom een voorspelling onzeker is.
• Actiebaarheidskloof: Zonder decompositie kunnen practitioners niet onderscheid maken tussen gevallen waarin het model meer trainingsdata nodig heeft (hoge epistemische onzekerheid) versus gevallen waarin menselijke beoordeling vereist is vanwege ambiguïteit in de invoer (hoge aleatorische onzekerheid).

2. Methodologie: CREDENCE

De auteurs stellen CREDENCE (Credal Ensemble Concept Estimation) voor, een raamwerk dat onzekerheid per constructie op conceptniveau decomposeert.

Kernarchitecturale Innovaties

1. Credale Voorspellingen (Intervallen): In plaats van één enkele kans $p_k$, wordt elk concept $k$ voorspeld als een kansinterval $[p_k, \bar{p}_k]$. Dit interval vertegenwoordigt een Credale Set en vangt het bereik van plausibele kansen.
2. Structurele Scheiding van Onzekerheid: De architectuur zorgt ervoor dat epistemische en aleatorische signalen uit verschillende bronnen komen om te voorkomen dat ze ineenstorten tot één enkele score.
   • Epistemische Onzekerheid ($U_{epi}$): Afgeleid van ensemble-discordantie. Het model gebruikt $H$ diverse, lichtgewicht koppen (LoRA-adapters) met variërende rangen en dropout-rates. De variantie in hun voorspellingen kwantificeert modelverwarring.
   • Aleatorische Onzekerheid ($U_{ale}$): Afgeleid van een toegewijde kop die specifiek is getraind om annotator-discordantie (ambiguïteit) te voorspellen. Deze kop leert een waarde uit te geven die evenredig is met de variantie in menselijke labels voor een gegeven concept.

Pipeline-fasen

1. Encoder: Een bevroren voorgetraind model (bijv. RoBERTa, LLM's) encodeert de invoertekst $x$ in een representatie $h$.
2. Ensemble-koppen: $H$ diverse LoRA-koppen voorspellen conceptkansen $\hat{p}_h^{(k)}$.
3. Credale Aggregatie:
   • Intervalgrenzen worden gevormd: $C_k = [\min_h \hat{p}_h^{(k)}, \max_h \hat{p}_h^{(k)}]$.
   • Epistemische onzekerheid wordt berekend als de variantie over de koppen: $U_{epi}^{(k)} = \text{Var}_h[\hat{p}_h^{(k)}]$.
4. Aleatorische Kop: Een aparte kop voorspelt $\sigma_\theta^{(k)}$, getraind om tijdens het trainen overeen te komen met de waargenomen annotator-discordantieratio (grondwahrheid).
5. Classificatie & Besluitvorming:
   • Eindlabels worden voorspeld met het gemiddelde van de conceptkansen.
   • Besluitregels: Het systeem gebruikt de gedecomposeerde signalen om samples te routeren:
     • Vertrouwen: Lage Epi, Lage Ale $\rightarrow$ Automatiseren.
     • Datacollectie: Hoge Epi, Lage Ale $\rightarrow$ Verzamel meer trainingsdata.
     • Menselijke Beoordeling: Lage Epi, Hoge Ale $\rightarrow$ Routeren naar mensen (invoer is ambigu).
     • Afwijzing: Hoge Epi, Hoge Ale $\rightarrow$ Voorspelling weigeren.

3. Belangrijkste Bijdragen

1. Credale CBM-formulering: Een nieuw CBM-variant dat conceptvoorspellingen voorstelt als kansintervallen in plaats van punt-schattingen, waardoor een principiële onzekerheidskwantificatie mogelijk wordt.
2. Structurele Decompositie: Een methode die epistemische (modelverwarring) en aleatorische (data-ambiguïteit) signalen scheidt met behulp van verschillende architecturale componenten (ensemblevariantie versus een supervised ambiguïteitskop), waardoor signaalineenstorting wordt voorkomen.
3. Actiebaar Prescriptief Advies: Demonstreert dat het decomponeren van onzekerheid specifieke, geoptimaliseerde interventies mogelijk maakt (bijv. prioriteren van datacollectie voor epistemische fouten versus menselijke beoordeling voor aleatorische gevallen).

4. Experimentele Resultaten

Het raamwerk werd geëvalueerd op meerdere NLP-taken (Sentiment, Emotie, Toxiciteit) met behulp van datasets zoals CEBaB, GoEmotions, HateXplain en SST-2.

• Validiteit van Decompositie (RQ1 & RQ2):

  • Epistemische Correlatie: CREDENCE toont een sterke positieve correlatie tussen epistemische onzekerheid en voorspelfouten ($\rho_{epi} \approx 0,287$ op CEBaB). Wanneer het model fout zit, zijn de ensemble-koppen het oneens.
  • Aleatorische Correlatie: Aleatorische onzekerheid correleert sterk met annotator-discordantie ($\rho_{ale} \approx 0,785$ op CEBaB), wat aanzienlijk beter presteert dan baselines (bijv. CBM+Ensemble $\rho_{ale} \approx 0,356$).
  • Scheiding: Op SST-2 (waar geen annotator-discordantielabels ontbreken) toont aleatorische onzekerheid correct geen correlatie met fouten, wat bewijst dat het ambiguïteit meet en niet modelfalen.

• Actiebaarheid (RQ3):

  • Conceptinterventie: Het vervangen van concepten met hoge aleatorische onzekerheid door grondwahrheid-labels levert aanzienlijk hogere nauwkeurigheidswinsten op ($\Delta Acc \approx 18,9\%$) in vergelijking met het vervangen van hoge epistemische concepten ($\Delta Acc \approx 4,3\%$). Dit suggereert dat ambiguïteit in concepten taakuitkomsten meer beïnvloedt dan modelverwarring.
  • Routeringsefficiëntie: Het vier-kwadranten besluitframework identificeert "Menselijke Beoordeling"-gevallen (Lage Epi, Hoge Ale) waar het model eigenlijk correct is maar mensen het oneens zijn, en bereikt de hoogst mogelijke nauwkeurigheidswinst ($85,7\%$) indien correct gerouteerd.

• Efficiëntie: CREDENCE bereikt deze resultaten met minimale overhead (met behulp van LoRA-adapters) in vergelijking met volledige Deep Ensembles, waarbij concurrerende nauwkeurigheid wordt behouden terwijl rijke onzekerheidssignalen worden geboden.

5. Betekenis en Impact

• Brug tussen Theorie en Praktijk: Het artikel gaat voorbij aan theoretische onzekerheidskwantificatie om prescriptieve acties te bieden. Het vertelt practitioners wat ze moeten doen op basis van het type onzekerheid (bijv. "data verzamelen" versus "naar mens sturen").
• Omgaan met Subjectiviteit: In NLP-taken waar "grondwahrheid" vaak een compositie is van betwiste menselijke oordelen (subjectiviteit), is het onderscheid tussen modelonwetendheid en inherente ambiguïteit cruciaal. CREDENCE biedt het eerste CBM-raamwerk dat deze onderscheiding expliciet modelleert.
• Mens-AI Samenwerking: Door gevallen te identificeren waar menselijk oordeel essentieel is (hoge aleatorische onzekerheid) versus gevallen waar het model gewoon meer training nodig heeft (hoge epistemische onzekerheid), optimaliseert het raamwerk de toewijzing van menselijke middelen en budgetten voor datacollectie.
• Robuustheid: De methode generaliseert over verschillende modelgroottes (van encoders met 66M parameters tot LLM's met 8B parameters) en diverse NLP-taken.

Kortom, CREDENCE transformeert onzekerheid van één enkele, ondoorzichtige zekerheidscore in een gestructureerd, actiebaar diagnostisch hulpmiddel, waardoor een betrouwbaardere en efficiëntere implementatie van AI-systemen in hoog-risico omgevingen mogelijk wordt.