To Predict or Not to Predict? Towards reliable uncertainty estimation in the presence of noise

Deze studie toont aan dat Monte Carlo dropout-technieken voor onzekerheidsschatting betrouwbaarder zijn dan softmax-gebaseerde methoden voor meertalige tekstclassificatie onder ruis en domeinverschuivingen, en dat het afzien van voorspellingen voor de meest onzekere instances de prestaties aanzienlijk verbetert.

De kern

"Voorspellen of niet voorspellen? Een gids voor onzekerheid in AI"

Stel je voor dat je een zeer slimme, multitalente vertaler hebt die teksten in zeven verschillende talen kan lezen en beoordelen. Deze vertaler kan zeggen of een zin "makkelijk" of "moeilijk" is. Maar er is een probleem: soms is deze vertaler niet zeker van zijn antwoord. Soms denkt hij dat hij het weet, terwijl hij eigenlijk gissen doet.

Dit is precies waar dit onderzoek over gaat: hoe kunnen we AI-systemen leren om te zeggen: "Ik weet het niet zeker, laat dit maar voor wat het is"?

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De Zekere Dwaas

In de echte wereld werken AI-systemen vaak in rommelige situaties. Ze krijgen teksten die ze nooit eerder hebben gezien, in talen waar ze minder van weten, of met rare zinsconstructies.
Stel je voor dat je een gids hebt in een vreemd land. Als je hem vraagt: "Waar is het station?", zegt hij misschien: "Zeker weten, links!" terwijl hij eigenlijk helemaal niet zeker is. Hij geeft een antwoord, maar het is fout.
In de AI-wereld noemen we dit een classificatietask. De AI moet een keuze maken, maar ze heeft geen "rood lampje" om te zeggen: "Hé, ik twijfel!"

2. De Oplossing: Het Onzekerheids-Compaan

De onderzoekers (Nouran en Serge) hebben gekeken naar verschillende methoden om deze "twijfel" te meten. Ze noemen dit Uncertainty Estimation (UE).
Je kunt dit vergelijken met een kompas dat niet alleen de richting aangeeft, maar ook aangeeft hoe sterk de wind waait. Als de wind te hard waait (hoge onzekerheid), raad je de reiziger aan om even te wachten in plaats van door te gaan.

Ze hebben negen verschillende soorten "kompassen" getest:

• De Simpele Schatting (Softmax): Dit is de standaard methode. Het is snel, maar soms te zelfverzekerd. Alsof een kompas dat altijd naar het noorden wijst, zelfs als je in het zuiden bent.
• De Monte Carlo Methode (Dropout): Dit is alsof je de gids 20 keer dezelfde vraag stelt, maar elke keer met een lichte hoofdpijn (random dropout). Als de gids 19 keer "links" zegt en 1 keer "rechts", weten we dat hij twijfelt. Dit werkt heel goed, maar het kost tijd.
• De Afstandsmeter (Mahalanobis): Deze kijkt of de vraag lijkt op dingen die de gids al kent. Als de vraag heel vreemd is (bijvoorbeeld over een onderwerp dat hij nooit heeft geleerd), zegt hij: "Dit is te ver weg van mijn kennis."

3. Wat vonden ze? (De Grote Verassingen)

Het onderzoek deed dit in zeven talen (zoals Engels, Frans, Hindi, Russisch) en met verschillende soorten teksten (van Wikipedia tot nieuwsberichten).

• De "Gouden Standaard" is niet altijd de beste: De simpele methoden werken prima als je in je eigen tuin bent (in je eigen taal en met bekende teksten). Maar zodra je de tuin uitloopt (andere taal of vreemd onderwerp), worden ze onbetrouwbaar. Ze blijven zelfverzekerd, zelfs als ze fout zitten.
• De "Monte Carlo" methode wint: De methode waarbij je de AI meerdere keren laat "gissen" (met dropout) bleek de meest betrouwbare. Het is alsof je een groep experts vraagt in plaats van één persoon. Zelfs als de situatie erg moeilijk is, blijft deze methode nuchter en zegt hij: "Ik weet het niet zeker."
• Kiezen is beter dan raden: Dit is het belangrijkste punt. Als je de AI zegt: "Als je niet zeker bent, zeg dan niets," dan wordt het systeem veel slimmer.
  • Vergelijking: Stel je een schutter voor die 100 schoten doet. Hij mist 20 keer. Als je hem zegt: "Schiet alleen als je zeker bent," en hij laat die 20 moeilijke schoten over, dan is zijn trefferpercentage plotseling veel hoger.
  • In het onderzoek bleek dat als je de 10% meest twijfelachtige antwoorden weggooit, de kwaliteit van de rest van de antwoorden stijgt van een 81% naar een 85%. Dat is een enorme winst!

4. De Kosten: Snelheid vs. Betrouwbaarheid

Natuurlijk kost het meer tijd om 20 keer te "gissen" dan één keer.

• De simpele methoden zijn als een fiets: snel en goedkoop, maar in de storm (onzekere situaties) val je snel.
• De geavanceerde methoden zijn als een jacht: ze zijn zwaarder en kosten meer brandstof (rekenkracht), maar ze blijven stabiel in de storm.

5. Conclusie: Wanneer moet je stoppen met voorspellen?

De kernboodschap van dit paper is: Er is geen enkele "beste" methode voor alles.

• Als je in een veilige omgeving zit (bekende taal, bekende tekst), kun je de snelle, simpele methoden gebruiken.
• Maar als je in de echte, rommelige wereld werkt (andere talen, rare teksten), moet je kiezen voor de methoden die twijfel kunnen voelen, zelfs als dat betekent dat je iets langzamer bent.

De moraal: Het is beter om te zeggen "Ik weet het niet" en een fout te voorkomen, dan om zelfverzekerd een verkeerd antwoord te geven. Door te leren wanneer je niet moet voorspellen, maak je je AI-systemen veiliger en betrouwbaarder voor de echte wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "To Predict or Not to Predict? Towards reliable uncertainty estimation in the presence of noise" in het Nederlands.

Probleemstelling

In veel real-world Natural Language Processing (NLP) toepassingen is het niet voldoende dat een classifier alleen voorspellingen doet; gebruikers moeten ook weten wanneer het model waarschijnlijk een fout maakt. Dit is vooral uitdagend in scenario's met:

• Ruis (Noise): Data die niet perfect gelabeld of schoon is.
• Niet-topische classificatie: Taken waarbij de tekstinhoud (topic) niet de enige bepalende factor is voor de label (bijv. tekstcomplexiteit).
• Meertaligheid en Domeinverschuiving: Modellen die getraind zijn op één taal of domein, presteren vaak slechter bij cross-linguale overdracht of wanneer ze worden toegepast op nieuwe domeinen (Out-of-Distribution of OOD).

Het paper richt zich specifiek op de taak van zincomplexiteitsclassificatie (onderscheid tussen 'simpel' en 'complex' zinnen) in een meertalige context. Het centrale vraagstuk is hoe Onzekerheidsschatting (Uncertainty Estimation - UE) kan worden gebruikt om betrouwbare voorspellingen te doen door af te zien van het voorspellen van de meest onzekere gevallen (abstention).

Methodologie

1. Data en Opzet:

• Datasets: De auteurs gebruiken drie datasets:
  • ReadMe++: Een meertalige dataset (Arabisch, Engels, Frans, Hindi, Russisch) met zinnen gelabeld op CEFR-niveau (B1 of lager = simpel, C1/C2 = complex).
  • Vikidia/Wikipedia: Een testset voor domeinverschuiving (kindergerichte content vs. standaard Wikipedia).
  • Simplext: Een handmatig vereenvoudigde set Spaanse nieuwsartikelen.
• Talen: Arabisch, Catalaans, Engels, Frans, Hindi, Russisch en Spaans.
• Model: Een multilingual BERT (mBERT) model, getraind met 5-voudige cross-validatie. Grotere generatieve LLMs werden niet gebruikt omdat studies aantonen dat ze niet consistent beter presteren dan BERT-achtige modellen voor deze specifieke classificatietaken.

2. Onzekerheidsschatting (UE) Methoden:
Negen populaire technieken werden geëvalueerd, ingedeeld in drie categorieën:

• Probabilistische methoden:
  • Softmax Response (SR): Gebruikt de maximale softmax-probabiliteit (standaard, maar vaak slecht gekalibreerd).
  • Sampled Max Probability (SMP): Gemiddelde van softmax-probabiliteiten over meerdere runs met Monte Carlo (MC) Dropout.
  • Entropy (ENT & ENT-MC): Maatst voor de spreiding van de kansverdeling.
  • Probability Variance (PV) & BALD: Schatten epistemische onzekerheid door variatie over MC-dropout runs.
• Feature-gebaseerde methoden:
  • Mahalanobis Distance (MD): Afstand van een test-embedding tot de centroids van de trainingsklassen.
  • Isolation Forest (ISOF) & Local Outlier Factor (LOF): Detecteren van outliers in de feature-ruimte.
• Hybride methoden:
  • HUQ-MD: Combineert MD (epistemisch) en softmax-probabiliteit (aleatorisch) via rangschikking.

3. Evaluatiemetrics:
De prestaties werden gemeten aan de hand van drie perspectieven:

• Discriminatie: Kan het model fouten van juiste voorspellingen onderscheiden? (ROC-AUC, AU-PRC).
• Kalibratie: Stemt de voorspelde zekerheid overeen met de werkelijke nauwkeurigheid? (ECE, C-Slope, CITL).
• Selectieve Voorspelling: Hoeveel verbetert de prestatie (F1-score) als we de onzekerste voorspellingen weigeren? (RC-AUC, Trust Index, E-AUoptRC).

Belangrijkste Bijdragen

1. Uitgebreide Benchmark: Een systematische evaluatie van negen UE-methoden over zeven talen en drie datasets, inclusief zowel in-domein als out-of-domein (OOD) scenario's.
2. Meertalige en Cross-Domein Analyse: Het paper toont aan hoe UE-methoden reageren op taal- en domeinverschuiving, wat vaak wordt genegeerd in eerdere studies die zich enkel op Engels richten.
3. Analyse van Correlaties: Onderzoek naar de correlatie tussen verschillende evaluatiemetrics. De auteurs tonen aan dat hoge scores op discriminatiemetrics niet altijd leiden tot betere prestaties bij selectieve voorspelling.
4. Praktische Inzichten voor Selectieve Voorspelling: Het aantonen dat het weigeren van slechts 5-10% van de meest onzekere voorspellingen de macro F1-score aanzienlijk kan verhogen (bijv. van 0.81 naar 0.85 in de Readme-taak).

Resultaten

• Prestatie van Klassificatie: De mBERT-classifier presteert goed in-domein (macro F1 ~0.83), maar de prestatie daalt consistent bij domein- en taalverschuiving (bijv. naar ~0.68 op Vikidia).
• Onzekerheidsschatting:
  • MC-Dropout benaderingen (SMP, ENT-MC): Deze tonen de meest consistente en robuuste prestaties over alle talen en scenario's, vooral onder OOD-omstandigheden. Ze bieden betere kalibratie en discriminatie dan standaard softmax-methoden.
  • Softmax Response (SR) & Entropy (ENT): Deze methoden verrassend goed in in-domein scenario's (vooral voor Engels en Frans) en zijn computerefficiënt. Echter, hun betrouwbaarheid daalt sterk bij domeinverschuiving.
  • Outlier Detectie (LOF, ISOF): Deze methoden scoren vaak hoog op discriminatiemetrics (ROC-AUC), maar vertonen hoge variabiliteit en instabiliteit tussen verschillende talen en datasets. Ze zijn minder betrouwbaar voor praktische toepassing.
  • Hybride (HUQ-MD): Goed voor discriminatie, maar minder goed gekalibreerd.
• Impact van Abstention:
  • Door de 10% meest onzekere voorspellingen te verwijderen, stijgt de macro F1-score in de Readme-taak van 0.81 naar 0.85.
  • In OOD-scenario's (bijv. Spaans Simplext) zijn de verbeteringen kleiner en minder stabiel, maar MC-Dropout methoden blijven hier de beste keuze.
• Correlaties: Er is een zwakke correlatie tussen discriminatiemetrics en selectieve voorspellingmetrics. Een methode die goed fouten detecteert (hoge ROC-AUC), garandeert niet dat het weigeren van voorspellingen leidt tot een hogere F1-score.

Betekenis en Conclusie

Het paper concludeert dat er geen enkele "beste" UE-methode bestaat die voor alle situaties werkt. De keuze hangt af van de context:

• Voor hoog-resourced, in-domein scenario's zijn eenvoudige methoden zoals SR en ENT voldoende, snel en effectief.
• Voor low-resource talen of domeinverschuiving (OOD) zijn MC-Dropout gebaseerde methoden (zoals SMP en ENT-MC) essentieel voor betrouwbare onzekerheidsschatting.

De belangrijkste boodschap is dat het "voorspellen of niet voorspellen" een afweging is tussen robustheid en rekenkracht. Traditionele metrics (zoals ECE of ROC-AUC) zijn niet altijd voldoende om de praktische bruikbaarheid van een UE-methode te beoordelen; direct testen van de prestatieverbetering door abstention is cruciaal. De auteurs pleiten voor toekomstig onderzoek naar meta-onzekerheidsframeworks die adaptief de beste methode kunnen kiezen op basis van de data-context.