Uncertainty Estimation for the Open-Set Text Classification systems

Dit artikel introduceert een aangepaste HolUE-methode voor open-set tekstclassificatie die onzekerheid in zowel vraagformulering als data-distributie modelleert en hiermee aanzienlijke verbeteringen behaalt in het afwijzen van onzekere voorspellingen ten opzichte van bestaande baselines.

De kern

Stel je voor dat je een zeer slimme, maar soms wat onzekere assistent hebt die alle vragen van mensen moet beantwoorden. Deze assistent is getraind op een specifieke lijst met onderwerpen: weer, bankzaken, taxi's en nieuws. Maar wat gebeurt er als iemand een vraag stelt die de assistent nog nooit heeft gehoord, of een vraag die net iets te veel lijkt op een bekende vraag, maar eigenlijk anders bedoeld is?

Dit is precies het probleem waar dit wetenschappelijke artikel over gaat. De auteurs, Erlygin en Zaytsev, hebben een nieuwe manier bedacht om te laten zien wanneer een computer niet zeker is van zijn antwoord. Ze noemen dit "onzekerheidsschatting" voor tekst.

Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Open Set" Dilemma

Stel je een museum voor met een galerij van bekende schilderijen (de "gallery"). Als er een nieuw schilderij binnenkomt (de "probe"), moet de museumwacht beslissen:

• Is dit een van de bekende schilderijen? (En zo ja, welke?)
• Of is dit een nep of een compleet nieuw schilderij dat we niet kennen?

In de wereld van tekst (zoals chatbots of nieuwsfilters) is dit lastig. Een chatbot moet soms een vraag als "Is het koud?" beantwoorden (weer), maar wat als iemand vraagt: "Zal ik mijn jas aan doen?" Dat klinkt als weer, maar het is eigenlijk een adviesvraag. Of wat als iemand een vraag stelt die de bot helemaal niet kent?

De meeste huidige systemen zijn als een stijve robot: ze moeten een antwoord geven, zelfs als ze het niet weten. Ze raden dan vaak iets verkeerd. Dat is gevaarlijk als het gaat om bankzaken of medische adviezen.

2. De Oplossing: Twee Soorten Twijfel

De auteurs zeggen: "Een goede robot moet niet alleen weten wat het antwoord is, maar ook hoe zeker hij zich voelt." Ze ontdekken dat er twee soorten twijfel zijn, en ze hebben een nieuwe methode bedacht om beide te meten.

Stel je voor dat je een detective bent die verdachten in een gevangenis moet herkennen.

• Type 1: De "Vage Verdachte" (Embedding Uncertainty)
  Soms is de verdachte zelf verward. Hij heeft een slechte foto, hij draagt een pruik, of hij spreekt met een zware accent. De detective kan niet goed zien wie het is.

  • In tekst: Dit gebeurt als iemand een vraag stelt met veel slang, fouten, of een rare zin ("Zet een waarschuwing op als mijn bankrekening begint te lopen"). De computer ziet de woorden, maar de betekenis is wazig. De computer moet denken: "Ik weet niet zeker wie dit is, omdat de input slecht is."

• Type 2: De "Verwarrende Galerij" (Gallery Uncertainty)
  Soms is de verdachte heel duidelijk, maar zit hij in een kamer vol met mensen die er precies op lijken. Stel, je hebt een galerij met tien mensen die allemaal op elkaar lijken. Als er een nieuwe man binnenkomt, is het moeilijk om te zeggen of hij bij groep A of groep B hoort, omdat de grenzen tussen de groepen vaag zijn.

  • In tekst: Dit gebeurt als twee onderwerpen heel veel op elkaar lijken. Bijvoorbeeld "Taxi naar het vliegveld" en "Hoe laat vertrekt de bus?". Ze zijn beide vervoer, maar de computer moet weten of het een taxi of een bus is. Als de grens tussen deze categorieën vaag is, wordt de computer onzeker, zelfs als de vraag zelf heel duidelijk is.

3. De Nieuwe Methode: HolUE (De "Alwetende Detective")

De auteurs hebben een methode bedacht genaamd HolUE (Holistic Uncertainty Estimation). In plaats van alleen te kijken naar de kwaliteit van de vraag (Type 1) of alleen naar de grenzen tussen de categorieën (Type 2), doet HolUE beide.

Het is alsof je een detective hebt die:

1. Kijkt naar de foto van de verdachte (Is de foto wazig?).
2. Kijkt naar de kaart van de gevangenis (Ligt deze verdachte precies op de lijn tussen twee cellen?).

Als de detective beide signalen combineert, kan hij veel beter zeggen: "Ik ga dit niet raden, want ik ben het niet zeker."

4. Wat hebben ze getest?

Ze hebben hun methode getest op verschillende gebieden:

• Chatbots: Kunnen ze vragen herkennen die ze niet kunnen beantwoorden?
• Auteurherkenning: Kunnen ze zien of een tekst geschreven is door een bekende schrijver of door een neppe imitator?
• Onderwerpclassificatie: Kunnen ze nieuwsartikelen in de juiste bak gooien, of zeggen "dit hoort hier niet bij"?

5. Het Resultaat: Een Groot Succes

De resultaten waren indrukwekkend. Hun nieuwe methode (HolUE) was veel beter dan de oude methoden.

• Op sommige tests was het 365% beter in het herkennen van fouten dan de oude standaardmethoden.
• Het systeem kon veel eerder zeggen: "Stop, ik weet het niet zeker," waardoor er veel minder fouten werden gemaakt.

Waarom is dit belangrijk?

Voor de toekomst van AI is dit cruciaal. We willen geen robots die altijd denken dat ze gelijk hebben. We willen robots die weten wanneer ze moeten stoppen en een mens moeten inschakelen.

Kort samengevat:
Deze paper zegt: "Laten we niet alleen kijken of een computer het antwoord weet, maar ook kijken of hij twijfelt. Door te kijken naar zowel de kwaliteit van de vraag als de verwarring in de categorieën, kunnen we systemen maken die veiliger en betrouwbaarder zijn. Ze zeggen 'Ik weet het niet' in plaats van 'Ik denk dat het dit is' als ze eigenlijk in de war zijn."

Het is als het verschil tussen een arrogante leerling die altijd een antwoord roept, en een wijze meester die weet wanneer hij moet zeggen: "Ik moet hier nog even over nadenken."

Technische samenvatting

Titel: Onzekerheidsschatting voor Open-Set Tekstclassificatiesystemen

1. Het Probleem

Het artikel richt zich op het probleem van Open-Set Herkenning (OSR) in de tekstuele domein, specifiek Open-Set Tekstclassificatie (OSTC). In een OSR-scenario moet een systeem een invoer (bijv. een tekstquery) classificeren als behorend tot een van de bekende klassen (de "gallery") of deze verwerpen als onbekend.

De kernuitdaging ligt in het feit dat bestaande systemen vaak alleen gericht zijn op het maximaliseren van de classificatie-accuratesse of het detecteren van Out-of-Distribution (OOD) data, maar geen betrouwbare schatting geven van de onzekerheid van hun voorspellingen. Dit is cruciaal voor risicogevoelige toepassingen (zoals chatbots, auteursverificatie of nieuwsfiltering), waar het systeem moet weten wanneer het niet zeker is en de beslissing moet doorverwijzen naar een menselijke operator.

Er worden drie soorten fouten onderscheiden die gedetecteerd moeten worden:

1. Valse Acceptatie: Een onbekend voorbeeld wordt ten onrechte als bekend geaccepteerd.
2. Valse Verwerping: Een bekend voorbeeld wordt ten onrechte als onbekend verworpen.
3. Foutieve Identificatie: Een bekend voorbeeld wordt geaccepteerd maar krijgt het verkeerde label.

De auteurs identificeren twee hoofdoorzaken van onzekerheid in tekstsystemen:

• Gallery Onzekerheid: Ontstaat door de geometrische structuur van de embedding-ruimte (bijv. wanneer klassen elkaar overlappen of wanneer een query dicht bij een beslissingsgrens ligt).
• Embedding Onzekerheid: Ontstaat door de kwaliteit van de invoerdata (bijv. semantische ambiguïteit, ruis, of stijlvariaties) die leidt tot een hoge variantie in de positie van de embedding.

2. Methodologie

De auteurs passen een bestaand raamwerk voor biometrische herkenning, genaamd Holistic Uncertainty Estimation (HolUE), aan voor het tekstdomein. De methode combineert probabilistische embeddings met een Bayesiaans model.

Kerncomponenten van de architectuur:

• Probabilistische Embeddings: In plaats van deterministische punten, gebruiken ze een von Mises-Fisher (vMF) verdeling op een hypersfeer. Dit wordt bereikt door een Spherical Confidence Face (SCF) head toe te voegen aan een pre-getrainde BERT-Transformer.
  • De head voorspelt een gemiddelde richting ($\mu$) en een concentratieparameter ($\kappa$).
  • Een lage $\kappa$ (hoge variantie) geeft aan dat de tekst ambigu of ruisachtig is.
• Bayesiaans Raamwerk: De onzekerheid wordt berekend door de posterior verdeling $p(c|x)$ te reconstrueren, wat de kans op een klasse $c$ gegeven de tekst $x$ is. Dit integreert zowel de embedding-verdeling als de structuur van de gallery (bekende klassen).
• Onzekerheidsmeting: De onzekerheid wordt gekwantificeerd via de Kullback-Leibler (KL) divergentie tussen de posterior en de prior verdeling. Deze divergentie wordt opgesplitst in twee componenten:
  1. KL1 (Gallery Onzekerheid): Gerelateerd aan de ambiguïteit tussen klassen (structuur van de gallery).
  2. KL2 (Embedding Kwaliteit): Gerelateerd aan de variantie van de embedding zelf (kwaliteit van de sample).
• Kalibratie: De twee KL-componenten worden genormaliseerd en samengevoegd via een kleine Multi-Layer Perceptron (MLP) om een gekalibreerde onzekerheidsscore te genereren die direct correleert met de kans op een classificatiefout.

3. Belangrijkste Bijdragen

1. Identificatie van Onzekerheidsbronnen: De auteurs tonen aan dat zowel query-ambiguïteit als gallery-structuur essentieel zijn voor foutdetectie in NLP-systemen.
2. Aanpassing van HolUE: Het succesvol toepassen van het HolUE-raamwerk (oorspronkelijk voor gezichtsherkenning) op tekstclassificatie, waarbij transformer-gebaseerde embeddings worden gebruikt.
3. Nieuw Benchmark: Het presenteren van een uitdagend OSR-benchmark voor auteursverificatie op basis van het PAN-dataset, met een protocol dat de dynamische aard van bekende auteursgalleries simuleert.
4. Uitgebreide Validatie: Demonstratie dat de methode alle drie de OSR-fouttypes (valse acceptatie, valse verwerping, misidentificatie) betrouwbaar detecteert, in tegenstelling tot methoden die alleen kijken naar samplekwaliteit of beslissingsgrenzen.

4. Resultaten

De methode is getest op diverse datasets: Yahoo Answers, AGNews, DBPedia (onderwerpclassificatie), PAN (auteursverificatie) en CLINC150 (intent-classificatie). De prestaties worden gemeten met de Prediction Rejection Ratio (PRR), waarbij een hogere score aangeeft dat het systeem fouten eerder en effectiever verwijdert.

Belangrijkste bevindingen:

• HolUE presteert consistent beter dan baselines zoals AccScr (op basis van acceptatiescore) en SCF (alleen op basis van samplekwaliteit).
• Verbeteringen:
  • Yahoo Answers: +365% verbetering in PRR t.o.v. SCF (0.79 vs 0.17 bij FPIR 0.1).
  • DBPedia: +347% verbetering (0.85 vs 0.19).
  • PAN (Auteursverificatie): +240% verbetering (0.51 vs 0.15 bij FPIR 0.5).
  • CLINC150: +40% verbetering (0.73 vs 0.52).
• De resultaten tonen aan dat methoden die alleen kijken naar de afstand tot de beslissingsgrens (AccScr) of alleen naar de samplekwaliteit (SCF) tekortschieten in complexe scenario's waar klassen overlappen of waar stijlvariaties misleidend zijn. HolUE combineert beide perspectieven succesvol.

5. Betekenis en Conclusie

Dit onderzoek vult een belangrijke leemte in de NLP-literatuur door zich te richten op betrouwbaarheid en risicobeheer in plaats van alleen op accurate classificatie. De studie bewijst dat principes uit de biometrie (zoals het onderscheiden van gallery-structuur en sample-variantie) direct toepasbaar zijn op tekstmodellen.

De implicaties zijn groot voor het deployen van robuuste AI-systemen in de echte wereld:

• Systemen kunnen nu zelfstandig beslissen om een antwoord te geven of een vraag te negeren/door te verwijzen, gebaseerd op een gekalibreerde onzekerheidsscore.
• Dit verhoogt de veiligheid in toepassingen zoals virtuele assistenten, fraudepreventie en contentmoderatie.
• De auteurs plannen toekomstig werk om dit raamwerk uit te breiden naar het detecteren van hallucinaties in generatieve taalmodellen.

Kortom, HolUE biedt een domein-agnostische oplossing voor het beheersen van risico's in open-set tekstclassificatie door een gebalanceerde onzekerheidsschatting te leveren.