Robust Ambiguity Detection (RAD) From Model- and Feature-Space Consistency

Stel je voor dat je een rechter bent in een rechtszaak met hoge inzet, maar in plaats van een enkele rechter, heb je een panel van tien experts. Ze zijn allemaal even briljant, hebben exact dezelfde dossiers bestudeerd en hebben dezelfde strenge examens afgelegd. Meestal zijn ze het allemaal eens over het vonnis. Maar soms zijn ze het niet eens. Misschien zeggen vijf "Schuldig" en vijf "Niet Schuldig". Dat is verwarrend, maar dan weet je tenminste dat de onenigheid bestaat.

Stel je nu een lastiger scenario voor. De tien experts zijn het eens over het vonnis voor een specifieke verdachte. Maar als je slechts één klein detail van het verhaal verandert — zoals zeggen dat de verdachte één seconde later aankwam, of een iets ander hoedje droeg — keert het hele panel plotseling om naar de andere kant van de stemmen. Of stel je voor dat er twee verdachten zijn die bijna identieke tweelingen zijn, maar de een krijgt een "Schuldig"-vonnis terwijl de ander "Niet Schuldig" krijgt, simpelweg omdat de beslissingslijn tussen hen op een wiebelige, onzekere manier is getrokken. In de wereld van machine learning, waar computers beslissingen nemen over leningen, medische diagnoses of universiteitsopnames, zijn deze "wiebelige" voorspellingen gevaarlijk. Ze worden ambiguïteit genoemd. Als een computermodel niet bij zijn verhaal kan blijven wanneer de omstandigheden licht veranderen, of als het het oneens is met zijn eigen tweelingmodellen, kunnen we het niet vertrouwen. Dit artikel gaat over het bouwen van een betere manier om die wankele, onbetrouwbare voorspellingen op te sporen voordat ze echte problemen veroorzaken in de echte wereld.

---

De "RAD" Detector: Het vangen van wiebelige voorspellingen

De auteurs van dit artikel, Manya Singh, Mark T. Keane en Arjun Pakrashi van University College Dublin, hebben een nieuwe tool gebouwd genaamd RAD (Robust Ambiguity Detection). Zie RAD als een stresstest-machine voor AI-voorspellingen. In plaats van alleen te vragen: "Wat denkt de AI?", vraagt RAD: "Wat denkt de AI als we de input een beetje laten wiebelen? En wat denken zijn tweelingmodellen?"

Om te begrijpen hoe RAD werkt, gebruiken we de analogie van een uitsmijter bij een club.

De Opstelling: Een panel van uitsmijters

Stel je een club voor met een zeer strikt deurbeleid. Om er zeker van te zijn dat het beleid eerlijk is, huurt de club 10 verschillende uitsmijters in (dit zijn de equivalente modellen). Ze zijn allemaal getraind op dezelfde regels en zijn even goed in hun werk.

• De Input: Een persoon die naar binnen wil (het datapunt).
• De Perturbatie: De uitsmijters krijgen de opdracht om zich kleine veranderingen aan het uiterlijk van de persoon voor te stellen. Misschien stellen ze zich voor dat de persoon een ander hoedje draagt, of een centimeter naar links staat (dit zijn de lokale perturbaties).

De "Ambiguïteitsmatrix": Het scoreformulier

RAD maakt een groot scoreformulier aan (een ambiguïteitsmatrix) om bij te houden wat er gebeurt.

• Rijen: De 10 uitsmijters.
• Kolommen: De oorspronkelijke persoon plus alle "verbeelde" versies van hen (de buren).
• De Cellen: Zeft elke uitsmijter "Ja" of "Nee" voor elke versie?

Als de uitsmijters het allemaal met elkaar eens zijn over "Ja" voor de oorspronkelijke persoon en voor alle licht veranderde versies, dan is de voorspelling Robuust. Het is solide. Maar als de uitsmijters met elkaar beginnen te discussiëren, of als ze van mening veranderen alleen maar omdat de persoon zijn voet verplaatst, dan is dat Ambiguïteit.

De RAD-plot: De vier hoeken van verwarring

Het artikel zet dit scoreformulier om in een eenvoudige grafiek genaamd de RAD-plot. Stel je een vierkant voor dat is verdeeld in vier hoeken. Waar een voorspelling terechtkomt, vertelt je precies waarom het wankel is:

1. Rechtsboven (De "Steengoed" Hoek): Alle uitsmijters zijn het eens, en ze zijn het ook eens wanneer de persoon een beetje wiebelt. Dit is een Robuuste voorspelling. Je kunt deze vertrouwen.
2. Links boven (De "Biekeerde Uitsmijters" Hoek): De uitsmijters blijven allemaal consistent met zichzelf (als ze "Ja" zeggen tegen het hoedje, zeggen ze ook "Ja" tegen het zonder hoedje), maar ze zijn het oneens met elkaar. De ene uitsmijter denkt dat de regels "Ja" zeggen, de andere denkt "Nee". Dit is Model-ruimte Ambiguïteit. Het probleem ligt niet bij de persoon; het probleem is dat de uitsmijters verschillende versies van de regels hebben geleerd.
3. Rechtsonder (De "Wiebelige Uitsmijters" Hoek): Alle uitsmijters zijn over het algemeen het met elkaar eens, maar ze raken allemaal in de war door de kleine bewegingen van de persoon. Als de persoon een centimeter beweegt, springen ze van "Ja" naar "Nee". Dit is Kenmerk-ruimte Ambiguïteit. De persoon staat precies op de rand van de beslissingslijn, en de regels zijn te gevoelig.
4. Linksonder (De "Totale Chaos" Hoek): De uitsmijters zijn het oneens met elkaar, en ze zijn het zelfs niet eens met zichzelf wanneer de persoon beweegt. Dit is het ergste soort ambiguïteit. De voorspelling is onbetrouwbaar om alle redenen.

Wat hebben ze gevonden?

De auteurs hebben RAD getest op twee soorten data:

1. Synthetische Data (Nepdata): Ze creëerden computergegenereerde werelden waarin ze precies konden controleren hoeveel de "Ja" en "Nee" groepen overlapten. Ze ontdekten dat naarmate de groepen meer door elkaar liepen, de voorspellingen weg bewogen uit de "Steengoed" hoek en in de "Wiebelige" of "Chaos" hoeken terechtkwamen. Dit bewees dat RAD daadwerkelijk kan detecteren wanneer dingen rommelig worden.
2. Real-world Data (Echte gegevens): Ze gebruikten echte datasets (zoals wanbetalingen op creditcards, risico's op hartziekten en zelfs handgeschreven cijfers uit de MNIST-dataset). Omdat je de beslissingslijnen in deze complexe datasets niet kunt "zien", fungeerde RAD als een röntgenfoto, die liet zien welke voorspellingen waarschijnlijk wankel zouden zijn.

De Grote Beloning: Weten wanneer je "Ik weet het niet" moet zeggen

Het meest opwindende deel van het artikel is een praktische toepassing genaamd Abstention (Onthouding). In situaties met hoge inzet (zoals het toelaten van een student tot een universiteit of het diagnosticeren van een ziekte) is het beter om te zeggen: "Ik weet het niet zeker, een mens moet dit controleren", dan een foutieve gok te doen.

De auteurs gebruikten RAD om voorspellingen te rangschikken. Ze ontdekten dat als ze simpelweg weigerden een voorspelling te doen voor de monsters die in de "Wiebelige" of "Chaos" hoeken terechtkwamen (de monsters met de laagste RAD Pareto-Rank), de nauwkeurigheid van de resterende voorspellingen aanzienlijk toenam. Met andere woorden: door RAD te gebruiken om de verwarrende gevallen eruit te filteren, werd de AI veel betrouwbaarder in de gevallen waarover hij wel een antwoord gaf.

Wat RAD NIET is

Het is belangrijk om op te merken wat dit artikel niet doet. Het beweert niet de AI te repareren of de uitsmijters het met elkaar eens te laten worden. Het zegt ook niet dat alle AI kapot is. In plaats daarvan biedt het een diagnostisch hulpmiddel. Het vertelt je waar het probleem zit:

• Is het probleem dat de modellen te verschillend zijn? (Dan moet je ze misschien beter trainen of combineren).
• Is het probleem dat de data te rommelig is of de beslissingslijn te scherp is? (Dan heb je misschien betere data nodig of een andere manier om de regels te definiëren).

Het artikel suggereert dat door zowel naar de Model-ruimte (zijn de modellen het eens?) als de Kenmerk-ruimte (is de data stabiel?) te kijken, we een veel duidelijker beeld van vertrouwen krijgen dan wanneer we naar slechts één aspect kijken. Het is een manier om te stoppen met blind vertrouwen in een computer die misschien aan het gokken is, en om de juiste vragen te stellen wanneer het antwoord niet duidelijk is.