Prior laundering: learned priors with inherited, undetectable overconfidence

Het Mysterie van de Onzichtbare Kaart

Stel je voor dat je een detective bent die een misdaad probeert op te lossen, maar je hebt alleen een wazige, onvolledige foto van de plaats delict. Je kent de natuurwetten (hoe licht buigt, hoe geluid reist), maar de foto mist enorme hoeveelheden informatie. Om de gaten op te vullen, heb je een "prior" nodig—een reeks onderbouwde vermoedens over hoe de ontbrekende delen er normaal gesproken uitzien. In de wereld van de wetenschap wordt dit een inverse probleem genoemd: achteruit werken vanuit een rommelig resultaat om de oorspronkelijke oorzaak te achterhalen.

Decennialang gebruikten wetenschappers handmatige regels voor deze vermoedens, zoals "ga ervan uit dat de afbeelding glad is" of "ga ervan uit dat het object eenvoudig is." Maar onlangs zijn ze begonnen met het gebruiken van AI om deze regels te leren. De AI kijkt naar duizenden eerdere oplossingen en leert wat een "aannemelijk" antwoord is, waardoor een generatieve prior ontstaat. Dit is een krachtig hulpmiddel, maar het heeft een addertje onder het gras: om de AI te trainen, heb je het ware antwoord (de "ground truth") nodig. In vakgebieden zoals seismologie (kijken in de aarde) of medische beeldvorming (kijken in het menselijk lichaam) is het ware antwoord bijna nooit beschikbaar. Je kunt de exacte rotslagen onder de grond of het exacte gezonde weefsel in een patiënt niet zien zonder invasieve chirurgie.

Dus, wat doen wetenschappers? Ze bedriegen een beetje, of zo denken ze. Ze nemen de oude vermoedens van eerdere methoden, behandelen die alsof ze de waarheid zijn, en trainen hun nieuwe AI op deze gegevens. Dit proces noemen deze paper "prior laundering" (prior-witwassen). Het is alsof je een schets van een vorige kunstenaar neemt, deze door een machine wast om er een foto van te maken, en vervolgens beweert dat de nieuwe foto gebaseerd is op echte data. De grote vraag is: werkt deze truc, of verbergt het een gevaarlijk geheim?

De Witwascyclus: Hoe een "Schone" AI Vuil Wordt

Deze paper, getiteld "Prior Laundering: learned priors with inherited, undetectable overconfidence," onderzoekt precies wat er gebeurt wanneer je een krachtige AI traint op deze "erfenis"-reconstructies in plaats van op echte waarheden. De auteurs, Ali Siahkoohi en Sina Alemohammad, ontdekten een verontrustend fenomeen: de AI leert niet alleen van de data; ze erft ook de blinde vlekken en de valse zelfverzekerdheid van de oude methode waarop zij is getraind.

Hier is de kern van het probleem, uitgelegd via een eenvoudige analogie:

Stel je voor dat je probeert te raden wat de inhoud is van een verzegelde doos. Je kunt de doos schudden en wat gerammel horen (de metingen).

1. De Opgeloste Richtingen: Als er een losse munt in de doos zit, kun je die duidelijk horen. De data vertelt je precies waar de munt is.
2. De Blinde Richtingen: Maar de doos bevat ook een zwaar, stil blok lood dat helemaal niet rammelt. Hoe hard je de doos ook schudt, de data vertelt je niets over het blok lood.

In een perfecte wereld zou je, wanneer de data stil is, moeten zeggen: "Ik heb geen idee hoe dat blok lood eruitziet; het kan van alles zijn." Maar hier vindt het "witwassen" plaats.

De wetenschappers trainden hun AI op een archief van oude vermoedens. In die oude vermoedens gebruikten de makers een regel (een regularisator) die ervan uitging dat het stille blok lood altijd een perfect, glad kubusvormig object was. Omdat de data dit niet kon tegenspreken (omdat het lood stil was), toonden de oude vermoedens altijd een gladde kubus.

Toen de nieuwe AI op deze oude vermoedens werd getraind, leerde zij een zeer specifieke les: "Wanneer de data stil is, is het antwoord een gladde kubus." De AI leerde dit niet van het schuddende doosje (de data); zij leerde het van de oude schets (het archief).

De Gevaarlijke Illusie van Zekerheid

De paper stelt vast dat dit leidt tot ondetecteerbare overbevestiging (overconfidence).

Wanneer de AI wordt ingezet om een nieuw probleem op te lossen, kijkt zij naar de stille delen van de data en rapporteert zij vol vertrouwen: "Ik ben voor 99% zeker dat het blok lood een gladde kubus is!" Zij trekt een zeer nauwe, strakke cirkel rond haar vermoeden. In de statistiek wordt dit een betrouwbaarheidsinterval genoemd. Als het interval te smal is, is de AI "overconfident".

Het angstaanjagende deel is dat niemand kan zien dat de AI liegt.

• De Datacheck Faalt: Als je het antwoord van de AI controleert aan de hand van de schuddende doos, slaagt zij. Het vermoeden van de AI past perfect bij het geluid, omdat het geluid niets om het blok lood geeft.
• De Zelfcontrole Faalt: Wetenschappers gebruiken vaak een test genaamd simulatie-gebaseerde kalibratie om te zien of hun AI eerlijk is. Ze vragen de AI om een schatting te maken, en controleren dan of de waarheid binnen de betrouwheidscirkel van de AI valt. Maar omdat de AI getraind is op de oude "gladde kubus"-regel, is zij perfect consistent met haar eigen training. Zij slaagt voor de test telkens weer, ook al is zij vol vertrouwen fout over de stille delen.

De paper bewijst wiskundig dat de onzekerheid van de AI op deze "blinde richtingen" bevroren is. Het is exact hetzelfde als de oude, handmatige regel waarop zij is getraind. Als de oude regel te nauw was (te zelfverzekerd), dan is de nieuwe AI ook te nauw. Als de oude regel fout was, is de nieuwe AI fout. De data kan dit niet corrigeren, omdat de data die delen nooit "gezien" heeft.

De "Single-Best" Valstrik

De situatie wordt nog erger met een veelvoorkomende praktijk genaamd single-best curation. Vaak slaan archieven niet een reeks mogelijkheden op (een "wolk" van vermoedens), maar slechts één beste vermoeden (de "Maximum A Posteriori" of MAP-schatting).

De paper laat zien dat als je een AI traint op deze enkele, perfect uitziende afbeeldingen, de onzekerheid van de AI op de blinde vlekken inklapt naar een breedte van nul. Zij wordt absoluut zeker. Zij zegt: "Ik ben voor 100% zeker dat het blok lood een gladde kubus is."
In werkelijkheid zou het blok lood een bol, een piramide of een grillige rots kunnen zijn. Maar omdat het archief alleen maar een kubus toonde, denkt de AI dat de kubus de enige mogelijkheid is. De paper demonstreert dat dit leidt tot nul dekking (zero coverage): als je een test uitvoert, zal het ware antwoord bijna nooit binnen de piepkleine, zelfverzekerde cirkel van de AI vallen.

Wat de Experimenten Lieten Zien

Om te bewijzen dat dit niet alleen wiskunde op papier was, voerden de auteurs simulaties uit in twee realistische scenario's:

1. Seismische Imaging: Het kijken naar ondergrondse rotslagen. Ze trainden een AI op oude "gemigreerde" beelden. Het resultaat? De AI was ongelooflijk zelfverzekerd over de diepe, donkere delen van de afbeelding waar het licht (de data) zwak was. Zij tekende zeer smalle banden van onzekerheid die veel te klein waren. De "waarheid" (die zij voor de test hadden geconstrueerd) viel vaak buiten deze banden.
2. Grondwaterstroming: Het in kaart brengen van water onder de grond. Ze gebruikten een ander type AI (een normalizing flow) getraind op oude "beste vermoeden"-kaarten. Opnieuw was de AI overbevestigd in de blinde vlekken en rapporteerde zij nul onzekerheid waar juist grote onzekerheid zou moeten zijn.

In beide gevallen was de AI die getraind was op de "waarheid" (de controlegroep) veel eerlijker. Zij gaf toe wanneer zij het niet wist en toonde brede, vage banden van onzekerheid. De "gewitste" AI daarentegen zag er scherper en zelfverzekerder uit, maar het was een hallucinatie van zekerheid.

De Conclusie: Vertrouw het Schoonste Beeld Niet

De paper concludeert dat prior laundering een structurele fout creëert die onzichtbaar is voor standaardcontroles. De AI erft de "blinde overgave" van de oude methode.

De auteurs stellen een eenvoudige, praktische oplossing voor: Rapporteer wat de data daadwerkelijk ziet.
Voordat wetenschappers de onzekerheid van een AI vertrouwen, moeten zij berekenen welke delen van de afbeelding de data daadwerkelijk kan oplossen (de "resolved subspace") en welke delen blind zijn. Zij moeten de onzekerheid voor de blinde delen rapporteren als "geërfd van de pipeline" in plaats van "ondersteund door data."

Als je naar een kaart van de ondergrond kijkt of naar een scan van een patiënt, en de AI zegt: "Ik ben voor 100% zeker over deze donkere, wazige hoek," dan moet je wantrouwig zijn. Die zelfverzekerdheid komt niet van de data; die komt van het witwassen. De data was stil, en de AI herhaalde simpelweg het oude vermoeden met een nieuwe, glanzende laag verf.

De paper zegt niet dat we AI niet moeten gebruiken. Zij zegt dat we moeten stoppen met de pretentie dat trainen op oude vermoedens de AI in die stille hoeken "datagedreven" maakt. De data heeft een limiet, en wanneer de data stopt met spreken, is de zelfverzekerdheid van de AI slechts een spook uit het verleden.