Position: AI for Science Should Treat Measurement-to-Dataset Pipelines as Inference Components

Het Grote Idee: Het "Bevroren Lens"-probleem

Stel je voor dat je probeert een mysterieus object in een donkere kamer te begrijpen. Je kunt het object niet direct zien; je kunt alleen zijn schaduw zien die op de muur wordt geworpen door een specifieke lamp.

Bij AI voor Wetenschap doen onderzoekers vaak alsof ze het object zelf bestuderen. Maar in werkelijkheid bestuderen ze de schaduw.

Het artikel betoogt dat in veel wetenschappelijke gebieden (zoals hersenbeeldvorming, sterrenkunde of medicijnontwikkeling) de data die wetenschappers gebruiken geen "ruwe realiteit" is. Het is een verwerkte, opgeschoonde, gereconstrueerde versie van de realiteit. Deze verwerking vindt plaats via een lange keten van stappen die een pijplijn wordt genoemd (ruis filteren, ontbrekende stukken invullen, signalen converteren).

Momenteel behandelen wetenschappers het uiteindelijke dataset alsof het een vast, objectief feit is. Ze zeggen: "Hier is de data, laten we nu een model bouwen." De auteurs noemen dit de "Bevroren Lens". Ze betogen dat dit een fout is. De pijplijn die de data heeft gecreëerd, is eigenlijk een enorm groot deel van de wetenschappelijke redenering, en door deze te "bevriezen" (te negeren), verbergen we het feit dat onze conclusies volledig afhankelijk zijn van hoe we ervoor kozen die schaduw te werpen.

---

De Drie Manieren waarop dit Misgaat

De auteurs identificeren drie specifieke manieren waarop deze "Bevroren Lens" ervoor zorgt dat de wetenschap faalt. Denk hierbij aan drie valkuilen:

1. Het Verborgen Menu (Verborgen Hypothese-ruimte)

De Analogie: Stel je voor dat een restaurant je een hamburger serveert. Je gaat ervan uit dat de hamburger de "waarheid" is over wat de chef heeft gemaakt. Maar de chef had een menu met 50 verschillende manieren om die hamburger te maken (verschillende broodjes, verschillende kooktijden, verschillende sauzen). Het restaurant serveerde je slechts één specifieke versie en vertelde niets over de andere 49.
Het Probleem: Wanneer wetenschappers een dataset vrijgeven, kiezen ze meestal één manier om de ruwe metingen te verwerken. Ze vertellen je niet dat als ze een iets andere filter of een andere reinigingsmethode hadden gekozen, de "hamburger" (de data) er misschien helemaal anders had uitgezien.
Het Resultaat: Het AI-model leert te voorspellen op basis van die ene specifieke versie van de hamburger. Het denkt een universele waarheid te hebben ontdekt, maar in werkelijkheid heeft het alleen de eigenaardigheden van dat ene specifieke recept uit het hoofd geleerd. Het "menu" van andere mogelijke realiteiten is verborgen.

2. De Gebroken Kaart (Niet-gecertificeerde Transporteerbaarheid)

De Analogie: Stel je voor dat je een kaart van een stad hebt die perfect is getekend voor een zonnige dag. Je gebruikt deze kaart om te navigeren. Maar dan begint het te regenen en lopen de straten onder water. De kaart toont je de plassen niet omdat deze alleen voor zonnige dagen was getekend. Je probeert de kaart in de regen te gebruiken, raakt vast en geeft je rijvaardigheid de schuld.
Het Probleem: Een pijplijn werkt misschien geweldig in het lab waar de data is verzameld (de "zonnige dag"). Maar als je probeert diezelfde data-verwerkingsmethode te gebruiken op data uit een ander ziekenhuis, een ander land of een andere machine (de "regendag"), kan de pijplijn breken of de data op vreemde manieren vervormen.
Het Resultaat: Wetenschappers weten vaak niet wanneer hun data-verwerkingsmethode stopt met werken. Wanneer een AI-model faalt op nieuwe data, weten we niet of het AI-systeem slecht is, of dat de "kaart" (de pijplijn) gewoon ongeldig was voor die nieuwe omgeving.

3. De Menigte Experts (Ongecontroleerde Meervoudigheid)

De Analogie: Stel je voor dat een jury van 100 experts naar dezelfde foto van een misdaadplek kijkt. Ze zijn het allemaal eens over de feiten, maar ze gebruiken allemaal een iets andere vergrootglas. 90 van hen concluderen dat de verdachte schuldig is. 10 concluderen dat de verdachte onschuldig is. Het nieuws rapporteert: "De experts zeggen dat de verdachte schuldig is", en negeert de 10 die het oneens waren.
Het Probleem: In de wetenschap zijn er vaak vele "verdedigbare" manieren om data te verwerken. Je kunt ruis op vijf verschillende geldige manieren filteren. Als je er één kiest, krijg je één resultaat. Als je er een andere kiest, krijg je een ander resultaat.
Het Resultaat: Wetenschappers kiezen vaak de ene methode die het "coolste" of meest significante resultaat oplevert en negeren het feit dat 99 andere geldige methoden een ander antwoord zouden hebben gegeven. Ze behandelen hun enkele keuze als de absolute waarheid, in plaats van toe te geven: "We hebben 100 manieren geprobeerd, en het antwoord is een beetje wankel."

---

De "EEG Audit": Een Realiteitscheck

Om te bewijzen dat dit niet zomaar theorie is, voerden de auteurs een massaal experiment uit met hersendata (EEG) gerelateerd aan depressie.

• De Opzet: Ze namen ruwe hersengolfd data en voerden deze door 245.376 verschillende combinaties van verwerkingspijplijnen. (Stel je voor dat je elke mogelijke combinatie van filters, reinigingsgereedschappen en meetregels uitprobeert).
• Het Doel: Ze zochten naar een specifiek signaal: een verschil in hersenactiviteit tussen mensen met depressie en gezonde mensen.
• Het Schokkende Resultaat:
  • Veel van de 245.000+ pijplijnen vonden een "significant" verschil.
  • MAAR, toen ze controleerden of die verschillen standhielden over verschillende groepen mensen (verschillende datasets), overleefde SLECHTS ÉÉN pijplijn van de 245.376.
  • Dat is een overlevingspercentage van 0,0004%.

Wat dit betekent: Bijna elke keer dat wetenschappers een "ontdekking" deden in dit veld, was het waarschijnlijk een toevalstreffer van welke specifieke pijplijn ze toevallig hadden gekozen. De "waarheid" was zo fragiel dat het lichtjes veranderen van de verwerkingsregels de ontdekking liet verdwijnen.

---

De Oplossing: Het "Berekenbaar Observatiekader"

De auteurs zeggen niet dat we moeten stoppen met wetenschap doen. Ze zeggen dat we moeten veranderen hoe we data behandelen.

Huidige Manier:

1. Ruwe Data $\rightarrow$ [Zwarte Doos Pijplijn] $\rightarrow$ "Schone Data" $\rightarrow$ AI-model.
2. We doen alsof de "Schone Data" de waarheid is.

Voorgestelde Manier:

1. Ruwe Data $\rightarrow$ De Pijplijn als Variabele $\rightarrow$ AI-model.
2. We behandelen de pijplijn als een wetenschappelijke hypothese. We vragen: "Houdt deze conclusie stand als we de pijplijn veranderen?"

Ze stellen een systeem voor waarbij:

• Pijplijnen "Uitvoerbare Objecten" zijn: In plaats van alleen een PDF-rapport waarin staat "we hebben Methode A gebruikt", wordt de code voor Methode A (en al zijn mogelijke variaties) opgeslagen als een digitaal object dat kan worden uitgevoerd, getest en gewijzigd.
• Stabiliteit is het Doel: In plaats van alleen te zoeken naar het model dat het beste voorspelt, zoeken we naar het model dat hetzelfde antwoord geeft, ongeacht welke geldige pijplijn we gebruiken.
• Onzekerheid wordt Gedeeld: Als 100 pijplijnen 100 verschillende antwoorden geven, rapporteren we die onzekerheid. We verbergen het niet.

Samenvatting

Het artikel betoogt dat in AI voor Wetenschap het gereedschap dat wordt gebruikt om de realiteit te meten net zo belangrijk is als de meting zelf. Door het gereedschap (de pijplijn) te negeren, bouwen wetenschappers vaak AI-modellen op wankel fundament. Ze moeten stoppen met het behandelen van verwerkte data als een vast feit en beginnen met het behandelen ervan als een variabel onderdeel van het wetenschappelijke experiment.