Forensic Reproducibility Audit of a Radiology Vision-Language Model Benchmark: From Intended Protocol to Released Artifact

Stel je een wereld voor waarin wetenschappers digitale detectives bouwen om röntgenfoto's te lezen en dokters te vertellen wat er mis is. Deze detectives zijn een speciaal soort computerprogramma dat een "Vision-Language Model" wordt genoemd. Denk aan superintelligente robots die naar een afbeelding van een borstkas kunnen kijken en vervolgens een rapport kunnen schrijven, precies zoals een menselijke arts dat zou doen. Om te zien of deze robots goed zijn, creëren onderzoekers "benchmarks". Een benchmark is als een gestandaardiseerde toets: je laat de robot 30 röntgenfoto's zien, stelt specifieike vragen en controleert vervolgens de antwoorden tegen een "gouden standaard" om te zien hoeveel hij er goed heeft. Iedereen gaat ervan uit dat als de test in een paper staat beschreven, de computer ook precies heeft gedaan wat het papier zegt. Maar wat als de computer een kortere weg heeft genomen? Wat als de testvragen zijn omgewisseld, of de röntgenfoto's ondersteboven zijn gedraaid, en niemand het jaren later merkte? Dit is de angstaanjagende kloof tussen wat we zeggen dat we hebben gedaan en wat de computer daadwerkelijk heeft gedaan.

Dit paper is een forensisch detectiveverhaal over een van die digitale tests. De auteur, Mateusz Kozłowski, besloot de rol van digitale plaatsdelijke onderzoeker op te nemen. Hij voerde de test niet opnieuw uit; in plaats daarvan onderzocht hij de "plaats delict" (de computerbestanden en de code) die door een eerdere studie waren achtergelaten. Hij wilde zien of het verhaal dat in het eindrapport wordt verteld, overeenkomt met de werkelijkheid van de bestanden op de harde schijf. Hij ontdekte dat het verhaal en de werkelijkheid heel verschillend waren. De studie beweerde twee verschillende manieren te vergelijken om de robot vragen te stellen, maar door de paden van de import en de aanroepen in de code te volgen, kon hij concluden dat de prompt-binding foutief was: de robot kreeg eigenlijk exact dezelfde vraag twee keer gesteld. De studie beweerde dat er 30 verschillende patiënten werden gebruikt, maar de bestanden toonden slechts 28 aan. Er werd beweerd dat er perfecte röntgenfoto's werden gebruikt, maar vier daarvan waren verkeerd om gedraaid, alsof je naar een spiegelbeeld van een borstkas kijkt. Vanwege deze mix-ups waren de uiteindelijke scores en ranglijsten in het oorspronkelijke rapport onjuist. De auteur concludeert dat de resultaten van de oorspronkelijke test niet kunnen worden vertrouwd om ons te vertellen hoe goed de robots echt werken, en hij stelt een nieuwe set "machineregels" voor om te voorkomen dat toekomstige tests deze verborgen fouten bevatten.

Het Rapport van de Digitale Detective

De Opzet: Een Test die Geen Test was
Stel je voor dat je een leraar bent die een wiskundetoets afneemt. Je zegt tegen de klas: "Ik ga jullie twee verschillende versies van de toets geven, Versie A en Versie B, om te zien welke moeilijker is." Je deel de papieren uit, verzamelt ze en beoordeelt ze. Maar wanneer je later naar je antwoordsleutel kijkt, besef je dat je per ongeluk aan elke leerling exact hetzelfde Versie C-papier hebt gegeven. Je dacht dat je het verschil tussen A en B testte, maar je testte eigenlijk alleen maar twee keer hoe leerlingen presteerden op C.

Dat is precies wat er in deze studie gebeurde. De onderzoekers wilden zien of het stellen van twee verschillende vragen aan een medische AI (Prompt A en Prompt B) de antwoorden zou veranderen. Ze voerden de test uit op 30 borstkasröntgenfoto's. Echter, toen de auteur in de computercode dook, vond hij een "glitch". In plaats van de daadwerkelijke data die naar de externe systemen werd gestuurd te controleren, volgde hij het pad van de import en de aanroepen in de code. Hierdoor kon hij vaststellen dat de koppeling van de prompts (de prompt binding) fout was: de code was bedoeld om te schakelen tussen Prompt A en Prompt B, maar door een programmeerfout werden beide groepen vragen feitelijk als Prompt C verzonden. Dus de 60 keer dat de computer werd gevraagd antwoord te geven, beantwoordde hij eigenlijk 60 keer dezelfde vraag. De studie beweerde een verschil te hebben gevonden tussen A en B, maar aangezien A en B nooit echt plaatsvond, was dat verschil een spookverschijning.

De Röntgenfoto Mix-up
Stel je nu voor dat je naar een zwart-witfoto kijkt. Als de foto als "negatief" is geprint (waarbij zwart wit is en wit zwart), denk je misschien dat een donkere plek eigenlijk een lichte plek is. In de wereld van medische beeldvorming zijn er twee soorten zwart-wit instellingen: één waarbij donker betekent "bot" en één waarbij donker betekent "lucht". De studie beweerde standaard röntgenfoto's te gebruiken. Maar de auteur vond dat vier van de afbeeldingen in de "lucht"-instelling stonden, en de computercode vergat deze naar de "bot"-instelling te flippen voordat ze aan de AI werden getoond.

Het is alsof je een klant een burger serveert met het broodje onderop en het vlees bovenop, en dan beweert dat je een "standaard burger" hebt geserveerd. De AI zag een geflipte afbeelding, niet de echte afbeelding. Dit betekende dat de AI beslissingen nam op basis van een vertekende werkelijkheid, en niet op basis van de werkelijke röntgenfoto.

De Patiëntenaantallen en de Ontbrekende Bestanden
De studie zei dat er 30 verschillende patiënten werden gebruikt. Maar toen de auteur de bestanden telde, ontdekte hij dat twee patiënten daadwerkelijk twee keer waren verschenen, wat betekende dat er slechts 28 unieke mensen waren. Het is als een presentielijst in een klas waar twee leerlingen zich twee keer hebben ingeschreven, waardoor het lijkt alsof er 30 kinderen zijn terwijl er slechts 28 zijn. Dit is belangrijk omdat als dezelfde persoon twee keer in de test zit, dit de resultaten beïnvloedt.

Bovendien was de studie gepland voor 300 antwoorden (30 röntgenfoto's × 10 verschillende AI-modellen). Maar toen de auteur de bestanden controleerde, waren er drie ontbrekend of leeg. Twee bestanden waren volledig leeg (nul bytes) en één was simpelweg verdwenen. Het oorspronkelijke rapport deed alsof dit succesvolle antwoorden waren, maar het waren eigenlijk mislukkingen. Het is alsof een leraar een toets nakijkt en een cijfer geeft aan een leerling, zelfs al heeft de leerling het blaadje leeg laten.

De "Magische" Wiskunde
Vanwege deze fouten was de wiskunde in het oorspronkelijke paper onjuist. De auteurs hadden een score berekend genaamd de "Cochran-statistiek" om te zien of de modellen verschilden. De oorspronkelijke paper zei dat de score 154,73 was. Wanneer de auteur de wiskunde corrigeerde door de juiste, volledige data te gebruiken (369 blokken informatie in plaats van de rommelige, onvolledige versie), sprong de score naar 182,29.

De oorspronkelijke paper beweerde ook dat 26 van de 45 vergelijkingen een "significant" verschil lieten zien. De auteur verduidelijkt dat, hoewel de correctie van de data leidde tot 27 van de 45 ongecorrigeerde (unadjusted) en 20 van de 45 met Holm-correctie (Holm-adjusted) significante vergelijkingen, het resultaat van 28/45 inderdaad werd gereproduceerd in een aparte analyse waarbij elke vergelijking zijn eigen noemer gebruikte. Hoewel deze getallen er vergelijkbaar uitzien, is de betekenis totaal anders omdat de data waarop ze gebaseerd waren gebrekkig was. De oorspronkelijke claim dat "Model A beter is dan Model B" was gebaseerd op een test die nooit echt heeft plaatsgevonden.

De "Verouderde" Release
Dit is het meest frustrerende deel. Toen de onderzoekers hun fout beseelden en de cijfers in hun geschreven paper corrigeerden, vergaten ze de digitale bestanden die ze met de wereld deelden niet bij te werken. Ze uploadden een "gereviseerde" paper, maar de zip-file die ze eraan toegevoegd hadden, bevatte nog steeds de oude, foutieve cijfers en de oude, foutieve namen voor de modellen. Het is alsof een chef de receptuur in een kookboek corrigeert, maar vergeet de ingrediëntenlijst op de website aan te passen. Iedereen die het bestand downloadde, kreeg de oude, kapotte versie.

De Oplossing: Een Nieuw Regelboek
De auteur wijst niet alleen de fouten aan; hij bouwt een nieuw regelboek om dit in de toekomst te voorkomen. Hij noemt dit het "Benchmark Contract". Stel je een contract voor dat een computer dwingt te bewijzen dat hij het juiste heeft gedaan voordat hij een score mag publiceren.

Dit contract heeft acht regels:

1. Cohort Contract: Bewijs dat je het juiste aantal unieke patiënten hebt.
2. Pixel Contract: Bewijs dat de röntgenfoto's niet geflipt of defect zijn.
3. Prompt Contract: Bewijs dat de AI daadwerkelijk de specifieke vraag kreeg die je stelde, en niet een andere.
4. Model Contract: Bewijs dat je exact de versie van de AI hebt gebruikt die je zei te gebruiken.
5. Output Contract: Bewijs dat het antwoordbestand niet leeg is.
6. Annotation Contract: Bewijs dat de labels (zo als "ziek" of "gezond") correct zijn toegewezen.
7. Analysis Contract: Bewijs dat de wiskunde is uitgevoerd op de juiste groepen data.
8. Release Contract: Bewijs dat de bestanden die je deelt overeenkomen met de paper die je hebt geschreven.

De auteur heeft een set van 36 geautomatiseerde tests (als een robot-inspecteur) gebouwd die deze regels controleren. Als een test faalt, stopt het systeem en zegt: "Nee, je kunt dit niet meer publiceren."

De Kern van het Verhaal
De belangrijkste les is dat de claims van de oorspronkelijke studie over hoe goed deze AI-modellen werken, zijn teruggetrokken. De auteur is zeer duidelijk: de oorspronkelijke resultaten zijn ongeldig. Je kunt de ranglijsten of het "betere" model niet vertrouwen omdat de test kapot was. Het enige wat geef de auteur is de analyse van de automatische discrepantie tussen rapport en label. De auteur suggereert dat we in de toekomst deze machine-controleerbare contracten moeten gebruiken. We kunnen er niet simpelweg vanuit gaan dat de computer doet wat we hem vertellen; we hebben de computer nodig om het te bewijzen. Dit paper geeft ons geen nieuw, beter AI-model; in plaats daarvan geeft het ons een betere manier om ervoor te zorgen dat de tests die we gebruiken om AI te beoordelen, daadwerkelijk eerlijk en echt zijn. Het is een herinnering dat je in het digitale tijdperk, als je de code niet controleert, misschien wel een test aan het nakijken bent die nooit heeft plaatsgevonden.