What Can Artificial Intelligence Learn from Medicine? Generative Analogies and Reliable Machine Learning Systems

In de afgelopen jaren zijn artsen en computerwetenschappers begonnen met het samenwerken aan het bouwen van kunstmatige intelligentie-instrumenten die kunnen helpen bij het diagnosticeren van ziekten, het voorspellen van patiëntuitkomsten en het suggereren van behandelingen. Deze instrumenten, bekend als machine learning-systemen, zijn krachtig omdat ze patronen kunnen vinden in enorme hoeveelheden gegevens die mensen misschien over het hoofd zien. Er is echter een hardnekkig probleem: deze systemen werken vaak als 'black boxes'. Ze produceren resultaten zonder uit te leggen hoe ze tot die resultaten zijn gekomen, en ze vertrouwen op statistische verbanden in plaats van op duidelijke theorieën over waarom een behandeling werkt. Dit creëert een dilemma voor artsen die de instrumenten die zij gebruiken moeten kunnen vertrouwen. Als een computer zegt dat een patiënt een ziekte heeft, maar niemand begrijpt waarom hij dat zei, hoe kan een arts er dan zeker van zijn dat het klopt? Deze onzekerheid heeft geleid tot een moeilijke vraag: hoe verifiëren we dat deze complexe, ondoorzichtige systemen betrouwbaar genoeg zijn om in echte ziekenhuizen te worden gebruikt?

Twee filosofen, Emanuele Ratti en Lena Zuchowski, hebben een nieuwe manier voorgesteld om over dit probleem na te denken door te kijken naar hoe de geneeskunde zelf met soortgelijke onzekerheden omgaat. Zij suggereren dat we niet moeten proberen kunstmatige intelligentie te dwingen om transparant of uitlegbaar te worden op de manier die we gewoonlijk verwachten. In plaats daarvan betogen zij dat we moeten leren van de lange geschiedenis van hoe de geneeskunde nieuwe medicijnen valideert. Net zoals artsen niet altijd precies weten hoe een specifieke pil in het lichaam werkt, weten zij nog steeds dat het veilig en effectief is dankzij het rigoureuze proces dat wordt gebruikt om het te testen. De onderzoekers stellen voor dat hetzelfde soort rigoureuze testproces dat voor medicijnen wordt gebruikt, kan worden aangepast om een nieuwe standaard voor het vertrouwen in kunstmatige intelligentie te creëren.

De kern van hun argument rust op een vergelijking tussen twee zeer verschillende processen: de ontwikkeling van nieuwe medicijnen en het bouwen van machine learning-systemen. In de geneeskunde, wanneer een nieuw medicijn wordt ontdekt, begrijpen wetenschappers vaak niet volledig het biologische mechanisme erachter. Ze weten misschien niet precies hoe het molecuul interageert met de cellen in het lichaam. Ondanks dit gebrek aan theoretische kennis, kan het medicijn toch bewezen worden te werken. Dit wordt bereikt door een proces dat klinische translatie wordt genoemd, waarbij onderzoekers het medicijn systematisch testen onder veel verschillende omstandigheden. Ze bepalen de juiste dosering, de specifieke soorten patiënten die het helpt, en de situaties waarin het kan falen. Door deze informatie te verzamelen, creëren ze een gedetailleerd profiel van de bruikbaarheid van het medicijn, zelfs als het onderliggende "waarom" een mysterie blijft.

Ratti en Zuchowski betogen dat machine learning-systemen precies tegen dezelfde situatie aanlopen. Deze systemen zijn vaak "atheoretisch", wat betekent dat ze niet steunen op door de mens gemaakte theorieën; ze zijn "associationistisch", wat betekent dat ze verbanden vinden tussen gegevenspunten zonder de oorzaak te begrijpen; en ze zijn "opaak", wat betekent dat hun interne besluitvorming verborgen is. Vanwege deze eigenschappen is het proberen om de AI zichzelf te laten uitleggen vaak onmogelijk. In plaats van tegen deze natuur te vechten, suggereren de auteurs dat we de medische aanpak moeten kopiëren. We moeten stoppen met eisen dat de AI zijn logica uitlegt en beginnen eisen dat we weten onder welke specifieke omstandigheden het werkt.

Om dit idee concreet te maken, ontwikkelden de onderzoekers een nieuw kader dat zij een "learning ensemble" noemen. Denk aan dit als een gedetailleerde handleiding die veel verder gaat dan alleen zeggen "dit computerprogramma werkt". In de geneeskunde is een medicijn niet alleen een chemische stof; het is een chemische stof die op een specifieke manier wordt gebruikt, voor een specifieke groep mensen, met specifieke bijwerkingen. Een machine learning-systeem is eveneente een systeem dat alleen werkt wanneer aan bepaalde voorwaarden wordt voldaan. Het learning ensemble is een verzameling informatie die die voorwaarden definieert. Het bevat details over de gegevens die voor het systeem zijn gebruikt, de specifieke hardware waarop het draait, de typen patiënten waarop het is getest, en de exacte metrieken die zijn gebruikt om het succes te beoordelen.

De auteurs verdelen deze informatie in drie hoofdcategorieën. De eerste is de "grenzen van betrouwbaarheid" (boundaries of reliability). Dit deel documenteert de omgeving waarin het systeem is gebouwd. Het stelt vragen zoals: Was de data schoon en divers, of was het rommelig en beperkt? Werd het systeem getest op krachtige computers, of worstelde het met basishardware? Als de data afkomstig waren van slechts één ziekenhuis, kan het systeem falen wanneer het in een ander ziekenhuis met andere apparatuur wordt gebruikt. Door deze grenzen te documenteren, kunnen gebruikers precies weten waar het systeem veilig te gebruiken is en waar het kan falen.

De tweede categorie is "prestatie" (performance). Dit is niet slechts één enkel getal dat zegt dat het systeem 90% accuraat is. In plaats daarvan vereist het een gedetailleerd rapport van hoe het systeem in verschillende situaties presteert. Werkt het bijvoorbeeld even goed voor jonge als voor oude patiënten, of voor mensen van verschillende geslachten? Maakt het meer fouten wanneer de data iets anders zijn dan waarvoor het getraind is? De onderzoekers benadrukken dat weten waar een systeem faalt net zo belangrijk is als weten waar het slaagt. Als een systeem uitstekend is in het diagnosticeren van één type kanker maar verschrikkelijk in een ander, moet die specifieke fout worden vastgelegd, zodat artsen het niet voor de verkeerde gevallen gebruiken.

De derde categorie is de "functionele dimensie" (functional dimension). Dit kijkt naar wat het systeem in de echte wereld daadwerkelijk moet doen. Een systeem kan wiskundig perfect zijn in het voorspellen van een getal, maar als dat getal een arts niet helpt om een betere beslissing te nemen, is het systeem nutteloos. Dit deel controleert of de output van het systeem overeenkomt met de behoeften van het medische team. Als een systeem bijvoorbeeld is ontworpen om een arts te helpen beslissen of een patiënt in het ziekenhuis moet worden opgenomen, dan moet het worden getest om te zien of het daadwerkelijk helpt bij die specelijke beslissing. Als het systeem wordt gebruikt voor een doel waarvoor het niet is ontworpen, wordt het onbetrouwbaar, ongeacht hoe goed het zijn oorspronkelijke taak uitvoert.

De onderzoekers illustreren de kracht van deze aanpak met praktijkvoorbeelden van falen. Ze wijzen op een studie waarbij een systeem van kunstmatige intelligentie beweerde kanker te detecteren door te kijken naar de genetische samenstelling van bacteriën in het menselijk lichaam. Het systeem leek in het begin perfect te werken, met een zeer hoge nauwkeurigheid. Echter, toen de onderzoekers de gegevens nauwkeurig bekeken, ontdekten ze dat het systeem helemaal niets over kanker had geleerd. Het had geleerd om een specifiek type fout in het dataverzamelsesproces te herkennen dat toevallig vaker voorkwam bij kankerpatiënten. Omdat het systeem opaak was, was deze fout verborgen. Als de onderzoekers het "learning ensemble"-kader hadden gebruikt, zouden zij verplicht zijn geweest om de databronnen en de specifieke omstandigheden van de test te documenteren. Deze documentatie zou hebben onthuld dat de data gebrekkig waren en dat het systeem vertrouwde op een afkorting in plaats van een echt biologisch verband.

Een ander voorbeeld betreft een systeem dat ontworpen is om te voorspellen welke patiënten met longontsteking een hoog risico lopen om te overlijden. Het systeem leerde dat patiënten met astma juist een lager risico hadden. Dit leek tegenstrijdig. De reden was dat het systeem had geleerd dat astmapatiënten in het ziekenhuis een zeer agressieve en effectieve behandeling kregen, wat hun risico op overlijden verlaagde. Echter, als een arts dit systeem zou gebruiken om te beslissen wie er zorg nodig heeft, zou hij er door kunnen gaan denken dat astmapatiënten geen zorg nodig hebben. Het systeem was wiskundig correct op basis van de gegevens, maar het was functioneel gevaarlijk omdat het de context van medische behandeling niet begreep. Het learning ensemble-kader zou dit hebben gevangen door een duidelijke definitie van het doel van het systeem te eisen en een controle tegen de real-world medische kennis.

De auteurs merken er zorgvuldig bij op dat dit kader niet de oplossing is voor het mysterie van hoe machine learning werkt. De systemen zullen nog steeds opaak zijn, en ze zullen nog steeds vertrouwen op statistische patronen in plaats van duidelijke theorieën. De waarde van het learning ensemble ligt niet in het transparant maken van de AI, maar in het transparant maken van het gebruik van de AI. Het verschuift de focus van de vraag "Hoe denkt de computer?" naar de vraag "Onder welke exacte omstandigheden kunnen we het antwoord van de computer vertrouwen?". Dit is een subtiele maar cruciale verschuiving. Het stelt artsen in staat om krachtige instrumenten te gebruiken zonder de complexe wiskunde erachter te hoeven begrijpen, zolang zij maar een duidelijke kaart hebben van waar die instrumenten veilig te gebruiken zijn.

Deze aanpak suggereert een nieuwe manier om kunstmatige intelligentie in de geneeskunde te reguleren en te evalueren. In plaats van te eisen dat elk algoritme uitlegbaar moet zijn, zouden regelgevers en ziekenhuizen een volledig "learning ensemble" voor elk systeem moeten eisen. Dit document zou fungeren als een certificaat van betrouwbaarheid, met details over de data, de prestaties en het beoogde gebruik. Als een ziekenhuis een systeem wil gebruiken, kunnen zij het ensemble controleren om te zien of hun specifieke situatie overeenkomt met de omstandigheden waarin het systeem bewezen heeft te werken. Als de omstandigheden niet overeenkomen, mag het systeem niet worden gebruikt. Deze methode accepteert de beperkingen van de huidige technologie terwijl het een robuuste manier biedt om de risico's te beheersen.

Het artikel concludeert dat dit kader een praktische stap voorwaarts is. Het beweert niet dat het alle problemen van kunstmatige intelligentie heeft opgelost, noch belooft het dat deze systemen nooit fouten zullen maken. In plaats daarvan biedt het een gestructureerde manier om vertrouwen op te bouwen. Door machine learning-systemen te behandelen als medische behandelingen — waarbij de focus ligt op de omstandigheden van gebruik in plaats van de interne mechanismen — kunnen we een veiligere, betrouwbaardere weg creëren voor de integratie van deze technologieën in de gezondheidszorg. Het doel is niet om de black box transparant te maken, maar om een betrouwbare gids te bouwen die ons precies vertelt waar het veilig is om naar binnen te kijken.