Self-supervision drives representational convergence in medical foundation models more than clinical supervision
Deze studie onthult dat representationele convergentie in medische fundamentele modellen primair wordt gedreven door zelfgesuperviseerde pretraining-doelstellingen in plaats van klinisch toezicht of modelomvang, wat resulteert in een bescheiden uitlijning die cross-encoder transfer learning ondersteunt maar er niet in slaagt om klinisch oordeel of semantische gelijkenis volledig te vatten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een groep zeer verschillende robots probeert te leren de wereld te begrijpen. Je geeft ze allemaal dezelfde taak: kijk naar afbeeldingen van medische scans en beschrijf wat je ziet. In de wereld van kunstmatige intelligentie bestaat een populair idee genaamd de "Platonische Representatiehypothese". Denk er zo over na: als je genoeg robots traint op genoeg data, zouden ze uiteindelijk allemaal op exact dezelfde manier moeten gaan denken. Ze zouden allemaal een identieke interne kaart van de werkelijkheid moeten opbouwen, waarbij een "gebroken bot" er voor Robot A precies hetzelfde uitziet als voor Robot B, ongeacht wie hen heeft gebouwd of welke specifieke lessen ze hebben geleerd. Dit idee is spannend omdat als alle medische AI-modellen zouden convergeren naar deze enkele, perfecte kaart, artsen ze zouden kunnen verwisselen als batterijen zonder hun gereedschap kapot te maken. Maar gebeurt dit eigenlijk? Komen deze digitale breinen echt overeen over hoe een ziekte eruitziet, of spreken ze slechts verschillende dialecten van dezelfde taal?
Een team van onderzoekers besloot dit idee op de proef te stellen met een massaal, gecontroleerd experiment. Ze verzamelden 18 verschillende "beeldencoders" (de onderdelen van AI die naar plaatjes kijken) en 7 "tekstencoders" (de onderdelen die rapporten lezen) van diverse laboratoria en bedrijven. Deze modellen varieerden van kleine modellen met 7 miljoen parameters tot reuzen met 27 miljard parameters. De onderzoekers vergeleken de modellen niet alleen; ze ontleedden ze. Ze trainden nieuwe modellen die op elk punt identiek waren, behalve op één ding: het doel dat ze probeerden te bereiken. Sommigen werden getraind met "zelfgesuperviseerd leren" (patronen leren uit de afbeeldingen alleen), sommige met "klinische supervisie" (leren van labels van artsen), en andere met "beeld-tekst"-koppeling (het matchen van plaatjes aan rapporten).
Hier komt de wending: de onderzoekers ontdekten dat het idee van een universele, gedeelde kaart grotendeels een mythe is, maar dat er in plaats daarvan een heel specifieke vorm van realiteit bestaat. Ze ontdekten dat zelfgesuperviseerd leren (leren van de afbeeldingen zelf) de ware lijm is die deze modellen met elkaar doet overeenstemmen. Sterker nog, het toevoegen van een label van een arts aan de training maakte de modellen juist minder vergelijkbaar met hun soortgenoten, niet meer. De modellen die getraind waren om simpelweg te "kijken en leren" zonder specifieke labels, eindigden veel beter op één lijn (ongeveer 40% gelijkenis in borstfoto's) dan de modellen die getraind waren met specifieke medische labels (slechts ongeveer 21%).
Deze overeenkomst is echter bescheiden en kent strikte grenzen. Het gebeurt alleen binnen hetzelfde type afbeelding (röntgenfoto's komen overeen met röntgenfoto's, maar niet met huidfoto's). Het wordt niet beter omdat het model groter of slimmer wordt; een gigantisch model met 27 miljard parameters is niet noodzakelijkerwijs meer in lijn met anderen dan een kleiner model. Wat het meest verrassend is, is dat deze beeldmodellen en de tekstmodellen die medische rapporten lezen, helemaal geen gemeenschappelijke kaart delen. Hun interne talen zijn volkomen verschillend, en naarmate je ze meer data voert, drijven ze zelfs verder uit elkaar.
Ondanks deze beperkingen is er een lichtpuntje. Hoewel de modellen niet overeenstemmen op een perfecte, gedeelde geometrie, zijn ze "goed genoeg" om uitwisselbaar te zijn voor praktische taken. De onderzoekers toonden aan dat een diagnostisch hulpmiddel dat getraind is op één model, kon worden overgedragen naar een totaal ander model en nog steeds met ongeveer 85% van de oorspronkelijke nauwkeurigheid werkte. Het is alsof je twee verschillende kaarten van een stad hebt die er niet precies hetzelfde uitzien, maar als je weet hoe je de herkenningspunten moet vertalen, kun je nog steeds van punt A naar punt B rijden zonder te verdwalen. De studie concludeert dat we niet moeten wachten tot AI-modellen door louter omvang magisch convergeren naar één perfect brein; in plaats daarvan moeten we ze ontwerpen met de juiste trainingsdoelen om ervoor te zorgen dat ze in ieder geval met elkaar kunnen communiceren wanneer dat er echt toe doet.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.