Stel je voor dat je een robot probeert te leren om verschillende soorten kapotte speeltjes te herkennen. Je hebt alleen een klein doosje met vijf kapotte stukjes om het hem te laten zien. De robot raakt in de war omdat hij nog nooit een kapot speeltje heeft gezien en de regels niet kan ontcijferen. Dit is een veelvoorkomend probleem in de wereld van kunstmatige intelligentie, genaamd "data scarcity" (dataschaarste). Om dit op te lossen, gebruiken wetenschappers vaak een slim trucje: ze vragen een superintelligente AI om nieuwe kapotte speeltjes te verbeelden op basis van de weinige echte exemplaren die het heeft. Dit wordt "synthetic data generation" (genereren van synthetische data) genoemd. Het is alsof je een getalenteerde kunstenaar vraagt om duizend nieuwe tekeningen van kapotte speeltjes te maken, zodat de robot ze kan bestuderen. De hoop is dat de robot door deze nieuw gemaakte plaatjes te bestuderen, later een meester wordt in het opsporen van echte kapotte speeltjes. Maar hier komt de grote vraag: kan een robot echt leren van een tekening, of moet hij het echte kapotte stukje echt in zijn hand houden?

Een team van onderzoekers zette zich in om dit idee te testen in een scenario met zeer hoge inzet in de echte wereld: het helpen van robots bij het opsporen van ernstige verwondingen bij mensen tijdens rampen met veel slachtoffers. Ze wilden zien of het verzinnen van nepbeelden van verwondingen de robots beter zou helpen leren dan alleen te oefenen op de weinige echte foto's die ze hadden. Ze probeerden twee hoofdmanieren om deze nepbeelden te maken: één waarbij de AI probeert de "vibe" van alle verwondingen te begrijpen en nieuwe vanaf nul tekent, en een andere waarbij de AI een echte foto neemt en deze lichtjes aanpast, zoals het veranderen van de belichting of de hoek. Ze vergeleken deze hippe AI-methoden ook met een simpelere, oudere truc: gewoon de echte foto's door elkaar husselen, ze spiegelen of hun kleuren veranderen.

De resultaten waren een beetje een schok. De onderzoekers kwamen erachter dat de hippe AI-gegenereerde plaatjes de robots niet veel beter hielpen leren dan de simpele husselmethode. Sterker nog, de AI maakte vaak fouten in de manier waarop de nepverwondingen werden gecreëerd. Soms kopieerde de AI de echte foto's te nauwgezet, net zoals een student de aantekeningen van de leraar letterlijk overneemt. Op andere momenten maakte de AI verwondingen die er aan de oppervlakte perfect uitzagen, maar die eigenlijk te simpel en te schoon waren, waarbij de rommelige, verwarrende details die echte verwondingen zo moeilijk te herkennen maken, ontbraken. De robots werden goed in het opsporen van deze "perfecte" nepverwondingen, maar werden niet beter in het omgaan met de rommelige realiteit. De studie suggereert dat in situaties waar data zeldzaam en rommelig is, het simpelweg genereren van meer afbeeldingen niet de magische oplossing is waar we op hoopten; soms is de ouderwetse methode van oefenen met de echte, rommelige data nog steeds de beste leraar.

Het verhaal van de robot en de nepverwondingen

Laten we dieper ingaan op hoe dit experiment verliep. De onderzoekers werkten met een systeem dat ontworpen is voor rampgebieden, waar robots snel zaken moeten kunnen identificeren zoals ernstige bloedingen, hoofdwonden of gebroken ledematen. Het probleem? Echte data is ontzettend moeilijk te verkrijgen. Je kunt niet zomaan duizenden mensen filmen terwijl ze gewond raken; dat is gevaarlijk, duur en ethisch ingewikkeld. Daarom hadden ze een kleine dataset van slechts 362 afbeeldingen, met 211 verschillende mensen (of mannequins die zo zijn gemaakt dat ze gewond lijken).

Om hun theorieën te testen, verdeelden ze deze kleine groep mensen in trainings- en testsets. Vervolgens probeerden ze de robot meer data te "voeren" met behulp van verschillende methoden. Eerst probeerden ze de "Non-Generatieve" benadering, wat in feftelijk is het nemen van de weinige echte foto's die ze hadden en daar dingen mee te doen zoals ze ondersteboven keren, de helderheid aanpassen of een beetje digitale ruis toevoegen. Dit is als het nemen van een enkele foto van een kapot speeltje en die aan de robot te laten zien vanuit elke mogelijke hoek.

Vervolgens probeerden ze de "Generatieve" benadering. Dit is waar de AI-kunstenaars in beeld komen. Ze gebruikten krachtige tools zoals StyleGAN, Stable Diffusion en DreamBooth.

• Distribution Modeling (Verdelingsmodellering): Stel je voor dat de AI naar alle echte foto's van verwondingen kijkt en probeert de "gemiddelde" verwonding te begrijpen. Vervolgens probeert het een gloednieuwe vanaf nul te tekenen. De onderzoekers ontdekten dat deze AI's vaak vastliepen. StyleGAN kopieerde soms gewoon de originele foto's en spuugde ze weer uit (of bijna identieke kopieën), wat lijkt op een student die het antwoordmodel uit het hoofd leert in plaats van de wiskunde te begrijpen. Stable Diffusion tekende nieuwe afbeeldingen, maar die zagen er vaak vreemd genoeg "schoon" uit of bevatten anatomische fouten, zoals een been dat aan de verkeerde kant van een lichaam is bevestigd.
• Sample Perturbation (Steekproefverstoring): Dit is als een echte foto nemen en de AI vragen om "het een klein beetje anders te maken". Misschien de achtergrond of de belichting veranderen. Dit werkte een beetje beter dan vanaf nul tekenen, maar de veranderingen waren vaak te klein om echt nuttig te zijn.

Ze probeerden ook een enorme, vooraf getrainde AI (GPT) die hun specifieke data helemaal niet had gezien, door simpelweg te vragen om "een bloedende wond te tekenen". Hoewel deze afbeeldingen er zeer realistisch uitzagen, bleken ze te perfect te zijn. Ze waren als "tekstboek"-voorbeelden van verwondingen—schoon, duidelijk en makkelijk te herkennen. Echte verwondingen zijn echter rommelig. Ze zijn bedekt met vuil, verborgen door schaduwen of gehinderd door kleding. De AI-gegenereerde "perfecte" verwondingen leerden de robot niet hoe hij met de rommelige realiteit moest omgaan.

De "Te Makkelijke" valstrik

Een van de meest interessante ontdekkingen was wat de onderzoekers de "Too Easy" (Te Makkelijke) valstrik noemden. Wanneer ze de robot testten op de nepafbeeldingen, kreeg hij ze bijna altijd goed. Maar wanneer ze hem testten op de echte afbeeldingen, worstelde hij. Waarom? Omdat de nepafbeeldingen in essentie "vereenvoudigde" versies van de waarheid waren. Het waren de "canonieke" of ideale versies van een verwonding.

Denk aan het leren autorijden. Als je alleen oefent in een rijsimulator met perfect weer, geen andere auto's en perfect rechte wegen, kun je een meester worden in die simulator. Maar op het moment dat je echt de weg op gaat in een stad met regen, verkeer en gaten in de weg, kun je een ongeluk krijgen. De AI-gegenereerde afbeeldingen waren de perfecte simulator; de echte data was de chaotische stad. De robot leerde de perfecte simulator te herkennen, maar leerde niet hoe hij met de chaos moest omgaan.

De onderzoekers keken ook naar de "feature space", wat een chique manier is om te zeggen: "de kaart van wat de robot ziet". Ze ontdekten dat de echte afbeeldingen verspreid lagen over de kaart, die alle rommelige variaties van de realiteit vertegenwoordigen. De nepafbeeldingen hadden echter de neiging om te clusteren in het midden, in de "veilige zone" waar dingen makkelijk te begrijpen zijn. Ze duwden de robot niet naar de moeilijke, rommelige randen van de kaart waar de echte uitdagingen zich bevonden.

Wat betreft andere velden?

Om er zeker van te zijn dat dit niet slechts een toevalstreffer was die specifiek was voor medische verwondingen, probeerden de onderzoekers hetzelfde experiment uit op een andere dataset: afbeeldingen van robotlassen. Ze wild