Fréchet inception distance under finite sampling between real image sets

In de snel evoluerende wereld van kunstmatige intelligentie leren computers afbeeldingen te creëren die verbazingwekkend echt lijken. Van het genereren van portretten van mensen die nooit hebben bestaan tot het ontwerpen van nieuwe architectonische landschappen, deze systemen worden krachtige instrumenten voor zowel kunstenaars als wetenschappers. Deze vooruitgang brengt echter een kritische vraag met zich mee: hoe weten we of de computer zijn werk goed doet? Om dit te beantwoordenen, vertrouwen onderzoekers op een standaard meetlat genaamd de Fréchet inception distance. Denk aan deze metriek als een geavanceerd liniaal die twee groepen afbeeldingen met elkaar vergelijkt. Het werkt door elke afbeelding te vertalen naar een complexe lijst met getallen die de visuele kenmerken beschrijven, zoals vormen, texturen en kleuren. Het systeem berekent vervolgens de afstand tussen de gemiddelde lijst met getallen voor een set echte foto's en de gemiddelde lijst voor een set door de computer gegenereerde foto's. Als de twee groepen zeer vergelijkbaar zijn, is de afstand klein; als ze verschillend zijn, is de afstand groot. Jarenlang was deze methode de gouden standaard voor het beoordelen of een kunstmatige intelligentie erin slaagt de werkelijkheid succesvol na te bootsen.

Een team van onderzoekers van het National Physical Laboratory in het Verenigd Koninkrijk en het Nederlandse Expert Centre for Screening besloot de betrouwbaarheid van deze meetlat te testen. Hun doel was niet om echte en nepafbeeldingen te vergelijken, maar om te zien wat er gebeurt wanneer de meetlat twee groepen echte afbeeldingen tegen elkaar afzet. Logischerwijs zou de afstand tussen twee verschillende handjes echte foto's uit dezelfde wereld nul moeten zijn, of op zijn minst zo klein dat het verwaarloosbaar is. Als de meetlat een grote kloof laat zien tussen twee sets authentieke foto's, suggereert dit dat het instrument zelf mogelijk gebrekkig is. Om dit te onderzoeken, verzamelden de onderzoekers een diverse collectie afbeeldingen, variërend van eenvoudige handgeschreven cijfers en veelvoorkomende objecten tot complexe medische scans zoals huidlaesies en mammogrammen. Ze verdeelden deze grote collecties in kleinere, evenwichtige groepen en maten de afstand tussen hen, waarbij ze nauwgezet bijhielden hoe de resultaten veranderden naarmate ze meer of minder afbeeldingen aan elke groep toevoegden.

De resultaten onthulden een verrassend en hardnekkig patroon. Zelfs wanneer twee sets echte afbeeldingen werden vergeleken die uit exact dezelfde bron afkomstig waren, rapporteerde het meetinstrument consequent een afstand groter dan nul. Deze kloof verdween niet simpelweg door meer afbeeldingen toe te voegen. Sterker nog, de onderzoekers ontdekten dat de gerapporteerde afstand slechts zeer langzaam afnam naarmate het aantal afbeeldingen groeide. Wanneer zij wiskundige methoden gebruikten om te voorspellen wat er zou gebeuren als zij bijna een oneindig aantal afbeeldingen hadden—miljarden of zelfs biljarden—voorspelde het instrument nog steeds een merkbare afstand tussen de twee sets echte foto's. Deze bevinding suggereert dat het instrument niet perfect gekalibreerd is om te herkennen dat twee groepen echte afbeeldingen in essentie hetzelfde zijn. De onderzoekers observeerden dat dit gedrag varieerde afhankelijk van het type afbeelding. Voor eenvoudigere, bekende datasets daalde de afstand op een voorspelbare manier, maar voor complexere, real-world afbeeldingen zoals medische scans, was de daling veel langzamer en minder consistent.

Een bijzonder verontrustende ontdekking was dat het instrument vaak lagere scores gaf voor afbeeldingen die aanzienlijk verschilden van waarvoor het getraind was. Het systeem was oorspronkelijk getraind op een enorme database van natuurlijke foto's, zoals katten, auto's en landschappen. Wanneer de onderzoekers het testten op medische beelden, die er heel anders uitzien dan die natuurlijke foto's, rapporteerde het instrument dat de twee groepen medische scans meer op elkaar leken dan het instrument voor groepen natuurlijke foto's rapporteerde. De onderzoekers vermoeden dat dit komt doordat het interne "zicht" van het instrument niet is geoptimaliseerd voor medische data, waardoor het de unieke details van die beelden vervaagt tot een generiek, homogeen beeld. Dit creëert een risico waarbij een kwalitatief slechte kunstmatige afbeelding een goede score kan krijgen simpelweg omdat deze dezelfde mate van gebrek aan detail deelt als de echte medische beelden, wat ontwikkelaars misleidt in de veronderstelling dat hun systeem goed presteert terwijl dat niet zo is.

De studie onderzocht ook de wiskundige stabiliteit van de berekening, specifiek kijkend naar wat er gebeurt wanneer het aantal afbeeldingen kleiner is dan het aantal kenmerken dat het systeem analyseert. Er is een theoretisch punt waarop de berekening instabiel wordt, maar de onderzoekers vonden dat de output van het instrument geen dramatische verschuiving of waarschuwingssignaal vertoonde bij het overschrijden van deze drempel. De afstandswaarden en hun variabiliteit bleven consistent, ongeacht of de berekening wiskundig "onderbepaald" of volledig stabiel was. Dit gebrek aan een duidelijk waarschuwingssignaal betekent dat gebruikers er niet op kunnen vertrouwen dat hun resultaten op een stevige wiskundige basis staan wanneer zij met kleinere datasets werken.

Uiteindelijk daagt het onderzoek de aanname uit dat dit meetinstrument een perfect, onbevooroordeeld beeld van beeldkwaliteit biedt. Het feit dat het een significante verschil registreert tussen twee sets echte afbeeldingen, impliceert dat het mogelijk niet gevoelig genoeg is om onderscheid te maken tussen een werkelijk hoogwaardige kunstmatige afbeelding en een middelmatige, vooral in gespecialiseerde velden zoals de geneeskunde. De auteurs concluderen dat, hoewel het instrument een nuttige benchmark blijft, de scores met voorzichtigheid moeten worden geïnterpreteerd. De afstand die het meet, is niet alleen een reflectie van hoe goed een kunstmatige intelligentie de werkelijkheid kopieert, maar ook een reflectie van de eigen beperkingen van het instrument en de specifieke aard van de geteste afbeeldingen. Voor wetenschappers en ontwikkelaars betekent dit dat een lage score geen perfectie garandeert, en een hoge score niet altijd een falen betekent, vooral wanneer de gegenereerde afbeeldingen buiten de natuurlijke wereld vallen die het instrument bedoeld is te begrijpen.