Do CNNs Internally Represent Real and Fake Images Differently? A Hidden-Layer Analysis

In de moderne digitale wereld zijn computers bijzonder goed geworden in het bekijken van afbeeldingen en het begrijpen van wat ze zien. Ze kunnen een kat, een auto of een specifiek type landschap identificeren met een nauwkeurigheid die die van het menselijk oog evenaart. Deze vaardigheid rust op complexe systemen genaamd neurale netwerken, die zijn ontworpen om de manier waarop het menselijk brein informatie verwerkt na te bootsen. Deze systemen slaan niet alleen een afbeelding op; ze breken deze af in lagen van interne signalen, waarbij specifieke paden worden geactiveerd om patronen te herkennen en betekenis toe te kennen. Jarenlang hebben wetenschappers aangenomen dat als een afbeelding er voor ons echt uitziet, de computer het op dezelfde manier ziet, ongeacht of de afbeelding is vastgelegd door een camera of is gecreëerd door een machine.

Echter, een nieuwe golf van kunstmatige intelligentie-tools kan nu afbeeldingen genereren die visueel niet te onderscheiden zijn van echte foto's. Deze synthetische afbeeldingen worden gecreëerd door modellen die leren van enorme bibliotheken van bestaande foto's en vervolgens nieuwe scènes vanaf nul opbouwen. Nu deze neppe afbeeldingen gebruikelijker worden in het nieuws, op sociale media en zelfs in wetenschappelijke data, rijst een kritische vraag: gelooft de computer echt dat de neppe afbeelding echt is? Als de interne machinerie van de computer een neppe afbeelding anders verwerkt dan een echte, zelfs wanneer beide exact dezelfde scène tonen, zou dit een verborgen gebrek kunnen onthullen in hoe deze machines de wereld waarnemen. Dit onderscheid is essentieel voor het behoud van vertrouwen in digitale media en om ervoor te zorgen dat geautomatiseerde systemen niet worden misleid door subtiele imperfecties die het menselijk oog niet kan zien.

Een team onderzoekers aan de Kansas State University zette zich af om precies deze vraag te onderzoeken. Ze wilden weten of de interne "gedachten" van een computer vision-systeem veranderen wanneer het naar een neppe afbeelding kijkt in vergelijking met een echte, zelfs wanneer de inhoud van de afbeelding identiek blijft. Hiervoor richtten ze zich op een specifiek type computermodel dat bekend staat als een convolutioneel neuraal netwerk, dat breed wordt gebruikt voor het herkennen van scènes en objecten. De onderzoekers vroegen de computer niet simpelweg om te raden of een afbeelding echt of nep was. In plaats daarvan keken ze in de "hersenen" van de machine om te zien hoe de neuronen — de basis eenheden van verwerking — vuren wanneer ze worden gepresenten aan verschillende soorten afbeeldingen.

Het team begon met het trainen van een computermodel om diverse realistische scènes te herkennen, zoals een woonkamer, een besneeuwde berg of een drukke straat. Nadat het model getraind was, gebruikten ze een krachtige tool voor beeldgeneratie om neppe versies van deze zelfde scènes te maken. Ze gebruikten twee verschillende methoden om deze neppers te maken. In de eerste methode gaven ze de generator een tekstuele beschrijving van de scène, waarbij de generator werd gevraagd een realistische foto te creëren op basis van enkel woorden. In de tweede methode leverden ze de generator de originele echte foto samen met een tekstuele beschrijving, waarbij de generator werd gevraagd de scène te recreëren terwijl de oorspronkelijke lay-out en structuur behouden bleven. Dit zorgde ervoor dat voor elke echte afbeelding een bijbehorende neppe afbeelding met dezelfde semantische inhoud aanwezig was, wat een directe vergelijking mogelijk maakte.

Met deze paren van echte en neppe afbeeldingen gereed, voedden de onderzoekers het getrainde computermodel. Terwijl de afbeeldingen door het systeem passeerden, registreerde het team de activiteit van de laatste laag neuronen, waar het model zijn uiteindelijke beslissingen neemt over wat het ziet. Vervolgens vergeleken ze de activatiepatronen van de echte afbeeldingen met hun neppe tegenhangers. Het doel was om te zien of de neuronen met dezelfde intensiteit en in dezelfde combinaties vuurden, of dat de neppe afbeeldingen een andere reactie binnen de machine veroorzaakten.

De resultaten waren duidelijk en consistent. De onderzoekers ontdekten dat neppe afbeeldingen de neuronen niet op dezelfde manier activeerden als echte afbeeldingen. Zelfs wanneer de neppe afbeeldingen er perfect uitzagen voor het menselijk oog, waren de interne signalen van de computer zwakker en minder georganiseerd. Specifiek zorgden de neppe afbeeldingen ervoor dat er minder neuronen vuurden, en de neuronen die wel vuurden, vertoonden vaak lagere niveaus van activiteit. Dit effect werd waargenomen bij verschillende soorten scènes en was consistent, of de neppe afbeeldingen nu werden gegenereerd vanuit tekst alleen of uit een combinatie van tekst en een originele afbeelding. De studie suggereert dat de computer subtiele structurele inconsistenties of ontbrekende details in de neppe afbeeldingen detecteert die niet voor ons duidelijk zijn, wat ertoe leidt dat de interne representatie van de scène in de machine minder robuust is.

Om er zeker van te zijn dat deze verschillen niet simpelweg werden veroorzaakt door het feit dat de neppe afbeeldingen van lagere kwaliteit of wazig waren, testten de onderzoekers hun theorie verder. Ze namen echte afbeeldingen en degradeerden deze bewust door JPEG-compressie en vervaging toe te passen, waarbij ze het soort schade nabootsten dat kan optreden tijdens transmissie of opslag. Hoewel deze gedegradeerde afbeeldingen wel degelijk enige veranderingen in de neuronactiviteit veroorzaakten, was het patroon van verandering niet hetzelfde als wat ze bij de neppe afbeeldingen zagen. De neppe afbeeldingen produceerden een distinctieve handtekening van verminderde activiteit die niet volledig verklaard kon worden door eenvoudige beelddegradatie. Dit geeft aan dat het verschil niet alleen gaat over het feit dat de afbeelding er "slecht" uitziet, maar over hoe de computer de synthetische data fundamenteel anders verwerkt dan de echte data.

De onderzoekers testten hun bevindingen ook met verschillende computermodellen en verschillende sets afbeeldingen om te zien of het resultaat standhield onder diverse omstandigheden. Ze herhaalden het experiment met een ander type neuraal netwerk en een andere tool voor beeldgeneratie. In elk geval bleef het patroon hetzelfde: de neppe afbeeldingen riepen een andere, en over het algemeen zwakkere, respons op van de verborgen lagen van de computer. Deze consistentie over verschillende opstellingen heen versterkt de conclusie dat het fenomeen een werkelijk kenmerk is van hoe deze systemen synthetische data verwerken.

De studie beweert niet dat het probleem van het detecteren van neppe afbeeldingen is opgelost, noch suggereert het dat deze methode alleen al klaar is om als universele detector te worden gebruikt. In plaats daarvan biedt het een fundamenteel inzicht in de aard van kunstmatige intelligentie. Het onthult dat zelfs wanneer een computer wordt misleid door het visuele uiterlijk van een neppe afbeelding, de interne machinerie weet dat er iets anders is. De neuronen lichten niet met dezelfde zelfverzekerdheid of helderheid op als bij een echte foto. Deze ontdekking opent een nieuwe deur voor toekomstig onderzoek. Door precies te begrijpen hoe deze interne signalen verschillen, kunnen wetenschappers mogelijk betere instrumenten ontwikkelen om synthetische media te identificeren, niet alleen door naar de pixels aan de oppervlakte te kijken, maar door te luisteren naar de stille, interne signalen van de machine zelf. Het werk suggereert dat de weg naar meer betrouwbare AI-veiligheid ligt in het begrijpen van deze verborgen lagen van verwerking, waar de waarheid van de afbeelding niet wordt onthuld door wat we zien, maar door hoe de computer denkt.