Stel je voor dat je een kind leert om een hond te herkennen. Je laat het kind foto's zien van een Golden Retriever die rent, slaapt en springt. Daarna laat je een foto van een Poedel zien. Hoewel de Poedel er anders uitziet, weet het kind direct: "Dat is een hond!" Het kind heeft het idee van een hond geleerd, niet alleen de specifieke vorm. Dit vermogen om dingen te herkennen in nieuwe situaties, vooral wanneer ze op hun zij of ondersteboven worden gedraaid, is de heilige graal van zowel menselijke hersenen als kunstmatige intelligentie. Een tijdlang waren wetenschappers door elkaar geraasd door de vraag waarom onze computerehersenen — die we Deep Neural Networks (DNN's) noemen — zo goed zijn in het spotten van dingen op foto's, maar vaak volledig in de war raken wanneer diezelfde dingen op een manier worden gedraaid die ze nog niet eerder hebben gezien. Het is als een robot die een kopje op een tafel kan identificeren, maar denkt dat een kopje op zijn kant een compleet ander object is. Begrijpen hoe deze digitale hersenen leren omgaan met nieuwe hoeken is cruciaal, omdat de echte wereld vol zit met objecten die elke seconde draaien, kantelen en van perspectief veranderen.

Dit artikel duikt in dat mysterie en stelt een simpele maar diepgaande vraag: kunnen deze computerehersenen leren om objecten in "nieuwe" oriëntaties te herkennen door slechts een paar voorbeelden te zien, of moeten ze elke hoek uit het hoofd leren? De onderzoekers zetten een slim experiment op waarbij ze AI-modellen trainden op een mix van "volledig geziene" objecten (getoond in elke mogelijke rotatie) en "gedeeltelijk geziene" objecten (getoond in slechts een paar specifieke hoeken). Vervolgens testten ze de AI op die gedeeltelijk geziene objecten wanneer deze werden gedraaid naar gloednieuwe, "out-of-distribution" (buiten de distributie liggende) hoeken. De resultaten zijn fascinerend: de AI kan generaliseren naar nieuwe hoeken, maar alleen op zeer specifieke, voorspelbare manieren. Het blijkt dat als je de AI genoeg verschillende voorbeelden van "volledig geziene" objecten laat zien, het begint met het bouwen van een soort interne kaart. Deze kaart stelt de AI in staat om een gedeeltelijk gezien object te herkennen wanneer het gedraaid is, maar alleen als die rotatie een eenvoudige 2D-draaiing is (zoals een pagina omslaan) of een spiegeling waarbij het silhouet of de schaduw van het object herkenbaar blijft. Het onderzoek suggereert dat dit gebeurt omdat de interne "neuronen" (de kleine verwerkingseenheden binnen het netwerk) van de AI leren om specifieke kenmerken te spotten — zoals een vleugel of een wiel — die hetzelfde blijven, zelfs wanneer het object beweegt. Deze kenmerkdetectoren, getraind op de volledig geziene objecten, lijken als een brug te fungeren die de kennis naar de gedeeltelijk geziene objecten "verspreidt", waardoor de AI het onbekende kan herkennen. De auteurs merken echter voorzichtig op dat dit geen magie is; de AI heeft nog steeds moeite met complexe 3D-draaiingen die delen van het object verbergen (zelfobscuratie), en deze bevindingen zijn gebaseerd op simulaties met specifieke datasets, en niet op een universele wet van alle intelligentie.

Het verhaal van het draaiende vliegtuig

Beschouw een Deep Neural Network als een zeer enthousiaste, maar ietwat rigide student die probeert het alfabet te leren. Als je de letter "A" alleen in het rood laat zien, kan de student falen bij een blauwe "A" of een "A" geschreven in cursief schrift. In de wereld van computer vision is deze student een Deep Neural Network (DNN), en de "letters" zijn objecten zoals vliegtuigen, auto's of vreemde geometrische vormen. Het grote probleem is dat deze netwerken meestal slecht zijn in het herkennen van objecten wanneer ze gedraaid zijn op manieren die ze tijdens de training niet hebben gezien. Als je een netwerk traint op een foto van een vliegtuig dat rechtuit vliegt, en je laat het daarna een vliegtuig zien dat een barrelroll maakt, raakt het netwerk vaak in paniek en zegt: "Ik weet niet wat dat is!"

De onderzoekers in dit artikel wilden uitzoeken waarom dit gebeurt en of er een verborgen regelboek is dat het netwerk volgt. Ze gooiden niet zomaar willekeurige plaatjes naar de AI; ze richtten een zeer specififieke trainingskamp in. Stel je voor dat ze 50 verschillende speelgoedvliegtuigjes hadden. Voor sommige van deze vliegtuigen lieten ze de AI elke denkbare hoek zien — voorkant, achterkant, ondersteboven, op zijn zijkant, en alles daartussenin. Deze noemden ze de "volledig geziene" vliegtuigen. Voor de andere vliegtuigen lieten ze de AI slechts een klein deel van de hoeken zien, zoals alleen de neus die naar beneden wijst. Dit waren de "gedeeltelijk geziene" vliegtuigen.

Toen kwam de test. De onderzoekers namen de "gedeeltelijk geziene" vliegtuigen en draaiden ze in volledig nieuwe, "out-of-distribution" (OoD) hoeken die de AI nog nooit eerder had gezien. Zou de AI falen? Of zou hij het op de een of andere manier toch begrijpen?

De magie van de "2D-draaiing"

Het antwoord was een mix van "ja" en "nee", maar met een zeer interessante wending. De AI werd inder je wel beter in het herkennen van de gedeeltelijk geziene vliegtuigen, maar alleen als de nieuwe hoek een specifiek soort rotatie was.

De onderzoekers ontdekten dat de AI uitblonk in het herkennen van objecten wanneer ze geroteerd werden op een manier die leek op een 2D-draaiing (zoals een foto op een tafel draaien) of een spiegeling waarbij de schaduw (het silhouet) van het object er vergelijkbaar uitzag. Bijvoorbeeld, als de AI een vliegtuig van voren ziet, kan hij het vaak ook van achteren herkennen, omdat de "schaduw" van het vliegtuig van voren en van achteren erg op elkaar lijkt. Het is alsof je het gezicht van iemand herkent, zelfs als diegene wegkijkt, omdat je weet dat de vorm van het hoofd niet is veranderd.

Echter, als het vliegtuig op een complexe 3D-manier gedraaid werd waardoor delen van zichzelf verborgen werden (zoals een vliegtuig dat een rol maakt waardoor de vleugel het zicht op de romp blokkeert), raakte de AI in de war. Het artikel suggereert dat de AI moeite heeft met deze "zelfobscurerende" hoeken omdat het de vertrouwde kenmerken niet meer kan zien die het erop vertrouwt.

De "Kenmerkdetective"-theorie

Hoe doet de AI dit dan? De auteurs stellen een theorie voor die erg lijkt op hoe onze eigen hersenen zouden werken. Ze keken in het "brein" van de AI (het neurale netwerk) en observeerden hoe de individuele neuronen vuurden. Ze ontdekten dat bepaalde neuronen fungeren als kenmerkdetectives.

Stel je een neuron voor dat een detective is voor "vleugels". Wanneer de AI een volledig gezien vliegtuig ziet, leert deze detective dat "vleugels" een essentieel onderdeel van een vliegtuig zijn, ongeacht hoe het vliegtuig gedraaid is. De detective wordt erg goed in het spotten van vleugels vanuit al die verschillende hoeken. Nu, wanneer de AI een nieuw vliegtuig ziet (een gedeeltelijk gezien vliegtuig) dat het alleen vanuit een paar hoeken heeft gezien, is diezelfde "vleugeldetective" er nog steeds. Zelfs als de AI dit specifieke nieuwe vliegtuig nog niet vanuit elke hoek heeft gezien, herkent de detective de vleugels en zegt: "Hé, ik ken dit kenmerk! Dit moet wel een vliegtuig zijn!"

Het artikel suggereert dat de "invariantie" (het vermogen om iets te herkennen ondanks veranderingen) die geleerd is door de volledig geziene vliegtuigen, wordt gedissemineerd, of verspreid, naar de gedeeltelijk geziene vliegtuigen. Het is alsof de volledig geziene vliegtuigen de leraren zijn, en zij dragen hun kennis over van "wat een vliegtuig tot een vliegtuig maakt" aan de gedeeltelijk geziene leerlingen. Hoe meer volledig geziene vliegtuigen de AI traint, hoe sterker deze onderwijzing wordt, en hoe beter de AI wordt in het herkennen van de lastige nieuwe hoeken.

De regels van het spel

De onderzoekers gokten niet zomaar; ze bouwden een wiskundig model om precies te voorspellen welke hoeken de AI wel en welke de AI niet zou krijgen. Hun model had drie hoofdingrediënten:

1. Kleine hoekrotaties: Als de nieuwe hoek slechts een klein beetje anders is dan wat de AI heeft gezien, is het meestal makkelijk.
2. In-plane rotaties: Als het object gewoon plat draait (zoals een 2D-rotatie), is de AI er goed in.
3. Silhouet-gelijkenis: Als de schaduw van het object vanuit de nieuwe hoek er hetzelfde uitziet als vanuit de oude hoek, kan de AI het aan.

Toen ze hun model testten tegen de werkelijke AI-resultaten, was het een perfecte match. Het model kon het succespercentage van de AI met hoge nauwkeurigheid voorspellen. Dit bevestigt dat de AI niet zomaar gokt; het volgt een logische set regels gebaseerd op hoe het de wereld ziet.

Wat dit betekent voor de toekomst

Het artikel concludeert dat hoewel deze computerehersenen nog niet perfect zijn, ze iets doen dat opvallend veel lijkt op biologische hersenen. Ze gebruiken specifieke kenmerken om een besef te creëren van "wat dit object is" dat standhoudt bij rotatie. Ze zijn echter nog steeds beperkt. Ze kunnen de complexe 3D-draaiingen die delen van het object verbergen niet zo goed aan als mensen. De auteurs suggereren dat we deze netwerken in de toekomst misschien kunnen leren om te leren van video (temporele associatie) in plaats van alleen van statische foto's, net zoals baby's leren door te kijken naar de dingen die om hen heen bewegen.

Voor nu geeft deze studie ons een heldere kaart van waar deze AI-systemen slagen en waar ze falen. Het laat zien dat als we slimmere AI willen die onze 3D-wereld kan navigeren, we ze niet alleen moeten leren hoe objecten eruitzien, maar ook hoe hun schaduwen en kenmerken veranderen terwijl ze draaien. Het is een kleine stap, maar een stap richting het bouwen van machines die de wereld echt kunnen zien zoals wij dat doen.