Adopting a human developmental visual diet yields robust, shape-based AI vision

Dit onderzoek toont aan dat kunstmatige visiesystemen robuuster en meer op de mens gelijkend worden door ze te trainen met een ontwikkelingsvisueel dieet dat is geïnspireerd op de menselijke visuele ontwikkeling, wat leidt tot een sterkere focus op vorm in plaats van textuur en een betere weerstand tegen verstoringen.

De kern

Titel: Waarom AI beter leert als het "baby" is: De kracht van een ontwikkelingsdieet

Stel je voor dat je een baby wilt leren lopen. Je zou die baby toch niet direct op een gladde, perfecte ijsbaan zetten en verwachten dat hij meteen hard loopt? Nee, je begint op de vloer, laat hem kruipen, dan staan, en pas later rennen. Je geeft hem een geleidelijke leeromgeving.

Nu, hoe trainen we kunstmatige intelligentie (AI) momenteel? We gooien er direct de hele wereld van foto's bij, in de allerhoogste resolutie, en zeggen: "Leer dit!" Het probleem is dat AI hierdoor een rare manier van kijken ontwikkelt.

Het probleem: AI kijkt naar vachtjes, niet naar vormen
Mensen kijken naar de vorm van een object. Als je een hond ziet, zie je de vorm van het hoofd en de poten. Een AI kijkt echter vaak naar de textuur. Als je een AI een foto van een hond toont met de textuur van een olifant (bijvoorbeeld grijs en ruw), denkt de AI: "Oh, dit is een olifant!" omdat hij de textuur herkent, maar de vorm negeert.

Dit maakt AI kwetsbaar. Als je een foto een beetje wazig maakt, of er ruis op zet, of als iemand een slimme trucje (een aanval) gebruikt om de foto te verstoren, raakt de AI volledig in de war. Een mens ziet nog steeds een hond, maar de AI ziet niets meer.

De oplossing: Het "DVD"-dieet (Developmental Visual Diet)
De onderzoekers van dit paper hebben een slim idee bedacht: Laten we AI trainen zoals een baby leert zien.

Ze hebben een nieuw trainingsprogramma bedacht, het DVD (Developmental Visual Diet). In plaats van AI direct met scherpe foto's te voeden, geven ze hen een "dieet" dat evolueert, net als de visuele ontwikkeling van een mens van pasgeborene tot 25 jaar.

Hoe werkt dit dieet? Het heeft drie hoofdingrediënten:

1. Wazig zien (Visuele scherpte): Net als een pasgeborene die wazig ziet, krijgen de AI-modellen in het begin erg wazige foto's. Ze kunnen geen fijne details zien, alleen grote vormen.
2. Grijs zien (Kleuren): Baby's zien kleuren niet zo goed. In het begin krijgen de AI-modellen dus zwart-wit foto's.
3. Zwak contrast (Helderheid): Baby's hebben moeite met licht en donker. De AI krijgt eerst foto's waar het contrast heel laag is, zodat ze alleen de duidelijkste contouren zien.

Naarmate de AI "oudere" wordt in het trainingsproces, worden de foto's scherper, kleurrijker en contrastrijker. Het is alsof je de brillen van de AI langzaam aanpast.

Het resultaat: Een slimme, menselijke AI
Wat gebeurde er toen ze dit deden? Het was alsof ze de AI een hersenoperatie hadden gegeven, maar dan zonder de operatie!

• Ze kijken naar vormen: De AI die dit dieet kreeg, leerde om te kijken naar de vorm van een object, net als wij. Ze werden zelfs beter in het herkennen van vormen dan de beste AI-modellen die we tot nu toe hadden.
• Ze zijn niet meer te manipuleren: Omdat ze naar de grote vorm kijken in plaats van naar kleine details, zijn ze veel moeilijker te bedriegen. Als je een foto een beetje wazig maakt of er ruis op zet, blijft de AI rustig en ziet hij nog steeds wat er op de foto staat.
• Ze zien verborgen vormen: Mensen kunnen een vorm (bijvoorbeeld een fiets) herkennen die verstopt zit in een drukke achtergrond (zoals in een bos). Normale AI's zien hier alleen maar "bos". De AI met het DVD-dieet zag echter de fiets!

De belangrijkste les: Hoe je leert, is belangrijker dan wat je leert
De grootste ontdekking is niet dat de AI meer foto's heeft gezien, maar hoe hij ze heeft gezien.
Stel je voor dat je een taal leert. Als je direct met complexe boeken begint, leer je misschien woorden, maar je begrijpt de zinsbouw niet. Als je begint met simpele tekeningen en geluiden, en langzaam opbouwt, bouw je een stevige basis.

De onderzoekers laten zien dat "moeilijk beginnen" (met wazige, grijze beelden) de AI juist sterker maakt. Het dwingt de AI om eerst de grote lijnen te begrijpen, voordat hij zich verdiept in details.

Conclusie
Dit onderzoek is een grote stap voorwaarts. Het laat zien dat we veiliger en slimmere AI kunnen bouwen door niet alleen te kijken naar hoe groot de computer is, maar door te kijken naar hoe we hem laten opgroeien. Door AI een menselijk "ontwikkelingsdieet" te geven, krijgen we systemen die niet alleen slimmer zijn, maar ook veiliger en meer lijken op hoe wij de wereld zien.

Kortom: Geef je AI een kindertijd, en hij zal opgroeien tot een volwassene die de wereld echt begrijpt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Adopting a human developmental visual diet yields robust and shape-based AI vision" in het Nederlands.

Probleemstelling

Ondanks de enorme schaalvergroting en verbeterde prestaties van kunstmatige intelligentie (AI) systemen, bestaat er een fundamentele misalignering tussen menselijke en kunstmatige visie.

• Textuur- vs. Vormbias: Mensen vertrouwen bij het herkennen van objecten primair op vorminformatie (shape), terwijl AI-systemen (zoals Deep Neural Networks of DNN's) sterk afhankelijk zijn van textuureigenschappen.
• Fragiliteit: AI-systemen zijn kwetsbaar voor beeldvervormingen (zoals ruis of wazigheid), adversarial attacks (geoptimaliseerde verstoringen die het model misleiden) en hebben moeite met het herkennen van abstracte vormen in complexe achtergronden.
• Oorzaak: Het artikel stelt dat deze problemen voortkomen uit het verschil in "visuele opvoeding". AI-systemen worden getraind met direct hoge-resolutie input, terwijl het menselijk visuele systeem zich geleidelijk ontwikkelt van de geboorte tot volwassenheid, met beperkingen in visuele scherpte, contrastgevoeligheid en kleurensensitiviteit in de vroege stadia.

Methodologie: Developmental Visual Diet (DVD)

De auteurs introduceren een nieuwe trainingsparadigma genaamd Developmental Visual Diet (DVD). In plaats van AI-systemen direct bloot te stellen aan heldere, hoogwaardige beelden, wordt het model getraind volgens een curriculum dat de natuurlijke ontwikkeling van het menselijk gezichtsvermogen nabootst (van newborn tot 25 jaar).

De DVD-pipeline is een voorverwerkingsstap die drie kernaspecten van visuele maturatie simuleert:

1. Visuele Scherpte (Visual Acuity): Beelden worden vervormd met een Gaussische blur ($\sigma$) die afneemt naarmate het model "oudere" wordt, gebaseerd op Snellen-gegevens.
2. Contrastgevoeligheid (Contrast Sensitivity): In het frequentiedomein worden zwakke signaalcomponenten (die voor een ontwikkelend oog onzichtbaar zouden zijn) verwijderd of gedempt. Dit wordt geregeld door een dynamische amplitude-drempel.
3. Kleurgevoeligheid (Chromatic Sensitivity): De kleurtrouw van de beelden wordt geleidelijk opgevoerd van zwart-wit (pasgeborene) naar vol kleur (volwassene), gebaseerd op empirische psychofysische data.

Hyperparameters:

• $\alpha$: Zet de trainingsepochs om in ontwikkelingsmaanden (temporele resolutie).
• $\beta$: Stelt de initiële contrastdrempel in.
• $\lambda$: Regelt de snelheid van de verbetering van de contrastgevoeligheid.

De auteurs testten dit op diverse architecturen (ResNet-50, ViT, etc.) en datasets (mini-ecoset, ecoset, ImageNet-1K), zowel voor supervised als self-supervised learning.

Belangrijkste Bijdragen en Resultaten

1. Menselijke Vormbias (Shape Bias)

• Resultaat: DVD-getrainde modellen vertonen een vormbias die aanzienlijk dichter bij die van mensen ligt dan bestaande state-of-the-art modellen.
• Data: Terwijl standaard ResNet-50 modellen een vormbias van ~0.34 hebben (ze kiezen vaak voor textuur), bereikt het DVD-S model een bias van 0.90 (binnen het menselijke bereik van 0.90–0.97).
• Vergelijking: Dit presteert beter dan grote foundation modellen (zoals CLIP, GPT-4o) en andere geavanceerde architecturen, ondanks dat DVD-modellen vaak op kleinere datasets zijn getraind.

2. Abstracte Vormherkenning

• Test: Gebruik van de IllusionBench-dataset, waar abstracte vormen verborgen zitten in complexe natuurlijke scènes.
• Resultaat: Standaard modellen en zelfs grote Vision-Language Models (VLMs) falen hier vaak en vertrouwen op de achtergrondscène. DVD-getrainde modellen (DVD-S) behaalden een shape recall van 36.21%, wat aanzienlijk hoger is dan de beste concurrenten (bijv. ViT-L op 17.13%).
• Interpretatie: De interne representaties van DVD-modellen clusteren beelden op basis van abstracte vorm, terwijl andere modellen clusteren op basis van de scène-context.

3. Robuustheid tegen Vervormingen en Aanvallen

• Beeldvervormingen: DVD-modellen vertonen een veel zachtere degradatie in prestaties bij toename van ruis, blur, weersinvloeden en kwaliteitsverlies, wat sterk lijkt op menselijk gedrag. Ze zijn tot 2-4 keer robuuster dan basismodellen bij zware vervormingen.
• Adversarial Attacks: DVD-modellen zijn aanzienlijk minder gevoelig voor zowel black-box als white-box aanvallen (zoals FGSM, PGD).
• Efficiëntie: In vergelijking met traditionele adversarial training (AT) biedt DVD training vergelijkbare of betere robuustheid, maar vereist 4,62 keer minder rekentijd.

4. Rol van Contrastgevoeligheid

Door gecontroleerde "rearing"-experimenten (waarbij slechts één factor per keer werd geactiveerd) bleek dat ontwikkeling van contrastgevoeligheid de belangrijkste drijvende kracht is voor het ontstaan van vormbias en robuustheid, meer nog dan visuele scherpte of kleur. Dit weerlegt eerdere aannames dat alleen blur (scherpte) de sleutel was.

Significantie en Conclusie

Dit onderzoek demonstreert dat het hoe een model leert (de leercurriculum en de kwaliteit van de input tijdens de "ontwikkeling") minstens zo belangrijk is als hoeveel het leert (schaal van data en parameters).

• Paradigmaverschuiving: Het biedt een resource-efficiënte route naar veiligere, menselijker AI-systemen zonder de noodzaak van exorbitante rekenkracht of data-massa.
• Biologische Validatie: De resultaten ondersteunen het hypothese dat een vroege periode van "slecht" zien (beperkte input) essentieel is voor het ontwikkelen van robuuste, configurale visuele verwerking in de hersenen.
• Toekomst: De methode biedt een testomgeving om voorspellingen te doen over menselijke visuele ontwikkeling en de effecten van medische ingrepen (zoals het verwijderen van congenitale cataracten) te simuleren.

Kortom, door AI-systemen een "menselijke visuele opvoeding" te geven, kunnen we de kloof tussen menselijke en kunstmatige visie overbruggen, wat leidt tot systemen die beter generaliseren, robuuster zijn en menselijk gedrag nauwkeuriger nabootsen.