Foveation as self-supervision signal: Blur masks beat blank masks for learning robust visual representations
Dit artikel으로e toont aan dat het vervangen van standaard blanco maskers door biologisch geïnspireerde onscherpe maskers (die retinale foveatie simuleren) in zelfgesuperviseerde vision transformer pre-training leidt tot robuustere en meer generaliseerbare visuele representaties door modellen aan te moedigen te leren van lagere ruimtelijke frequenties in plaats van te vertrouwen op hoogfrequente details.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Het menselijk oog is geen uniforme camera. Als je naar de wereld kijkt, is het centrum van je gezichtsveld ongelooflijk scherp, in staat om fijne details te onderscheiden zoals de textuur van een blad of de letters op een bord. Maar naarmate je blik naar de randen van je gezichtsveld beweegt, vervaagt die scherpte snel tot een zachte waas. Dit is geen gebrek; het is een kenmerk van hoe primaten zien. Elke keer dat je ogen naar een nieuwe plek springen, wordt een voorheen wazig gebied in focus gebracht, terwijl het gebied waar je net naar keek begint te vervagen. Wetenschappers vragen zich al lang af of deze constante cyclus van verscherpen en vervagen een doel dient dat verder gaat dan simpel zicht. Zou dit biologische ritme het brein daadwerkelijk kunnen leren hoe het de wereld effectiever kan begrijpen?
In het veld van kunstmatige intelligentie proberen onderzoekers computersystemen te bouwen die op een vergelijkbare manier leren zien. Een populaire methode houdt in dat men een computer een afbeelding laat zien waarbij grote stukken verborgen zijn, en de computer vraagt te raden wat er ontbreekt. Dit dwingt het systeem om de onderliggende structuur van objecten te leren, in plaats van alleen patronen te memoriseren. De meeste van deze systemen verbergen de ontbrekende delen echter door ze simpelweg om te zetten in een egaal, grijs vlak, waardoor ze effectief uit de afbeelding worden gewist. Dit nieuwe onderzoek suggereert dat het wissen van informatie niet de beste manier is om te leren. In plaats daarvan stellen de auteurs voor dat het nabootsen van de natuurlijke onscherpte van de menselijke perifere visie een veel krachtvollere leraar voor kunstmatige intelligentie zou kunnen zijn.
De onderzoekers, werkzaam aan Columbia University, zetten zich in om dit idee te testen met behulp van een type kunstmatig brein dat bekend staat als een vision transformer. Ze namen de standaardmethode van het verbergen van delen van een afbeelding en vervingen de egale grijze blokken door twee verschillende soorten visuele corruptie. Het eerste type maakte de verborgen secties simpelweg uniform wazig, alsof je door een beslagen raam naar een foto kijkt. Het tweede type was geavanceerder en ontworpen om het menselijk oog exact te kopiëren: het hield één klein plekje in de afbeelding perfect scherp, terwijl de rest van de afbeelding progressief vervaagde naarmate deze verder van dat punt verwijderd was. Vervolgens trainden ze deze computermodellen om de originele, heldere afbeeldingen te reconstrueren vanuit deze gecorrumpeerde versies.
De resultaten waren opmerkelijk. Wanneer de onderzoekers testten hoe goed deze modellen objecten herkenden in nieuwe, schone afbeeldingen, presteerden de modellen die getraind waren met onscherpte en de oogachtige maskeringpatronen aanzienlijk beter dan de standaardmodellen die grijze blokken gebruikten. Dit voordeel bleef bestaan, zelfs toen de onderzoekers de taak moeilijker maakten door meer van de afbeelding te verbergen, de computer minder tijd te geven om te leren, of minder trainingsvoorbeelden te bieden. De modellen die leerden van onscherpte waren simpelweg robuuster. Ze gingen niet zo gemakkelijk kapot wanneer de omstandigheden moeilijk waren, wat suggereert dat ze een dieper, flexibeler begrip hadden van hoe een object eruitziet.
Om te begrijpen waarom dit gebeurde, keken het team nauwgezet naar welke informatie de modellen daadwerkelijk gebruikten om hun beslissingen te nemen. Ze ontdekten dat de standaardmodellen, getraind met egale grijze blokken, de neiging hadden om zwaar te vertrouwen op hoogfrequente details—de scherpe randen en fijne texturen die gemakkelijk kunnen worden verward door ruis of verstoring. In contrast hiermee richtten de modellen die getraind waren met onscherpte hun aandacht op de laagfrequente informatie, wat overeenkomt met de brede vormen en de algemene structuur van objecten. Deze verschuiving in focus bleek de sleutel tot hun succes. De onderzoekers vonden een direct verband tussen dit gedrag en de prestaties: hoe meer een model vertrouwde op fijne, scherpe details, hoe slechter het presteerde bij het herkennen van objecten. De modellen die de onscherpte omarmden, en daarmee de bredere vormen, waren degenen die het beste generaliseerden.
De studie onderzocht ook of de computer simpelweg leerde de onscherpte te herstellen, zoals een fotobewerker een filter ongedaan maakt. Door de modellen te testen op afbeeldingen die volledig wazig waren zonder scherpe delen om uit af te leiden, toonden de onderzoekers aan dat de modellen iets veel complexers deden. Ze hadden geleerd de structurele relaties binnen de afbeelding zelf te herkennen, en niet alleen hoe een specifieke verstoring ongedaan moest maken. Dit suggereert dat het proces van het voorspellen van fijne details vanuit een wazige context het kunstmatige brein dwingt om een stabielere en nauwkeurigere interne kaart van de wereld op te bouwen.
Dit werk biedt een overtuigende reden om naar de biologie te kijken voor inspiratie in kunstmatige intelligentie. Door het kunstmatige wissen van informatie te vervangen door een proces dat het natuurlijke, geleidelijke verlies van detail in de menselijke perifere visie nabootst, creëerden de onderzoekers een leersignaal dat veel effectiever is. De bevindingen suggereren dat de manier waarop onze ogen de wereld natuurlijk scannen, waarbij ze voortdurend scherpte inruilen voor een breder beeld, een ingebouwde les in robuustheid biedt. Voor de machines die we bouwen om te zien, is de les duidelijk: soms is de wereld een beetje minder scherp zien de beste manier om haar te begrijpen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.