Systematic comparison of color representations between humans and deep neural networks: towards predicting human color perception in a vast color space
Deze studie vergelijkt systematisch kleurrepresentaties over zelfgesuperviseerde, gesuperviseerde en op CLIP getrainde diepe neurale netwerken met behulp van Gromov-Wasserstein Optimal Transport om aan te tonen dat hoewel de vroege lagen van alle paradigma's overeenstemmen met de menselijke perceptie, alleen CLIP deze structurele congruentie behoudt bij de output, wat betrouwbare voorspellingen van de menselijke kleurperceptie mogelijk maakt over enorme, voorheen onverkende kleurruimten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je voor dat je probeert in kaart te brengen hoe mensen de hele wereld van kleuren zien. Lange tijd hebben wetenschappers dit gedaan door mensen paren kleuren te laten vergelijken, zoals: "Lijkt dit rood meer op oranje of op paars?" Maar dit is alsof je een heel continent probeert in kaart te brengen door slechts een paar stappen tegelijk te zetten. Het duurt eeuwig en we hebben alleen de "buurten" van vergelijkbare kleuren verkend, waardoor het enorme, wereldwijde landschap van 4.000+ kleuren een mysterie blijft.
Om dit op te lossen, besloten de onderzoekers om Deep Neural Networks (DNN's) te gebruiken als digitale detectives. Denk aan deze netwerken als kunstmatige hersenen die hebben geleerd om te zien. De grote vraag was: Welk type kunstmatig brein ziet kleuren het meest zoals een mens dat doet?
Ze testten drie verschillende "trainingskampen" voor deze digitale hersenen:
- Self-Supervised Learning (SSL): Het brein leert door naar miljoenen foto's te kijken op eigen houtje, waarbij het probeert patronen te ontdekken zonder hulp.
- Supervised Learning (SL): Het brein leert door naar foto's te kijken terwijl een leraar wijst en zegt: "Dat is een kat," "Dat is een hond."
- CLIP: Het brein leert door foto's te koppelen aan hun geschreven beschrijvingen (zoals "een rode appel" of "een blauwe lucht").
Om te zien of deze digitale hersenen overeenkwamen met het menselijk zicht, gebruikten de onderzoekers een speciaal wiskundig hulpmiddel genaamd Gromov-Wasserstein Optimal Transport (GWOT). Je kunt dit zien als een superprecieze "vormveranderaar" die probeert de kleurkaart van het digitale brein en de menselijke kaart van kleuren samen te vouwen en te kijken of ze perfect op elkaar passen.
Dit is wat ze vonden:
- De Vroege Lagen: Wanneer ze naar de "vroege denkprocessen" van alle drie de soorten netwerken keken, deden ze het allemaal erg goed. Ze waren als leerlingen die al hadden geleerd om een rode appel van een groene te onderscheiden, net zo goed als een mens dat zou kunnen.
- Het Eindoordeel: Echter, naarmate de informatie dieper in de netwerken reisde, veranderde er iets.
- De Self-Supervised en Supervised netwerken begonnen af te dwalen van de menselijke perceptie tegen de tijd dat ze bij hun uiteindelijke antwoord kwamen. Ze ontwikkelden hun eigen unieke, niet-menselijke manieren om kleuren te organiseren.
- CLIP was de winnaar. Het was het enige netwerk dat zijn "menselijke" kleurkaart helemaal tot het einde toe behield. Zelfs nadat alle informatie was verwerkt, zag het uiteindelijke kleurbeeld van CLIP er nog steeds structureel hetzelfde uit als hoe mensen kleur zien.
Het Grotere Plaatje:
De onderzoekers gebruikten dit winnende netwerk (CLIP) vervolgens om een enorm gebied van 4.096 kleuren te verkennen — een schaal die mensen decennia zouden kosten om in een laboratorium te testen. Het netwerk stopte niet alleen bij de kleuren die we kennen; het genereerde een volledige, gestructureerde kaart van hoe deze duizenden kleuren zich tot elkaar verhouden.
Kortom, dit artikel laat zien dat door een AI te trainen om afbeeldingen met woorden te koppelen (CLIP), we een hulpmiddel krijgen dat kleuren ziet zoals wij dat doen. We kunnen dit hulpmiddel nu gebruiken om te voorspellen hoe mensen uitgestrekte, ongeteste werelden van kleur zouden waarnemen, wat fungeert als een kompas voor toekomstige wetenschappelijke exploratie zonder dat daarvoor eindeloze, tijdrovende experimenten op echte mensen nodig zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.