Systematic comparison of color representations between humans and deep neural networks: towards predicting human color perception in a vast color space
Cette étude compare systématiquement les représentations de couleurs à travers des réseaux de neurones profonds auto-supervisés, supervisés et entraînés via CLIP en utilisant le transport optimal de Gromov-Wasserstein pour démontrer que, bien que les couches initiales de tous les paradigmes s'alignent sur la perception humaine, seul CLIP maintient cette congruence structurelle au niveau de la sortie, permettant ainsi des prédictions fiables de la perception humaine des couleurs à travers de vastes espaces de couleurs, jusqu'alors inexplorés.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez de cartographier la façon dont les humains perçoivent l'univers entier des couleurs. Pendant longtemps, les scientifiques ont procédé ainsi en demandant aux gens de comparer des paires de couleurs, du type : « Est-ce que ce rouge ressemble plus à de l'orange ou au violet ? » Mais c'est comme essayer de cartographier un continent entier en ne faisant que quelques pas à la fois. Cela prend une éternité, et nous n'avons exploré que les « quartiers » de couleurs similaires, laissant le vaste paysage mondial de plus de 4 000 couleurs dans le mystère.
Pour résoudre ce problème, les chercheurs ont décidé d'utiliser des Réseaux de Neurones Profonds (DNN) comme des détectives numériques. Voyez ces réseaux comme des cerveaux artificiels qui ont appris à voir. La grande question était : Quel type de cerveau artificiel voit les couleurs de la manière la plus proche de celle d'un humain ?
Ils ont testé trois différents « camps d'entraînement » pour ces cerveaux numériques :
- L'Apprentissage Auto-Supervisé (SSL) : Le cerveau apprend en regardant des millions de photos par lui-même, en essayant de comprendre les motifs sans aucune aide.
- L'Apprentissage Supervisé (SL) : Le cerveau apprend en regardant des photos pendant qu'un enseignant pointe du doigt et dit : « Ça, c'est un chat », « Ça, c'est un chien ».
- CLIP : Le cerveau apprend en associant des photos à leurs descriptions écrites (comme « une pomme rouge » ou « un ciel bleu »).
Pour voir si ces cerveaux numériques correspondaient à la vision humaine, les chercheurs ont utilisé un outil mathématique spécial appelé Transport Optimal de Gromov-Wasserstein (GWOT). Vous pouvez considérer cela comme un « métamorphe » super précis qui essaie de replier la carte des couleurs du cerveau numérique et la carte des couleurs de l'humain pour voir si elles s'emboîtent parfaitement.
Voici ce qu'ils ont découvert :
- Les Couches Précoces : Lorsqu'ils ont examiné les parties de la « pensée précoce » des trois types de réseaux, ils ont tous fait du bon travail. Ils étaient comme des apprentis qui avaient déjà appris à distinguer une pomme rouge d'une pomme verte aussi bien qu'un humain pourrait le faire.
- Le Verdict Final : Cependant, à mesure que l'information voyageait plus profondément dans les réseaux, les choses changeaient.
- Les réseaux Auto-Supervisés et Supervisés ont commencé à s'éloigner de la perception humaine au fur et à mesure qu'ils atteignaient leur réponse finale. Ils ont développé leurs propres manières uniques et non humaines d'organiser les couleurs.
- CLIP a été le vainqueur. C'était le seul réseau qui a conservé sa carte des couleurs « humaine » jusqu'au bout. Même après avoir traité toute l'information, sa vision finale de la couleur ressemblait toujours structurellement à la façon dont les humains voient les couleurs.
L'Image Globale :
Les chercheurs ont ensuite utilisé ce réseau gagnant (CLIP) pour explorer un territoire massif de 4 096 couleurs — une échelle qui prendrait des décennies aux humains pour être testée en laboratoire. Le réseau ne s'est pas contenté de s'arrêter aux couleurs que nous connaissons ; il a généré une carte complète et structurée de la manière dont ces milliers de couleurs sont liées entre elles.
En bref, cet article montre qu'en entraînant une IA à associer des images à des mots (CLIP), nous obtenons un outil qui voit les couleurs tout comme nous. Nous pouvons désormais utiliser cet outil pour prédire comment les humains percevraient de vastes mondes de couleurs non testés, agissant comme une boussole pour la future exploration scientifique sans avoir besoin de mener d'innombrables et chronophages expériences sur de vraies personnes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.