Do Vision Encoders Exhibit Human-like Color Thresholds?
Cette étude à grande échelle révèle que plus de 50 encodeurs de vision pré-entraînés, incluant à la fois des réseaux convolutifs et des transformeurs, échouent généralement à présenter des seuils de discrimination des couleurs semblables à ceux de l'humain, les modèles auto-supervisés étant les plus performants tout en montrant encore un faible alignement avec la sensibilité perceptuelle humaine.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La cécité chromatique de nos machines les plus intelligentes
Imaginez que vous regardiez un coucher de soleil. Pour vos yeux, le ciel n'est pas juste une grande tache orange ; c'est un dégradé fluide où certains changements infimes de couleur sont faciles à repérer, tandis que d'autres se fondent si parfaitement qu'on ne peut les distinguer. C'est ainsi que fonctionne la vision humaine : nos cerveaux sont incroyablement sensibles à certaines couleurs et moins sensibles à d'autres, créant une « carte » du monde qui n'est pas parfaitement uniforme. Les scientifiques connaissent cette sensibilité inégale depuis des décennies, cartographiant précisément à quel point une couleur doit changer avant que nous ne le remarquions.
Maintenant, imaginez que vous appreniez à un ordinateur à voir. Nous avons construit de gigantesques cerveaux numériques appelés « encodeurs de vision » capables de reconnaître des chats, des voitures et des nuages en étudiant des millions de photos. Ces machines sont les stars de l'intelligence artificielle moderne. Mais voici la grande question : ces cerveaux numériques voient-ils les couleurs comme nous ? Ont-ils leur propre version de cette « carte » inégale, remarquant les mêmes nuances subtiles dans une pomme rouge qu'un humain, ou voient-ils le monde à travers un prisme totalement différent, peut-être beaucoup plus étrange ? C'est le mystère qu'une nouvelle étude a cherché à résoudre, en testant si notre IA la plus avancée a accidentellement appris à voir comme un humain, ou si elle est toujours daltonienne d'une manière que nous n'avions jamais prévue.
Le grand test des couleurs : les cerveaux de l'IA voient-ils comme nous ?
Dans cette étude, une équipe de chercheurs a décidé de mettre à l'épreuve plus de 50 modèles de vision par IA différents. Considérez ces modèles comme une immense classe d'élèves, allant des réseaux « convolutionnels » classiques et anciens aux plus récents et super complexes « transformers », ainsi qu'à des modèles qui ont appris à voir en lisant des descriptions textuelles d'images. Les chercheurs voulaient savoir : ces machines possèdent-elles des seuils de couleur semblables à ceux de l'humain ?
Pour le découvrir, ils n'ont pas simplement demandé à l'IA de nommer des couleurs. Au lieu de cela, ils ont créé un jeu de « trouver la différence ». Ils ont choisi 18 couleurs de référence spécifiques (comme une nuance particulière de bleu ou de vert) et ont entouré chacune d'elles d'un nuage de couleurs légèrement différentes. Pour les humains, il existe une « zone de sécurité » connue autour de chaque couleur — une forme semblable à un ovale étiré (appelée ellipse de MacAdam) où tout changement de couleur à l'intérieur de cet ovale est invisible pour l'œil humain. Si l'on sort de cet ovale, même d'un cheveu, on peut soudainement voir la différence.
Les chercheurs ont ensuite injecté ces couleurs dans les modèles d'IA. Ils ont demandé à l'IA : « Laquelle de ces couleurs environnantes ressemble le plus à la couleur centrale ? » L'IA a répondu en créant sa propre « carte de similitude » dans son cerveau numérique. Si l'IA était semblable à l'humain, sa carte des « couleurs similaires » devrait parfaitement se superposer avec les ovales de la « zone de sécurité » humaine.
Les résultats : un décalage dans l'arc-en-ciel
Les conclusions ont été un véritable choc. L'étude a révélé que, de manière générale, ces modèles d'IA ne voient pas les couleurs comme les humains.
Même les modèles les plus performants n'ont correspondu à la sensibilité chromatique humaine que dans environ 25 % des cas (plus précisément, un score appelé mIoU était inférieur à 0,25). Pour mettre cela en perspective, si vous essayiez de correspondre parfaitement à la perception des couleurs d'un humain, ces modèles d'IA ne réussissaient pas plus d'un quart des détails. Ils n'étaient pas complètement aveugles aux couleurs, mais leur « carte » de l'arc-en-ciel était déformée.
Voici ce que l'étude a découvert sur les différents types d'élèves IA :
- Les élèves autodidactes ont gagné : Les modèles qui se sont enseignés à eux-mêmes en regardant des images sans aucune étiquette (auto-supervisés) ont fait le meilleur travail. Ils étaient les plus proches de la vision humaine, bien que loin d'être parfaits.
- Les apprenants de texte étaient des variables imprévisibles : Les modèles qui ont appris en associant des images à du texte (comme CLIP) étaient les plus imprévisibles. Certains étaient en tête de classe, tandis que d'autres étaient tout en bas. Ils étaient polarisés, ce qui signifie qu'ils soit comprenaient assez bien, soit se trompaient complètement.
- Plus gros n'est pas forcément mieux : On pourrait penser qu'un modèle d'IA géant et super complexe verrait mieux qu'un modèle plus petit et plus ancien. Mais l'étude a montré que l'augmentation de la taille du modèle ne résolvait pas automatiquement le problème. En fait, certains modèles plus anciens et plus petits (comme le classique VGG16) étaient aussi performants que les massifs modèles de fondation modernes. Cela suggère que le simple fait d'agrandir le cerveau ne lui apprend pas à voir les couleurs comme un humain.
- Le problème du bleu : L'IA a le plus de mal avec les couleurs bleues. Tout comme les humains ont du mal à distinguer des nuances de bleu très similaires, l'IA a rencontré ses plus grandes difficultés ici, se trompant souvent complètement sur les « zones de sécurité ».
Pourquoi cela importe
Les chercheurs suggèrent que la sensibilité aux couleurs de type humain n'apparaît pas naturellement simplement parce qu'une IA est entraînée sur de vastes quantités de photos. La méthode actuelle de formation de ces modèles semble privilégier d'autres aspects (comme la reconnaissance d'objets ou la compréhension du texte) au détriment des détails subtils et fins de la perception des couleurs.
L'étude conclut que, bien que ces modèles d'IA aient appris à organiser les couleurs de manière structurée (ils ne sont pas juste du bruit aléatoire), ils les organisent différemment de nous. Si vous utilisiez ces modèles pour des tâches exigeant une correspondance parfaite des couleurs — comme la restauration de peintures anciennes, la vérification de la maturité d'un fruit ou la conception d'art numérique — vous pourriez rencontrer des problèmes. L'IA pourrait penser que deux couleurs sont identiques alors qu'un humain voit clairement qu'elles sont différentes, ou inversement.
En résumé, nos yeux numériques deviennent meilleurs pour voir « l'image globale », mais ils apprennent encore à voir les petits détails colorés qui rendent notre monde réel. L'écart entre la façon dont une machine voit un coucher de soleil et la façon dont nous le voyons est encore immense.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.