Systematic comparison of color representations between humans and deep neural networks: towards predicting human color perception in a vast color space

Resumo Técnico: Comparação Sistemática de Representações de Cores entre Humanos e Redes Neurais Profundas

Problema
A estrutura representacional da percepção de cores humana em larga escala permanece incompletamente compreendida. Embora estudos psicofísicos clássicos tenham medido inúmeros pares de cores, esses experimentos são limitados pelos custos de tempo, restringindo seu escopo à comparação de cores semelhantes. Consequentemente, explorar as relações globais entre milhares de cores tem sido inviável. Embora as redes neurais profundas (DNNs) tenham emergido como ferramentas promissoras para servir como substitutos para a percepção humana além dos limites dos experimentos tradicionais, duas lacunas críticas permanecem:

1. Não está claro quais arquiteturas específicas de DNN possuem embeddings que se alinham geometricamente com a percepção de cores humana.
2. Não se sabe qual paradigma de aprendizado permite que as DNNs adquiram representações de cores que correspondam estruturalmente à percepção humana.

Metodologia
Para abordar essas lacunas, os autores conduziram uma investigação sistemática comparando embeddings de DNN contra julgamentos de similaridade humana. O estudo focou em três paradigmas de aprendizado distintos:

• Aprendizado Autossupervisionado (SSL): Treinado apenas em imagens.
• Aprendizado Supervisionado (SL): Treinado em imagens com rótulos de categoria.
• Pré-treinamento Contrastivo de Linguagem e Imagem (CLIP): Treinado em pares de imagem-texto.

A avaliação utilizou um método não supervisionado rigoroso conhecido como Transporte Ótimo de Gromov-Wasserstein (GWOT) para comparar as estruturas geométricas dos embeddings de DNN contra dados de similaridade humana para 93 cores. Além disso, aproveitando a escalabilidade das DNNs, os autores estenderam a análise para investigar a estrutura representacional de 4.096 cores, uma escala muito além do alcance dos atuais experimentos psicofísicos.

Principais Resultados

• Alinhamento por Camada: No nível de itens finos, as camadas iniciais das DNNs em todos os três paradigmas de aprendizado (SSL, SL e CLIP) demonstraram um forte alinhamento com os dados de cores humanas.
• Divergência de Paradigma: Uma divergência crítica foi observada nas camadas de saída. Enquanto os modelos SSL e SL perderam esse alinhamento em camadas mais profundas, apenas o CLIP sustentou uma representação estruturalmente congruente com os dados humanos na camada de saída.
• Estruturas de Grande Escala: Ao analisar 4.096 cores, as camadas iniciais de todos os paradigmas e a saída do CLIP convergiram consistentemente para estruturas características. Essas estruturas oferecem previsões plausíveis para a representação de cores humana em grande escala.

Significância e Alegações
O artigo afirma fornecer uma abordagem validada para explorar "territórios desconhecidos" da percepção humana ao usar modelos computacionais que foram verificados dentro de um espaço empírico limitado (o conjunto de dados de 93 cores). Ao identificar o CLIP como o paradigma que melhor preserva a estrutura de cor semelhante à humana na saída, o trabalho oferece previsões específicas para as relações globais entre milhares de cores. Essas previsões pretendem guiar e informar futuros experimentos psicofísicos de grande escala, preenchendo a lacuna entre os testes humanos viáveis e a vastidão do espaço de cores.