Systematic comparison of color representations between humans and deep neural networks: towards predicting human color perception in a vast color space

인간이 색의 전체 세계를 어떻게 보는지 그 지도를 그리는 과정을 상상해 보세요. 오랫동안 과학자들은 사람들에게 "이 빨간색이 주황색에 더 가깝나요, 아니면 보라색에 더 가깝나요?"와 같이 두 가지 색을 비교하게 함으로써 이 작업을 수행해 왔습니다. 하지만 이것은 마치 단 몇 걸음씩만 걸으며 거대한 대륙의 지도를 그리려는 것과 같습니다. 시간이 너무 오래 걸릴 뿐만 아니라, 우리는 유사한 색들이 모여 있는 '동네'만을 탐험했을 뿐, 4,000개 이상의 색이 존재하는 광활하고 전 지구적인 풍경은 미지의 영역으로 남겨두게 됩니다.

이를 해결하기 위해 연구진은 **심층 신경망(DNN)**을 디지털 탐정으로 사용하기로 했습니다. 이 네트워크들을 보는 법을 배운 인공 뇌라고 생각하면 됩니다. 핵심적인 질문은 이것이었습니다. 어떤 유형의 인공 뇌가 인간과 가장 유사하게 색을 보는가?

그들은 이 디지털 뇌들을 위해 세 가지 다른 '훈련 캠프'를 테스트했습니다:

1. 자기 지도 학습(SSL): 뇌가 도움 없이 스스로 수백만 장의 사진을 보며 패턴을 파악하며 학습합니다.
2. 지도 학습(SL): 뇌가 선생님이 사진을 가리키며 "저건 고양이야", "저건 강아지야"라고 말하는 것을 보며 학습합니다.
3. CLIP: 뇌가 사진과 그에 대한 설명(예: "빨간 사과" 또는 "파란 하늘")을 서로 매칭하며 학습합니다.

이 디지털 뇌들이 인간의 시각과 일치하는지 확인하기 위해, 연구진은 **그로모프-바서슈타인 최적 운송(Gromov-Wasserstein Optimal Transport, GWOT)**이라는 특별한 수학적 도구를 사용했습니다. 이것을 디지털 뇌의 색 지도와 인간의 색 지도를 완벽하게 맞물리도록 접어보는 정밀한 '형태 변형기(shape-shifter)'라고 생각할 수 있습니다.

연구 결과는 다음과 같습니다:

• 초기 계층: 세 가지 유형의 네트워크 모두에서 '초기 사고' 단계의 부분을 살펴보았을 때, 세 네트워크 모두 훌륭한 성능을 보였습니다. 이들은 이미 인간만큼이나 잘 빨간 사과와 초록 사과를 구별해 내는 견습생과 같았습니다.
• 최종 판결: 그러나 정보가 네트워크의 더 깊은 곳으로 전달됨에 따라 상황이 변했습니다.
  • 자기 지도 학습과 지도 학습 네트워크는 최종 답변에 도달할 때쯤 인간의 지각 방식에서 벗어나기 시작했습니다. 이들은 인간과는 다른 독특하고 고유한 방식으로 색을 조직화했습니다.
  • CLIP이 승자였습니다. CLIP은 유일하게 끝까지 '인간과 유사한' 색 지도를 유지한 네트워크였습니다. 모든 정보를 처리한 후에도, 색에 대한 CLIP의 최종 관점은 구조적으로 인간이 보는 방식과 여전히 유사했습니다.

전체적인 그림:
연구진은 이 우승 네트워크(CLIP)를 사용하여 인간이 실험실에서 테스트하려면 수십 년이 걸릴 규모인 4,096가지 색의 거대한 영토를 탐험했습니다. 이 네트워크는 우리가 알고 있는 색상에 머물지 않고, 수천 가지 색상이 서로 어떻게 연관되어 있는지에 대한 완전하고 구조적인 지도를 생성해 냈습니다.

요약하자면, 이 논문은 AI에게 이미지와 단어를 매칭하도록 훈련시킴으로써(CLIP), 우리가 보는 것과 똑같이 색을 보는 도구를 얻게 된다는 것을 보여줍니다. 이제 우리는 이 도구를 사용하여 인간이 인지하는 방식을 예측함으로써, 실제 사람을 대상으로 하는 끝없는 시간 소모적 실험 없이도, 미래의 과학적 탐사를 위한 나침반 역할을 할 수 있는 방대한 미검증 색의 세계를 탐구할 수 있게 되었습니다.