MindSet: Vision. A toolbox for testing DNNs on key psychological experiments

이 논문은 인간 시각 및 객체 인식에 대한 가설을 검증하기 위해 30 가지 심리학적 발견을 기반으로 체계적으로 조작된 이미지 데이터셋과 DNN 평가 도구를 포함한 'MindSet: Vision' 툴박스를 소개하고, 이를 통해 인간 시각을 모델링하는 딥러닝 모델의 한계를 규명합니다.

핵심

🧠 "마인드셋: 비전" (MindSet: Vision): AI 의 눈을 인간처럼 테스트하는 새로운 도구

이 논문은 **"인공지능 (AI) 이 정말로 인간처럼 세상을 보고 있을까?"**라는 근본적인 질문에 답하기 위해 개발된 새로운 도구, **'마인드셋: 비전 (MindSet: Vision)'**을 소개합니다.

기존의 AI 연구는 주로 "AI 가 사진 속 개나 고양이를 얼마나 잘 구분하나요?" 같은 관찰적인 테스트에 집중했습니다. 하지만 이 연구는 "AI 가 인간의 뇌가 착각하는 것처럼 착각할까?", "AI 가 인간의 눈이 놓친 세부 사항을 놓칠까?"와 같이 심리학자들이 수백 년간 연구해 온 '착시'와 '시각적 실험'을 통해 AI 를 엄격하게 시험합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 새로운 도구가 필요할까요? (기존의 문제점)

기존의 AI 평가는 마치 **"시험지 100 점 맞은 학생이 진짜로 공부를 잘하는지 확인하지 않고, 그냥 점수만 믿는 것"**과 비슷합니다.

• 기존 방식: AI 에게 자연스러운 사진 (예: 숲속의 사슴) 을 보여주고 "이게 사슴이 맞나요?"라고 물어봅니다. AI 가 맞히면 "와, AI 가 인간처럼 봤다!"라고 칭찬합니다.
• 문제점: 하지만 AI 는 사슴의 '모양'을 보고 맞힌 게 아니라, 배경의 '나뭇잎 질감'을 보고 맞혔을 수도 있습니다. 즉, 결과만 같을 뿐, 생각하는 과정 (시각 처리 방식) 은 완전히 다를 수 있습니다.
• 이 연구의 접근: "좋아, 이제 우리가 아는 인간만의 '착시 현상'이나 '시각적 함정'을 AI 에게 보여줘보자. 인간이 속으면 AI 도 속을까?"라고 묻는 것입니다.

2. 마인드셋: 비전 (MindSet: Vision) 이란 무엇인가요?

이 도구는 30 가지의 심리학 실험 데이터셋과 이를 테스트하는 프로그램이 담긴 '상자 (Toolbox)'입니다.

• 비유: 마치 의사가 환자를 진단할 때 쓰는 정밀한 검사 키트와 같습니다.
  • 기존에는 "환자가 걷는 걸 보니 괜찮네?" (관찰) 라고만 봤다면,
  • 이 툴박스는 "발바닥에 물집이 생겼을 때 아픈지, 눈이 침침할 때 사물이 두 개로 보이는지" 같은 구체적인 증상을 유발하는 테스트를 통해 AI 의 뇌 (네트워크) 가 인간과 같은 반응을 하는지 확인합니다.

3. 어떤 실험들이 들어있나요? (3 가지 주요 카테고리)

이 툴박스는 인간의 시각을 3 가지 단계로 나누어 테스트합니다.

① 저·중급 시각 (Low & Mid-Level Vision): "눈의 기본 작동 원리"

• 내용: 선의 길이, 점의 배열, 가려진 물체 등 기본적인 시각 정보 처리를 테스트합니다.
• 비유: **"레고 블록 조립"**을 생각해보세요.
  • 착시 (Illusions): 두 줄의 길이가 똑같은데, 화살표 모양이 붙으면 한 줄이 더 길어 보이는 '뮐러 - 라이어 착시'를 AI 가 느끼는지 봅니다.
  • 가려진 물체 (Amodal Completion): 사과가 상자에 반쯤 가려져 있을 때, 인간은 "아, 뒤에 사과가 있구나"라고 뇌가 완성해서 봅니다. AI 도 그렇게 보나요?
  • 실험 결과: 대부분의 AI 는 가려진 물체를 '완성'해서 보지 못하거나, 착시 현상을 인간처럼 느끼지 못했습니다.

② 시각적 착시 (Visual Illusions): "뇌가 속는 순간"

• 내용: 인간의 뇌가 환경에 따라 크기를 다르게 인식하는 현상들을 테스트합니다.
• 비유: **"거울 속의 나"**를 생각해보세요.
  • 에빙하우스 착시: 중앙의 원이 주변에 작은 원으로 둘러싸이면 커 보이고, 큰 원으로 둘러싸이면 작아 보입니다.
  • 테처 효과: 얼굴을 거꾸로 하면 눈과 입이 거꾸로 되어도 모자라지만, 정면으로 보면 바로 알아챕니다. AI 도 얼굴을 거꾸로 했을 때 이 변화를 못 알아채나요?
  • 실험 결과: AI 는 대부분 이 착시 현상을 느끼지 못했습니다. 즉, AI 는 인간처럼 '맥락'을 고려하지 않고 숫자 (픽셀) 만 보고 판단합니다.

③ 형태와 사물 인식 (Shape & Object Recognition): "본질을 보는가?"

• 내용: 색이나 질감이 없는 '선 그림'이나 '실루엣'을 보고 사물을 인식하는 능력입니다.
• 비유: **"그림자 놀이"**입니다.
  • 인간은 색이 없고 선만 있는 그림을 봐도 "아, 이건 코끼리구나"라고 바로 알 수 있습니다. 하지만 AI 는 색이나 질감 (텍스처) 이 없으면 엉뚱한 것을 맞히거나 아예 못 봅니다.
  • 실험 결과: AI 는 인간처럼 '모양' 자체를 보지 않고, '질감'이나 '배경'에 의존하는 경향이 강했습니다.

4. 어떻게 테스트하나요? (3 가지 방법)

연구자들은 AI 의 '두뇌'를 직접 들여다보기 위해 3 가지 방법을 썼습니다.

1. 유사도 판단 (Similarity Judgment): AI 가 두 장의 사진을 볼 때, 뇌의 특정 층 (Layer) 에서 어떤 신호가 나오는지 비교합니다. "인간은 A 와 B 를 비슷하게 느낀다"면, AI 도 A 와 B 를 비슷하게 처리해야 합니다.
2. 디코더 방법 (Decoder Method): AI 의 뇌에서 특정 정보 (예: 원의 크기) 를 읽어내는 작은 '해석기'를 붙입니다. 이 해석기가 착시 현상에서 인간처럼 잘못된 크기를 말하면, AI 도 착시에 걸린 것입니다.
3. 분류 테스트 (Classification): AI 가 낯선 그림 (예: 점으로만 된 그림) 을 보고도 인간처럼 잘 분류할 수 있는지 봅니다.

5. 결론: AI 는 아직 인간처럼 '보는' 법을 배우지 못했다

이 연구의 핵심 메시지는 **"현재의 최첨단 AI 는 인간의 뇌와 많이 닮았다고 하지만, 실제로는 인간이 겪는 시각적 함정이나 착각을 전혀 경험하지 못한다"**는 것입니다.

• 비유: AI 는 **엄청난 양의 사진을 외운 '기억력 좋은 학생'**일 뿐, **세상을 직접 보고 이해하는 '지혜로운 관찰자'**는 아닙니다.
• 의의: 이 툴박스는 AI 개발자들에게 "너희 모델은 인간처럼 착시 현상을 느끼지 못하네? 그럼 왜 그런지 고쳐보자"라고 정확한 방향을 제시해 줍니다.

요약

**'마인드셋: 비전'**은 AI 가 인간처럼 세상을 '보는'지 확인하기 위해, 심리학자들이 수백 년간 연구한 **착시와 시각적 실험들을 모아 만든 '정밀 진단 키트'**입니다. 이 키트로 테스트한 결과, 현재 AI 는 인간의 시각적 지능과 아직 거리가 멀다는 것을 밝혀냈으며, 앞으로 더 인간과 유사한 AI 를 만들기 위한 중요한 나침반이 될 것입니다.

기술 요약

1. 문제 제기 (Problem)

• 기존 벤치마크의 한계: 현재 딥러닝 모델 (DNN) 과 인간 시각의 정렬 (alignment) 을 평가하는 대부분의 벤치마크는 관찰적 (observational) 성격을 띠고 있습니다. 즉, 자연스러운 이미지나 특정 조건에 맞춰진 데이터셋을 사용하여 모델이 인간이나 뇌의 반응을 얼마나 잘 예측하는지 측정합니다.
• 혼동 변수 (Confounds) 의 존재: 이러한 관찰적 접근은 모델이 인간과 질적으로 다른 방식 (예: 질감 기반 분류 vs 형태 기반 분류) 으로 객체를 인식하더라도, 이미지 내의 여러 진단적 단서 (diagnostic cues) 가 혼재되어 있어 높은 예측 정확도를 보일 수 있게 만듭니다. 예를 들어, 배경 정보나 질감에 의존하는 모델도 형태를 인식하는 뇌 영역의 활성화를 예측할 수 있습니다.
• 심리학적 실험의 부재: 인간의 시각 인지에 대한 심리학적 연구는 독립 변수를 조작하여 특정 가설을 검증하는 '엄격한 테스트 (severe tests)'를 수행해 왔으나, DNN 모델링 연구에서는 이러한 심리학적 문헌이 종종 무시되거나 피상적인 유사성만 강조됩니다.
• 필요성: DNN 이 인간 시각과 유사한지, 아니면 단순히 통계적 패턴을 학습한 것인지 구분하기 위해서는 심리학적 실험에서와 같이 변수를 체계적으로 조작하여 인과 관계를 규명하는 테스트가 필요합니다.

2. 방법론 (Methodology)

저자들은 MindSet: Vision이라는 오픈 소스 툴박스를 개발하여 DNN 을 30 가지의 핵심 심리학적 실험 결과에 대해 테스트할 수 있는 환경을 제공했습니다.

• 데이터셋 구성:
  • 30 가지 실험: 저시각 (Weber's Law, 군집화/비군집화), 중시각 (겟탈트 원리, 비우연적 속성), 시각 착시 (뮐러 - 라이어, 에빙하우스, 자스트로우 등), 그리고 형태 및 객체 인식 (선화, 실루엣, 텍스처, 관계 추론) 등 다양한 범위를 포괄합니다.
  • 생성 가능성: 모든 자극 (stimuli) 은 시스템적으로 조작 가능하며, 이미지 크기, 배경색, 스트로크 색상, 샘플 수 등 다양한 파라미터를 조절하여 재생성할 수 있는 스크립트를 제공합니다.
• 평가 방법 (3 가지):
  1. 유사성 판단 (Similarity Judgment): DNN 의 계층별 활성화 패턴 간의 코사인 유사도나 유클리드 거리를 계산하여, 인간이 지각하는 자극 간 유사성과 비교합니다.
  2. 디코더 방법 (Decoder Method): 고정된 (frozen) DNN 의 특정 계층에 작은 선형 디코더를 연결하여 훈련합니다. (예: 착시 이미지에서 중심 원의 크기를 예측). 이를 통해 DNN 이 특정 정보를 인간과 유사하게 인코딩하는지 검증합니다.
  3. 분포 외 분류 (Out-of-Distribution Classification): ImageNet 등으로 훈련된 모델을 선화 (line drawings), 실루엣, 텍스처화된 이미지 등 훈련 분포와 다른 데이터에 대해 테스트하여 일반화 능력을 평가합니다.

3. 주요 기여 (Key Contributions)

1. MindSet: Vision 툴박스 공개: 30 가지의 잘 재현된 심리학적 시각 현상을 다루는 이미지 데이터셋과 이를 생성/수정할 수 있는 코드, 그리고 DNN 평가를 위한 3 가지 평가 방법론 스크립트를 GitHub 을 통해 오픈 소스로 공개했습니다.
2. 엄격한 테스트 프레임워크 제공: 단순한 성능 측정을 넘어, 심리학적 실험의 변인 조작 방식을 차용하여 DNN 의 인지 메커니즘을 '엄격하게' 검증할 수 있는 체계를 마련했습니다.
3. 광범위한 모델 평가: Brain-Score 벤치마크에서 상위권을 차지하는 15 가지 DNN 모델 (ResNet, ResNeXt, ConvNeXt, ViT, DeIT, FocalNet 등) 을 대상으로 9 가지 실험에 대해 테스트를 수행하고 그 결과를 공개했습니다.
4. DNN-인간 정렬에 대한 새로운 통찰: 기존 벤치마크에서는 잘 수행되던 모델들이 심리학적 실험에서는 심각한 결함을 보임을 입증하여, 인간 시각 모델링을 위한 새로운 방향성을 제시했습니다.

4. 결과 (Results)

15 가지 DNN 모델을 9 가지 실험에 적용한 결과는 다음과 같습니다.

• 성공한 영역 (일부 유사성):
  • 비모달 완성 (Amodal Completion): 일부 모델이 가려진 객체를 완전한 형태로 인식하는 경향을 보였습니다.
  • 비우연적 속성 (NAPs): 일부 모델이 비우연적 속성 (형태의 불변성) 에 민감하게 반응했습니다.
  • 자스트로우 착시 (Jastrow Illusion): 대부분의 모델이 인간과 유사하게 아래쪽 호를 더 길게 지각하는 경향을 보였으나, 그 크기가 인간과 비교할 수 없을 정도로 과대평가되는 등 정량적 차이는 컸습니다.
• 실패한 영역 (심각한 불일치):
  • 착시 현상: 뮐러 - 라이어 (Müller-Lyer) 착시와 에빙하우스 (Ebbinghaus) 착시에서 DNN 은 인간과 유사한 착시 효과를 거의 보이지 않거나, 매우 불일치하는 결과를 보였습니다. 디코더를 통한 평가에서도 인간과 유사한 패턴을 재현하지 못했습니다.
  • 관계 추론: 객체 부분 간의 관계 변화 (Relational Change) 와 좌표 변화 (Coordinate Change) 를 구분하는 능력에서 인간은 관계 변화에 매우 민감하지만, DNN 은 두 변화를 구별하지 못하거나 무감각했습니다.
  • 분포 외 일반화: 선화, 실루엣, 텍스처화된 이미지 등 훈련 데이터와 다른 형태의 객체 인식에서 DNN 의 성능은 인간 (90% 이상) 에 비해 현저히 낮았습니다. DNN 은 국소적 특징 (texture) 에 의존하는 경향이 강해 전역적 형태 (global shape) 를 인식하는 데 실패했습니다.
  • 층별 변동성: 네트워크의 계층 (layer) 에 따라 결과가 매우 불일치했으며, 특정 계층에서만 우연히 인간과 유사한 패턴이 나타나는 경우가 많아 체계적인 정렬이 이루어지지 않았음을 시사합니다.

5. 의의 및 결론 (Significance)

• DNN 모델의 한계 재조명: 현재 최첨단 DNN 모델들이 뇌 스코어 (Brain-Score) 벤치마크에서는 높은 점수를 받지만, 심리학적 실험에서는 인간 시각의 핵심 원리 (착시, 관계 추론, 전역적 형태 인식 등) 를 포착하지 못함을 입증했습니다. 이는 DNN 이 인간 시각과 질적으로 다른 방식으로 작동하고 있음을 의미합니다.
• 모델 개발의 방향성 제시: DNN 을 인간 시각의 더 나은 모델로 만들기 위해서는 단순히 데이터 양을 늘리는 것을 넘어, 심리학적 실험에서 규명된 인과적 메커니즘을 학습하도록 모델을 설계해야 함을 강조합니다.
• 연구 패러다임의 전환: 관측적 데이터에 기반한 벤치마크 중심의 평가에서 벗어나, 독립 변수를 조작하는 심리학적 실험을 DNN 평가의 핵심으로 도입해야 함을 주장합니다.
• 미래 전망: 이 툴박스는 컴퓨터 비전, 인지 신경과학, 심리학 간의 간극을 해소하고, 인간과 유사한 지능을 가진 AI 를 개발하기 위한 필수적인 도구로 활용될 것입니다.

요약하자면, 본 논문은 DNN 이 인간 시각과 얼마나 유사한지 평가하기 위해 기존 관찰적 벤치마크의 한계를 지적하고, 30 가지 심리학적 실험을 기반으로 한 체계적인 테스트 툴박스 (MindSet: Vision) 를 제안했습니다. 이를 통해 현재 DNN 모델들이 착시, 관계 추론, 전역적 형태 인식 등 인간 시각의 핵심 특징을 포착하지 못함을 입증함으로써, 인간 시각 모델링의 새로운 과제를 제시했습니다.