A battery of image classification challenges reveals shared and distinct object categorization behavior across monkeys, humans, and deep networks

본 연구는 언어 없이도 원숭이가 인간과 유사한 추상적 객체 분류 능력을 보이며, 그 수행 양상이 언어 입력이 없는 딥러닝 모델과 더 높은 상관관계를 가진다는 것을 다수의 이미지 분류 과제를 통해 규명했습니다.

핵심

이 논문은 **"원숭이, 사람, 그리고 인공지능 (AI) 이 세상을 어떻게 분류하는지"**에 대한 흥미로운 비교 실험 결과를 담고 있습니다.

비유하자면, 이 연구는 세 명의 '감식가' (원숭이, 사람, AI) 에게 수천 장의 사진을 보여주고 "이건 동물인가?", "이건 자연물인가?", "이건 동양적인가?" 같은 질문을 던져본 실험입니다.

이 실험의 핵심 내용을 쉽고 재미있게 설명해 드릴게요.

---

1. 실험 설정: 원숭이에게 '사진 정리 게임'을 시켰다

연구진은 세 마리의 원숭이에게 터치스크린 게임을 시켰습니다.

• 게임 규칙: 화면에 사진이 뜨면, 원숭이는 그 사진을 두 개의 상자 중 하나에 드래그해서 넣어야 합니다.
• 미션: 원숭이들은 "이게 동물인가, 아니면 사물인가?" 혹은 "이게 자연에서 온 것일까, 사람이 만든 것일까?" 같은 숨겨진 규칙을 스스로 찾아내야 합니다.

결과: 놀랍게도 원숭이들은 몇 일 만에 이 규칙을 깨우쳤습니다. 사람처럼 언어를 배우지 않아도, 오직 눈으로 본 이미지만으로도 "동물 vs 비동물", "자연 vs 인공", "큰 것 vs 작은 것" 같은 복잡한 분류를 잘 해냈습니다. 마치 원숭이들이 사진 속의 '분위기'나 '느낌'을 직관적으로 파악한 것처럼요.

2. 원숭이의 실력은 어디까지일까? (성공과 실패)

원숭이들은 대부분의 규칙을 잘 배웠지만, 어떤 규칙은 완전히 막혔습니다.

• ✅ 잘한 것 (시각적으로 눈에 보이는 것):

  • "동물 vs 비동물", "자연물 vs 인공물", "큰 것 vs 작은 것" 같은 규칙은 원숭이도 사람처럼 잘 구분했습니다.
  • 비유: 원숭이들은 사진 속의 **'모양'과 '질감'**을 보고 분류하는 데는 천재였습니다. 마치 우리가 그림을 보고 "이건 개구리구나"라고 바로 알 수 있는 것처럼요.

• ❌ 못 한 것 (지식이나 문화가 필요한 것):

  • "불 관련 물건 vs 물 관련 물건" (예: 라이터 vs 수도꼭지) 이나 "동양 문화 vs 서양 문화" (예: 달력 vs 성당) 같은 규칙은 원숭이가 전혀 이해하지 못했습니다.
  • 비유: 이는 마치 **"불을 끄는 도구"**와 **"물을 담는 도구"**를 구분하라고 할 때, 원숭이들은 그 물체의 기능이나 문화적 의미를 모르고 오직 생김새만 보고 판단하려다 실패한 것입니다. 원숭이에게는 '라이터'와 '수도꼭지'가 생김새만 다를 뿐, 둘 다 '작은 금속 덩어리'로 보일 뿐입니다.

3. 세 명의 감식가 비교: 원숭이 vs 사람 vs AI

이 실험의 가장 재미있는 점은 세 그룹의 사고방식을 비교한 것입니다.

• 🐒 원숭이 (Visual DNN):

  • 원숭이의 분류 방식은 **언어 없이 오직 시각 정보만 학습한 AI(딥러닝)**와 매우 비슷했습니다.
  • 비유: 원숭이는 **"눈으로만 보는 AI"**와 친구입니다. 생김새가 비슷하면 같은 무리로 분류합니다.

• 🧑 사람 (Language-informed DNN):

  • 사람은 언어와 개념을 학습한 AI와 가장 비슷했습니다.
  • 비유: 사람은 **"책과 말로 배운 AI"**와 친구입니다. 생김새가 달라도 "이건 불을 끄는 도구야"라는 개념을 알기 때문에 라이터와 소화기를 같은 무리로 분류할 수 있습니다.

• 🤖 AI (인공지능):

  • 연구진은 다양한 AI 모델을 테스트했습니다. 언어를 배운 AI 는 사람처럼 잘했고, 언어를 배우지 않은 순수 시각 AI 는 원숭이처럼 행동했습니다.

4. 결론: 원숭이는 '시각의 천재'지만 '개념의 초보'

이 연구는 우리에게 중요한 메시지를 줍니다.

"원숭이도 사람처럼 복잡한 세상을 분류할 수 있지만, 그 기준이 사람과는 조금 다릅니다."

• 원숭이는 **시각적 특징 (모양, 크기, 질감)**을 기반으로 세상을 분류하는 데 탁월합니다. 이는 우리가 생각하는 것보다 훨씬 고차원적인 사고를 할 수 있음을 보여줍니다.
• 하지만 언어나 문화적 지식이 필요한 추상적인 개념 (예: 동양 vs 서양) 을 분류하는 데는 한계가 있습니다.

한 줄 요약:
원숭이들은 사진을 보고 '무엇이 비슷해 보이는가'를 파악하는 데는 사람 못지않게 뛰어나지만, '무엇이 무엇을 의미하는가'를 언어 없이 이해하는 데는 한계가 있다는 것을 이 실험을 통해 확인했습니다. 이는 인공지능이 인간의 시각 시스템을 얼마나 잘 모방했는지, 그리고 언어가 우리의 사고에 어떤 영향을 미치는지를 이해하는 데 큰 도움이 됩니다.

기술 요약

이 논문은 인간, 비인간 영장류 (원숭이), 그리고 딥러닝 모델 (DNN) 간의 이미지 분류 능력과 인지 메커니즘을 체계적으로 비교 분석한 연구입니다. 언어 없이 시각적 정보만으로 추상적인 객체 범주화를 수행할 수 있는 생물학적 신경망의 한계를 규명하는 것을 목표로 합니다.

다음은 이 논문의 기술적 요약입니다.

1. 연구 문제 (Problem)

• 배경: 인간은 '생물 vs 무생물', '자연 vs 인공', '포유류 vs 비포유류' 등 다양한 추상적 수준에서 사물을 분류할 수 있습니다. 최근 딥러닝 (DNN) 은 언어 없이도 복잡한 시각 처리만으로 이러한 분류가 가능함을 보여주었습니다.
• 간극: 원숭이의 기본적 객체 인식 (유사성 판단 등) 은 많이 연구되었으나, 인간처럼 다양한 고차원 규칙 (superordinate categories) 에 따라 객체를 분류하는 능력은 잘 규명되지 않았습니다.
• 과거 연구의 한계: 기존 원숭이 연구는 보통 1~2 가지 규칙 (예: 동물 vs 비동물) 만을 테스트했거나, DNN 과의 비교가 불가능했습니다. 또한, 원숭이가 개별 이미지와 선택을 암기하는지, 아니면 추상적인 규칙을 학습하는지 구분하기 어려웠습니다.
• 핵심 질문: 언어와 인간 특유의 지식이 없는 상태에서, 원숭이는 얼마나 다양한 추상적 분류 규칙을 학습하고 일반화할 수 있는가? 그리고 그들의 행동 패턴은 인간과 DNN 중 어디에 더 가까운가?

2. 방법론 (Methodology)

• 실험 대상: 3 마리의 리서스 원숭이 (Rhesus monkeys) 와 33 명의 인간 참가자.
• 과제 설계 (Object Drag Task):
  • 터치스크린을 사용하여 객체 이미지를 두 개의 목표 상자 중 하나로 드래그하는 이진 분류 과제를 개발했습니다.
  • 피험자는 피드백을 통해 숨겨진 분류 규칙 (예: '생물 vs 무생물') 을 스스로 추론해야 합니다.
  • 이 방식은 무작위 충동적 선택을 억제하고 신중한 의사결정을 유도합니다.
• 실험 구성:
  • 다양한 규칙: 10 가지 이상의 분류 규칙 (생물/무생물, 자연/인공, 포유류/비포유류, 인간/원숭이, 도구/전자제품 등) 을 테스트했습니다.
  • 데이터 규모: 총 26 개의 하위 과제를 포함하여 약 31 만 건의 시도 (trials) 를 수집했습니다.
  • 자극 자료: THINGS 데이터베이스를 포함한 수천 개의 자연 이미지, 회색조 이미지, 실루엣, 만화, 텍스처 왜곡 이미지 등을 사용하여 시각적 단서 (색상, 질감, 얼굴 등) 에 의존하지 않도록 통제했습니다.
  • 일반화 테스트: 학습된 규칙을 처음 보는 새로운 이미지들에 적용하여 일반화 능력을 평가했습니다.
• 비교 모델:
  • 저/중급 시각 모델: V1 필터, 밝기/색상 통계, 질감 통계 등.
  • 딥러닝 모델 (DNN): AlexNet, VGG16, ResNet-50, ViT, DINO (비지도 학습), CLIP 및 SigLIP2 (언어 - 시각 정렬 학습).
  • 신경 데이터: 원숭이의 시각 피질 (V1, V4, IT) 에서 기록된 신경 활동 데이터 (Papale et al., 2025) 와 비교.

3. 주요 결과 (Key Results)

• 빠른 학습과 일반화:
  • 원숭이는 각 분류 규칙을 수일 내에 학습했으며, 학습된 규칙을 새로운 이미지에 성공적으로 적용했습니다.
  • '생물 vs 무생물', '자연 vs 인공', '크기 (큰 것 vs 작은 것)' 등 많은 규칙에서 인간과 유사한 오류 패턴과 반응 시간 (RT) 분포를 보였습니다.
  • 하지만 '불 관련 vs 물 관련', '서양 문화 vs 동양 문화'와 같은 고도로 추상적이고 문화적 지식이 필요한 규칙에서는 원숭이가 무작위 수준 (chance level) 으로 실패했습니다.
• 시각적 특징에 대한 의존성:
  • 원숭이는 얼굴, 다리, 색상, 질감 등 단일 시각적 특징에 의존하지 않고, 고차원적인 시각적 특징을 통합하여 분류했습니다.
  • 원숭이의 분류 성능은 저/중급 시각 모델보다 시각 정보만 학습된 DNN (ResNet-50 등) 과 더 높은 상관관계를 보였습니다.
• 인간 vs 원숭이 vs DNN 비교:
  • 인간: 언어 기반 DNN (CLIP, SigLIP2) 과 행동 패턴이 가장 유사했습니다. 인간은 모든 추상적 규칙을 완벽하게 수행했습니다.
  • 원숭이: 언어 입력 없이 시각 정보만으로 학습된 DNN 과 행동 패턴이 가장 유사했습니다.
  • 결론: 원숭이의 객체 분류 능력은 언어적 개념 없이도 시각적 특징의 구조적 내재화 (structural embedding) 를 통해 설명될 수 있으며, 이는 인간과 DNN 의 중간 지점에 위치합니다.

4. 주요 기여 (Key Contributions)

1. 대규모 행동 벤치마크 구축: 원숭이를 대상으로 10 가지 이상의 다양한 추상적 분류 규칙을 체계적으로 테스트한 최초의 대규모 연구입니다.
2. 효율적인 학습 패러다임 개발: 기존 연구보다 훨씬 빠른 속도로 원숭이가 다양한 규칙을 학습할 수 있도록 한 '오브젝트 드래그' 과제를 개발했습니다.
3. 생물학적 및 인공 신경망의 정량적 비교: 원숭이, 인간, 그리고 다양한 DNN 아키텍처 (시각 전용 vs 언어 통합) 의 분류 행동을 직접 비교하여, 언어가 없는 생물학적 신경망의 객체 인식 한계를 명확히 했습니다.
4. 개념 형성 메커니즘에 대한 통찰: 많은 추상적 객체 개념이 시각적 이미지 자체에 구조적으로 내재되어 있으며, 비언어적 생물학적 뇌도 이를 추출하여 학습할 수 있음을 시사합니다.

5. 의의 및 중요성 (Significance)

• 진화적 관점: 인간과 원숭이의 객체 인식 메커니즘이 시각 처리의 공유된 특성에 기반하고 있음을 보여주며, 언어와 개념적 지식이 어떻게 고차원 분류를 확장시키는지에 대한 기초를 제공합니다.
• AI 연구: 현재 AI 모델 (특히 언어 기반 멀티모달 모델) 이 인간의 추상적 사고를 얼마나 잘 모방하는지, 그리고 순수 시각 모델의 한계가 어디인지에 대한 중요한 기준점을 제시합니다.
• 신경과학: 원숭이의 시각 피질 활동이 DNN 의 계층적 표현과 어떻게 대응되는지, 그리고 고차원 개념이 어떻게 신경적으로 표현되는지에 대한 이해를 깊게 합니다.

요약하자면, 이 연구는 원숭이가 언어 없이도 상당 수준의 추상적 객체 분류를 수행할 수 있지만, 그 한계는 시각적 정보의 구조에 의존하며, 이는 언어를 학습하지 않은 딥러닝 모델의 행동과 유사하다는 것을 입증했습니다. 반면, 인간의 분류 능력은 언어 기반의 지식이 개입된 DNN 과 더 유사함을 보여주었습니다.