Reassessing Number-Detector Units in Convolutional Neural Networks

본 연구는 CORnet 아키텍처와 가지치기 기법을 활용하여 기존 주장과 달리 CNN 내의 숫자 감지 유닛이 numerosity(수량) 표현에 필수적이지 않음을 규명했습니다.

핵심

이 논문은 **"컴퓨터가 숫자를 셀 때, 정말로 '숫자 전문 직원'이 필요한 걸까?"**라는 흥미로운 질문을 던집니다.

기존의 연구들은 인공지능 (CNN) 이 인간의 뇌처럼 숫자를 구분할 때, 뇌에 있는 '숫자 전문 뉴런'과 똑같은 **'숫자 감지 유닛 (Number-Detector Units)'**이 만들어져야 한다고 믿었습니다. 마치 회사에 숫자만 담당하는 전담 부서가 있어야 숫자 업무를 잘 처리한다고 생각한 것과 비슷하죠.

하지만 이 논문은 **"아니요, 그 전담 부서는 사실 별로 중요하지 않을지도 모릅니다"**라고 반박합니다.

이 논문의 핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 실험의 배경: "숫자 감지 유닛"이라는 가상의 전담 부서

우리가 눈을 통해 물체들을 볼 때, 뇌는 그 물체들의 개수 (예: 사과 3 개, 5 개) 를 자동으로 감지합니다. 과학자들은 뇌의 특정 부위에 개수에 반응하는 '숫자 전문 세포'가 있다고 발견했고, 인공지능도 똑같이 숫자를 잘 구분하려면 이런 **'숫자 감지 유닛'**이 있어야 한다고 가정했습니다.

2. 문제 제기: "모든 직원을 동등하게 대우하는 건 이상해요"

기존의 분석 방법 (RSA) 은 인공지능의 모든 '유닛 (가상의 세포)'을 동일한 중요도로 취급했습니다.

비유: 회사의 모든 직원 (청소부, 영업사원, 개발자, 인사팀) 을 다 합쳐서 "우리 회사가 숫자 문제를 얼마나 잘 해결했나?"를 평가할 때, 숫자 문제와 전혀 상관없는 청소부 직원의 점수도 개발자만큼 똑같이 반영하는 것과 같습니다.

이렇게 하면 중요한 직원의 기여도가 희석되거나, 실제로는 숫자와 상관없는 직원의 노이즈가 결과를 왜곡할 수 있습니다.

3. 새로운 방법: "필요한 사람만 남기는 '정리 (Pruning)' 작업"

저자들은 이 문제를 해결하기 위해 **'가지치기 (Pruning)'**라는 방법을 썼습니다.

비유: 숫자 문제를 해결하는 데 정말로 핵심이 되는 '핵심 직원들'만 남기고, 나머지는 잘라내는 작업입니다.

1. 인공지능의 모든 유닛을 하나씩 지워보면서, "이 사람을 없애면 숫자 감지 능력이 떨어질까?"를 확인합니다.
2. 숫자 감지 능력에 큰 영향을 미치는 유닛은 '핵심 직원'으로 남기고, 영향이 없는 유닛은 잘라냅니다.
3. 이렇게 가장 잘 맞는 조합만 남긴 뒤, 다시 숫자 감지 능력을 평가합니다.

4. 놀라운 결과: "전담 부서는 없어도, 팀워크가 최고야!"

결과는 매우 충격적이었습니다.

• 기존의 믿음: "숫자를 잘 구분하려면 '숫자 감지 유닛'이 많이 있어야 해."
• 실제 발견: "아니요, 우리가 '핵심 직원'만 남긴 결과, 숫자 감지 유닛은 거의 포함되지 않았습니다."

오히려 숫자 감지 유닛이 아닌 다른 유닛들이 모여서 만든 집단 (Population) 이 인간의 숫자 감지 능력과 훨씬 더 잘 맞았습니다.

핵심 비유:
숫자 문제를 해결하는 데 '숫자 전문 부서'가 따로 있는 게 아니라, 다양한 역할을 하는 일반 직원들이 서로 협력해서 (집단 지성) 숫자를 잘 구분하고 있다는 뜻입니다. 마치 축구 경기에서 '득점 전문 스트라이커' 한 명만 믿는 게 아니라, 수비수, 미드필더, 골키퍼가 모두 유기적으로 움직여야 골을 넣는 것과 같습니다.

5. 결론: 무엇을 배울 수 있을까요?

이 연구는 인공지능이 인간의 뇌를 모방할 때, **"특정 기능을 하는 개별 세포 (유닛) 를 찾는 것"**보다 **"전체 집단이 어떻게 협력하는지"**를 보는 것이 더 중요하다는 것을 보여줍니다.

• 기존의 오해: 숫자 감지는 특정 '숫자 전문가'가 하는 일이다.
• 새로운 통찰: 숫자 감지는 수많은 일반 유닛들이 복잡하게 얽혀 만들어내는 집단적인 현상이다.

즉, 인공지능이 숫자를 잘 구분하게 하려면 '숫자 감지 유닛'을 억지로 만들려고 애쓸 필요 없이, 전체 네트워크가 자연스럽게 학습하게 두면 된다는 것입니다. 이는 우리가 뇌와 인공지능을 이해하는 방식에 큰 변화를 가져올 수 있는 중요한 발견입니다.

기술 요약

논문 요약: 합성곱 신경망 (CNN) 내의 숫자 감지 유닛 재평가

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 합성곱 신경망 (CNN) 은 시각 작업에서 신경 활동과 행동을 예측하는 데 필수적인 모델로 자리 잡았습니다. 특히, 뇌의 전두엽 및 두정엽에서 관찰되는 '숫자 선택적 뉴런 (number-selective neurons)'과 유사한 '숫자 감지 유닛 (number-detector units)'이 CNN 의 최종 층에서 발견된다는 연구들이 있었습니다.
• 문제점:
  • 기존 방법론의 한계: 기존 연구들은 대표성 유사성 분석 (Representational Similarity Analysis, RSA) 을 사용하여 CNN 과 인간의 뇌/행동 데이터를 비교했습니다. 그러나 고전적인 RSA 는 모든 유닛이 동등한 기여를 한다는 가정을 전제로 합니다. 이는 행동적으로 중요한 정보 (숫자 정보 등) 를 가진 유닛과 그렇지 않은 유닛을 구분하지 못하게 하여, 모델과 뇌 영역 간의 실제 대응 관계를 과소평가하거나 왜곡할 수 있습니다.
  • 논쟁: CNN 내의 숫자 감지 유닛이 실제로 인간의 집단 수준 (population-level) 숫자 인식 행동을 설명하는 데 핵심적인 역할을 하는지 여부에 대해 의문이 제기되었습니다.

2. 방법론 (Methodology)

이 연구는 CORnet (영장류 시각 시스템의 조직에서 영감을 받은 생체 모방 CNN 아키텍처) 을 사용하여 다음과 같은 실험을 수행했습니다.

• 모델 및 데이터셋:

  • 모델: CORnet-Z (단순한 구조) 와 CORnet-S (재귀적 연결 및 Brain-Score 최적화) 사용.
  • 학습 조건:
    1. 무학습 (Untrained): 무작위 가중치 초기화.
    2. 객체 인식 학습 (ImageNet): 1,000 개 카테고리, 120 만 장 이미지 학습.
    3. 숫자 변별 학습 (DeWind): 10 가지 숫자 (6, 7, 9, 10, 12, 14, 17, 20, 24, 29) 변별을 위해 학습. (저수준 시각 특징과 숫자 수의 상관관계를 제거하기 위해 DeWind et al. (2015) 방법 사용).
  • 자극: 32 가지 조건 (4 가지 숫자 × 4 가지 평균 아이템 면적 × 2 가지 전체 필드 면적) 의 점 패턴 이미지.

• 핵심 기법: 가지치기 (Pruning) 를 통한 특징 선택

  • 기존 RSA 의 '동등 가중치' 가설을 극복하기 위해 가지치기 (Pruning) 기법을 적용했습니다.
  • 과정:
    1. 각 유닛을 제거했을 때 생성된 새로운 RDM(Representational Dissimilarity Matrix) 과 인간 행동 데이터 기반의 '숫자 RDM' 간의 유사도 변화를 측정하여 유닛의 중요도를 평가.
    2. 중요도 점수에 따라 유닛을 정렬.
    3. 가장 중요한 유닛부터 순차적으로 추가하며, 인간 행동 데이터와의 적합도 (RSA 점수) 가 최대가 되는 지점에서 유닛 집합을 확정.
  • 비교 대상: 가지치기를 통해 선별된 '유지된 유닛 (Retained Units)'과 기존 ANOVA(분산분석) 를 통해 식별된 '숫자 감지 유닛 (Number-Detector Units)'을 비교 분석했습니다.

3. 주요 결과 (Results)

• 선별된 유닛의 차이: 가지치기를 통해 선별된 유닛의 수와 ANOVA 로 식별된 숫자 감지 유닛의 수는 현저히 달랐습니다. 가지치기 후 유지된 유닛의 수는 ANOVA 로 찾은 숫자 감지 유닛보다 훨씬 많았으며, 두 방법으로 선택된 유닛 집합 간의 겹침 (Overlap) 은 대부분의 경우 5% 미만으로 매우 낮았습니다.
• 행동 데이터 적합도:
  • 가지치기를 통해 선별된 유닛 집합이 전체 유닛 집합보다 인간 행동 데이터 (숫자 RDM) 와 더 높은 상관관계를 보였습니다. 이는 고전적 RSA 의 한계를 보완했음을 시사합니다.
  • 가장 중요한 발견: ANOVA 로 식별된 '숫자 감지 유닛'은 가지치기로 선별된 유닛에 비해 인간 행동 데이터를 설명하는 능력이 더 낮았습니다. 일부 경우 (22 개 중 8 개) 에는 오히려 전체 유닛 집합보다 성능이 더 나빴습니다.
• 층별 분석: IT(하부 측두엽) 층에서 가지치기를 통해 가장 많은 유닛이 제거되었으나, ANOVA 기반 숫자 감지 유닛은 층 간 유의미한 차이가 없었습니다.

4. 주요 기여 및 결론 (Key Contributions & Conclusion)

• 기존 가설의 반박: CNN 의 특정 층에서 발견되는 '숫자 감지 유닛'이 인간의 집단 수준 숫자 인식 행동을 설명하는 데 핵심적인 역할을 하지 않는다는 것을 실증했습니다.
• 방법론적 혁신: 고전적 RSA 의 '동등 가중치' 가설의 한계를 지적하고, 가지치기 (Pruning) 를 통해 행동적으로 가장 관련성이 높은 유닛을 선별하는 새로운 접근법을 제시했습니다. 이는 모델과 뇌/행동 데이터 간의 대응 관계를 더 정확하게 평가할 수 있게 합니다.
• 집단 역동성의 중요성: 숫자 인식과 같은 고차 인지 기능은 개별 '숫자 감지 뉴런'의 활동이 아니라, 신경 집단의 집합적 역동성 (collective dynamics) 에서 비롯된다는 점을 강조합니다.

5. 의의 (Significance)

이 연구는 CNN 이 인간의 시각 및 인지 시스템을 모방하는 데 있어, 단순히 특정 유닛의 존재 여부 (예: 숫자 감지 유닛) 를 확인하는 것을 넘어, 어떤 유닛들이 실제 행동과 어떻게 연결되는지를 체계적으로 분석해야 함을 시사합니다. 또한, 뇌 과학과 인공지능의 교차 연구에서 기존 방법론의 편향을 수정하고, 더 정교한 모델 평가 기준을 마련하는 데 중요한 기여를 했습니다.

---

참고: 이 논문은 NeurIPS 2024 Behavioral Machine Learning Workshop 에서 발표된 전초 논문 (preprint) 으로, 2026 년 3 월 10 일 자로 업로드된 버전입니다.