Comparing and Integrating Different Notions of Representational Correspondence in Neural Systems

이 논문은 다양한 신경 시스템 간 표현적 유사성을 평가할 때 단일 지표보다 기하학적 구조를 보존하는 지표들이 더 효과적임을 규명하고, 유사도 네트워크 융합 기법을 활용하여 여러 유사도 척도를 통합함으로써 인공 모델과 뇌 신경 데이터 모두에서 더 명확한 구조적 계층을 복원할 수 있음을 보여줍니다.

핵심

🧠 핵심 아이디어: "동일한 목적을 가진 두 사람, 어떻게 비교할까?"

상상해 보세요. 한국 사람 A와 미국 사람 B가 같은 그림을 보고 그 의미를 설명한다고 칩시다. 둘 다 같은 그림을 보고 있지만, 서로 다른 언어와 문화 (뇌 구조) 를 가지고 있죠.

이때 우리는 "A 와 B 가 그림을 얼마나 비슷하게 이해했는지"를 측정해야 합니다. 하지만 측정하는 **방법 (척도)**에 따라 결과가 완전히 달라질 수 있습니다.

1. 방법 1 (단순 번역): "A 가 말한 내용을 B 가 이해할 수 있는 언어로 번역해서 비교하자." (선형 예측)
2. 방법 2 (감정 분석): "A 와 B 가 그림을 볼 때 느끼는 '분위기'나 '구조'가 비슷한지 보자." (기하학적 유사성)
3. 방법 3 (세부 묘사): "A 와 B 가 그림의 각 부분을 어떻게 묘사하는지 단어 하나하나 비교하자." (유닛별 튜닝)

이 논문은 **"어떤 측정 방법이 가장 진짜 '이해의 유사성'을 잘 잡아내는가?"**를 실험했고, 놀라운 사실을 발견했습니다.

---

🔍 1. 실험 내용: AI 와 뇌를 비교하는 3 가지 테스트

연구팀은 두 가지 영역에서 실험을 했습니다.

• 실험 A (AI 모델들): 서로 다른 방식으로 만들어진 AI(예: CNN 이라는 방식, 트랜스포머라는 방식) 들이 같은 그림을 볼 때, 그 내부의 '생각'이 얼마나 비슷한지 비교했습니다.
• 실험 B (인간 뇌): 다른 사람 4 명이 같은 그림을 볼 때, 뇌의 서로 다른 부위 (시각 피질) 가 어떻게 반응하는지 비교했습니다.

그리고 다양한 측정 도구 (지수) 를 사용해 "이 두 시스템이 진짜로 비슷한가?"를 평가했습니다.

📉 2. 놀라운 발견: "유연함"이 오히려 방해가 됩니다!

연구팀은 다양한 측정 도구들을 사용했는데, 결과는 다음과 같았습니다.

• ❌ 너무 유연한 도구 (선형 예측 등): "어떤 변환을 거쳐도 상관없으니, 결과만 비슷하면 돼!"라고 생각하는 도구들은 오히려 구별력이 떨어졌습니다. 마치 "한국어와 영어가 다르고 문법도 다르지만, 의미만 통하면 똑같은 거야"라고 말하며 세부적인 차이를 무시하는 것과 같습니다.
• ✅ 구조를 지키는 도구 (기하학적 유사성 등): "생각의 구조나 모양이 그대로 유지되어야 해!"라고 고집하는 도구들이 가장 정확하게 구별해냈습니다. 이는 AI 가 학습한 방식이나 뇌의 부위마다 고유한 '지문'이 있다는 것을 의미합니다.

비유하자면:

두 사람의 손가락 지문을 비교할 때, "손가락이 5 개면 다 같은 거야"라고 하면 (너무 유연한 기준) 아무것도 구별할 수 없습니다. 하지만 "손가락의 굵기, 주름, 모양까지 정확히 일치해야 한다"라고 하면 (구조를 지키는 기준) 진짜 같은 사람인지 확실히 알 수 있습니다.

🧩 3. 해결책: "스무스 (SNF)"라는 마법 접착제

여기서 연구팀은 더 큰 도전을 했습니다. "어떤 도구가 최고인지 고르기보다, 모든 도구의 장점을 합치면 어떨까?"

그들은 **'스무스 (Similarity Network Fusion, SNF)'**라는 기술을 도입했습니다. 이 기술은 원래 유전체 데이터를 합칠 때 쓰이던 방법인데, 연구팀은 이를 AI 와 뇌 비교에 적용했습니다.

• 비유: 여러 명의 전문가 (측정 도구) 가 각자 다른 관점에서 사건을 분석했습니다.
  • A 는 "시간"을 보고, B 는 "장소"를 보고, C 는 "동기"를 봤습니다.
  • 각자 말한 게 조금씩 다르고 충돌하기도 합니다.
  • 이때 **스무스 (SNF)**는 이 모든 전문가의 의견을 종합하여, 모두가 동의하는 핵심 사실은 강조하고, 일부 전문가만 주장하는 잡음은 제거하는 '최종 보고서'를 만들어냅니다.

🏆 4. 결과: 더 선명한 지도가 그려지다

이 '스무스' 기술을 적용한 결과, 놀라운 일이 일어났습니다.

1. AI 모델 분류: 서로 다른 방식으로 만든 AI 들이, 표면적으로는 달라도 실제로는 같은 '생각 방식'을 공유하는 그룹으로 명확하게 뭉쳤습니다. (예: 자기 지도 학습을 한 AI 들은 구조가 달라도 한 무리가 됨)
2. 뇌 지도 복원: 인간의 뇌에서 시각 정보를 처리하는 부위들 (V1, V2, V4 등) 이, 해부학적으로 알려진 순서대로 아주 깔끔하게 정렬되었습니다. 기존에 단일 도구로는 흐릿하게 보였던 뇌의 계층 구조가 선명하게 드러난 것입니다.

💡 결론: 왜 이 연구가 중요한가?

이 논문은 우리에게 중요한 교훈을 줍니다.

"무엇을 비교할 때는 '하나의 정답'을 찾기보다, 여러 각도에서 바라보고 그 정보를 합치는 것이 더 현명하다."

AI 와 뇌를 이해하려는 과학자들에게는, 단순한 숫자 비교가 아니라, 구조와 맥락을 종합적으로 보는 '스무스' 같은 통합적 접근이 미래의 핵심 열쇠가 될 것임을 보여줍니다.

한 줄 요약:

"서로 다른 도구로 AI 와 뇌를 비교할 때, 하나만 믿지 말고 모든 도구의 의견을 합치면 (스무스), 우리가 몰랐던 숨겨진 구조와 연결고리가 선명하게 드러납니다!"

기술 요약

1. 문제 제기 (Problem)

신경과학과 머신러닝 분야에서 두 신경 시스템이 유사한 작업을 수행하기 위해 동등한 내부 표상 (internal representations) 에 의존하는지 여부는 핵심적인 질문입니다. 기존 연구는 일반적으로 단일 유사도 척도 (예: RSA, CKA, 선형 예측성 등) 를 사용하여 시스템 간 유사성을 비교했습니다. 그러나 각 척도는 표상 대응의 서로 다른 측면 (기하학적 구조 보존, 단위별 튜닝 정렬, 선형적으로 접근 가능한 정보 등) 을 포착하며, 서로 다른 변환에 대한 가정을 내포합니다. 이로 인해 동일한 시스템 쌍에 대해 서로 다른 척도를 사용하면 질적으로 다른 결론이 도출될 수 있으며, 이는 비교 방법론의 단편성을 초래합니다.

2. 방법론 (Methodology)

2.1. 데이터 및 모델

• 인공 모델: ImageNet-1k, Ecoset, CIFAR-10/100 에서 사전 학습된 35 개의 비전 모델 (CNN, Transformer, ConvNeXt, Swin 등) 을 분석 대상으로 선정했습니다. 모델은 아키텍처 (Supervised vs Self-supervised, CNN vs Transformer) 에 따라 '모델 패밀리 (Model Family)'로 분류되었습니다.
• 생물학적 데이터: 자연 장면 데이터셋 (NSD) 의 fMRI 데이터를 사용하여 4 명의 피험자로부터 10 개의 시각 피질 영역 (V1~V4, Ventral, Dorsal, Lateral) 에 대한 반응을 수집했습니다.

2.2. 평가 척도 (Representational Similarity Metrics)

논문은 다양한 변환 허용 범위를 가진 9 가지 유사도 척도를 평가했습니다:

1. 기하학적 구조 보존: RSA (Representational Similarity Analysis), Linear CKA (Centered Kernel Alignment).
2. 단위별 튜닝 (Unit-level Tuning) 보존: Soft Matching (SoftMatch), Procrustes Alignment.
3. 선형적으로 접근 가능한 정보 (Linear Accessibility): Linear Predictivity, SVCCA, PWCCA.
4. 기타: 평균 베이스라인 (Average).

2.3. 평가 기준

• 모델 도메인: 서로 다른 프로시저 (아키텍처 또는 학습 패러다임) 를 가진 모델은 낮게, 동일한 프로시저를 가진 모델은 높게 분류하는지 (Procedural Correspondence) 평가.
• 뇌 도메인: 서로 다른 피질 영역은 분리되고, 동일한 영역은 피험자 간에 정렬되는지 (Anatomical-Functional Organization) 평가.
• 지표: Contrastive Ratio, D-Prime ($d'$), Silhouette Score 를 사용하여 군집 분리 능력을 정량화.

2.4. 통합 프레임워크: 유사도 네트워크 퓨전 (SNF)

단일 척도의 한계를 극복하기 위해, 다중 오믹스 (multi-omics) 통합을 위해 개발된 **유사도 네트워크 퓨전 (Similarity Network Fusion, SNF)**을 적응시켰습니다.

• 각 척도에서 도출된 유사도 행렬을 그래프로 변환합니다.
• 메시지 전달 (message-passing) 알고리즘을 통해 여러 척도의 그래프를 융합하여, 모든 척도에서 일관되게 지지되는 관계를 강화하고 노이즈를 억제하는 **퓨즈드 유사도 행렬 (Fused Similarity Matrix)**을 생성합니다.
• 이 융합된 행렬을 기반으로 계층적 클러스터링을 수행하여 모델 또는 뇌 영역의 유형론 (Typology) 을 도출합니다.

3. 주요 결과 (Key Results)

3.1. 단일 척도의 성능 비교

• 기하학 및 튜닝 보존 척도의 우위: RSA, Linear CKA, SoftMatch 와 같이 표상 기하학이나 단위별 튜닝을 보존하는 척도가 모델 패밀리 분리 (D-Prime, Silhouette 점수) 와 뇌 영역 구분에서 가장 우수한 성능을 보였습니다.
• 선형적 접근성 척도의 한계: 선형 예측성 (Linear Predictivity) 이나 CCA 기반 방법 (SVCCA, PWCCA) 은 변환에 너무 유연하여 모델 패밀리나 뇌 영역 간의 미세한 구조적 차이를 구분하는 능력이 현저히 떨어졌습니다.
• 전환 유연성과 분리 능력의 역상관관계: 변환의 유연성이 증가할수록 (SoftMatch < Procrustes < Linear Predictivity) 모델 패밀리 간 분리 능력은 감소하는 경향을 보였습니다.

3.2. SNF 통합의 효과

• 성능 향상: SNF 를 통해 통합된 유사도는 단일 최상위 척도보다 훨씬 뛰어난 분리 능력을 보였습니다.
  • 모델: SNF 의 D-Prime 점수는 12.42 로, 최상위 단일 척도 (RSA, 3.95) 보다 약 3 배 높았습니다.
  • 뇌 데이터: SNF 는 평균 D-Prime 21.45 를 기록하여, 최상위 단일 척도보다 약 5 배 높은 성능을 보이며 피질 영역 간의 명확한 계층 구조를 복원했습니다.
• 구조적 발견:
  • 모델: SNF 기반 클러스터링은 아키텍처 (CNN vs Transformer) 보다는 **학습 패러다임 (Supervised vs Self-supervised)**에 따라 모델을 더 명확하게 그룹화했습니다. 특히 모든 자기지도학습 (Self-supervised) 모델이 아키텍처와 무관하게 하나의 통합된 군집을 형성함을 발견했습니다.
  • 뇌: SNF 는 배측 (Dorsal) 과 복측 (Ventral) 시각 경로의 잘 알려진 해부학적/기능적 계층 구조를 가장 명확하게 재현했습니다.

3.3. 데이터 기반 유형론 (Data-driven Typologies)

통합된 유사도 행렬을 통해 사전 가정 (아키텍처, 학습 태스크 등) 없이 시스템의 본질적인 조직 원리를 발견할 수 있었습니다. 예를 들어, ConvNeXt 와 Swin 같은 하이브리드 아키텍처가 MAE 와 유사한 표상 구조를 공유한다는 것을 SNF 를 통해 규명했습니다.

4. 기여 및 의의 (Contributions & Significance)

1. 척도 비교 체계화: 다양한 표상 유사도 척도가 어떤 구조 (기하학적, 튜닝, 선형 정보) 를 복원하는지 체계적으로 평가하고, 각 척도의 한계와 강점을 명확히 했습니다.
2. 통합 프레임워크 제안: 단일 척도의 편향을 극복하고 상호 보완적인 정보를 활용하기 위해 SNF 를 신경 시스템 비교에 적용한 최초의 연구 중 하나입니다. 이는 모델과 뇌의 구조를 더 정확하게 매핑하는 새로운 표준을 제시합니다.
3. 새로운 통찰:
   • 모델: 학습 목표 (Supervised vs Self-supervised) 가 아키텍처보다 표상 구조 형성에 더 결정적인 역할을 할 수 있음을 시사합니다.
   • 뇌: 다양한 척도를 통합함으로써 인간 시각 피질의 계층적 조직을 더 정밀하게 이해할 수 있음을 입증했습니다.
4. 방법론적 함의: "표상 유사성"은 단일 값이 아니라 다차원적인 개념이며, 이를 이해하기 위해서는 여러 척도의 통합적 접근이 필수적임을 강조합니다.

결론

이 논문은 단일 유사도 척도에 의존하는 기존 접근법의 한계를 지적하고, 다양한 표상 차원을 통합하는 SNF 기반 프레임워크가 모델과 뇌의 구조적 조직을 복원하는 데 훨씬 효과적임을 입증했습니다. 이 접근법은 인공 신경망과 생물학적 뇌 간의 비교 연구를 더욱 정밀하고 해석 가능하게 만들며, 신경 시스템의 본질적인 "종 (Species)"을 분류하는 새로운 기준을 제시합니다.