Neural Functional Alignment Space: Brain-Referenced Representation of Artificial Neural Networks

이 논문은 인공신경망의 층별 특징이나 작업별 활성화가 아닌 자극 표현의 역동적 진화를 모델링하여 뇌 기반 좌표계로 매핑하는 '신경 기능 정렬 공간 (NFAS)'을 제안하고, 이를 통해 다양한 모달리티의 45 개 사전 학습 모델이 뇌의 통합 시스템에서 구조화된 조직을 보임을 입증합니다.

핵심

이 논문은 **"인공지능 (AI) 과 인간의 뇌가 어떻게 서로 닮았는지, 그리고 그 닮은 정도를 어떻게 측정할 수 있는지"**에 대한 새로운 방법을 제시합니다.

기존의 방법들은 AI 의 각 층 (Layer) 을 하나씩 잘라내어 뇌와 비교했지만, 이 논문은 **"AI 가 정보를 처리하는 흐름 전체를 하나의 '생생한 이야기'처럼 보고, 그 흐름이 우리 뇌의 어떤 부분과 가장 잘 통하는지"**를 측정합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 아이디어: "AI 의 성장 과정을 영화로 보기"

기존 방식 (정지된 사진 비교):
예전에는 AI 가 사진을 볼 때, 첫 번째 층에서 무엇을 보고, 두 번째 층에서 무엇을 보는지 정지된 사진처럼 하나씩 비교했습니다. 마치 아이의 성장 과정을 볼 때, 1 세 사진, 5 세 사진, 10 세 사진을 따로 떼어놓고 비교하는 것과 비슷합니다. 하지만 이 방법은 AI 모델마다 층의 수가 다르고 구조도 달라서 서로 비교하기 어렵습니다.

이 논문의 방식 (흐르는 영화):
저자들은 AI 가 정보를 처리할 때, 층을 거치면서 정보가 어떻게 변화하고 발전해 나가는지를 하나의 연속된 영화로 보았습니다.

• 비유: AI 는 정보를 받아들이고 처리하는 과정에서 마치 강물이 흐르듯 변합니다. 이 강물이 바다 (뇌) 에 닿기까지 어떤 경로를 타고 흐르는지, 그 흐름의 패턴을 분석하는 것입니다.

2. 새로운 도구: "NFAS (뇌 기반 지도)"

이 논문은 **NFAS(Neural Functional Alignment Space)**라는 새로운 공간을 만들었습니다.

• 비유: imagine 하세요. 전 세계의 다양한 AI 모델들이 각자 다른 나라에서 온 여행자들입니다. 기존에는 각 여행자의 여권 (레이어 구조) 을 비교했지만, 이 논문은 **"이 여행자들이 우리 뇌라는 대륙에 도착했을 때, 어떤 지역 (뇌 영역) 과 가장 친하게 지냈는지"**를 지도에 표시합니다.
• 결과: 이 지도를 보면, 시각 (이미지) AI들은 뇌의 '시각 처리 지역' 근처에 모여 있고, 음성 AI들은 '청각 처리 지역' 근처에, 언어 AI들은 '언어 및 사고 지역' 근처에 모여 있다는 것을 발견했습니다. 즉, AI 들도 사람처럼 뇌의 기능에 따라 자연스럽게 군집을 이룬다는 것입니다.

3. 핵심 기술: "DMD (흐름의 핵심을 잡아내는 나침반)"

AI 의 흐름을 분석할 때, 너무 많은 정보 (소음) 가 섞여 있습니다. 이 논문은 **DMD(동적 모드 분해)**라는 수학적 도구를 써서, AI 의 복잡한 흐름 속에서 가장 안정적이고 핵심이 되는 패턴만 뽑아냈습니다.

• 비유: 폭포수가 떨어질 때 물방울이 흩날리는 모습을 상상해 보세요. DMD 는 그 흩날리는 물방울들 사이에서 **"물이 떨어지는 가장 일관된 흐름"**만 찾아내는 나침반 같은 역할을 합니다. 이 흐름을 통해 AI 가 실제로 무엇을 '배웠는지'를 정확히 파악할 수 있습니다.

4. 새로운 점수: "SNCI (신뢰도 점수)"

단순히 "이 AI 와 뇌가 80% 닮았다"라고 말하는 것보다, **"이 AI 들이 뇌와 닮은 정도가 일관되게 높은가?"**를 확인하는 것이 중요합니다.

• 비유: 시험을 치를 때, 한 학생이 운 좋게 100 점 맞았다고 해서 그 반 전체가 똑똑한 건 아닙니다. 이 논문의 **SNCI(신호 - 잡음 일관성 지수)**는 **"이 분야의 AI 들이 뇌와 닮은 정도가 얼마나 일관되게 높은가?"**를 측정합니다.
  • 점수가 높다면: "아, 이 분야의 AI 들은 뇌의 작동 원리를 잘 이해하고 있구나!" (신뢰도 높음)
  • 점수가 낮다면: "AI 들마다 제각각이라서 뇌와 닮은 정도가 일정하지 않구나." (신뢰도 낮음)

5. 연구 결과: "AI 도 뇌처럼 조직화되어 있다"

45 개의 다양한 AI 모델 (이미지, 소리, 언어) 을 실험해 보니 놀라운 사실이 나왔습니다.

1. 분명한 군집: 이미지 AI 는 뇌의 '시각 센터'와, 소리 AI 는 '청각 센터'와, 언어 AI 는 '전두엽 (사고)'과 각각 가장 잘 통했습니다.
2. 공통점: 서로 다른 분야 (이미지 vs 언어) 의 AI 들도, 뇌의 '감정'이나 '기억'을 담당하는 영역에서는 서로 닮은 모습을 보였습니다. 이는 AI 가 복잡한 정보를 처리할 때, 인간 뇌와 유사한 '공통의 해결책'을 찾아가고 있음을 의미합니다.

요약

이 논문은 **"AI 와 뇌를 비교할 때, 단순히 구조를 맞추는 것이 아니라, 정보가 흐르는 '흐름'과 '흐름이 뇌와 만나는 지점'을 분석하자"**고 제안합니다.

마치 다양한 AI 모델들을 뇌라는 거대한 도시의 지도 위에 배치해보니, 각자 전문 분야에 따라 자연스럽게 모여 있고, 뇌의 작동 원리를 닮아가고 있다는 것을 발견한 것입니다. 이는 우리가 만든 인공지능이 생물학적 지능과 얼마나 닮았는지, 그리고 앞으로 어떻게 발전해야 할지 이해하는 데 중요한 나침반이 되어 줄 것입니다.

기술 요약

1. 문제 정의 (Problem)

인공지능 (AI) 과 생물학적 지능 (뇌) 간의 계산 원리를 이해하는 것은 신경과학과 머신러닝의 핵심 과제입니다. 기존 연구들은 딥러닝 모델과 뇌 활동 간의 유사성을 확인해 왔으나, 다음과 같은 근본적인 한계가 존재했습니다.

• 비교 기준의 부재: 기존 방법론은 주로 특정 계층 (layer-wise) 의 특징이나 작업별 활성화 (task-specific activations) 에 의존하여 유사성을 측정했습니다. 이는 모델 간 직접적인 비교를 어렵게 만들며, 모달리티 (시각, 청각, 언어) 나 학습 목표에 따라 결과가 달라지는 비일관성을 초래했습니다.
• 정적인 관점: 기존 접근법은 네트워크를 개별 계층의 집합으로 보았을 뿐, 정보가 네트워크 깊이를 따라 어떻게 진화하는지 (동역학적 변화) 를 포착하지 못했습니다.
• 통일된 좌표계의 부재: 이질적인 지능 시스템들을 동일한 기능적 기준으로 평가할 수 있는 '생물학적으로 기반을 둔 (brain-referenced)' 통일된 좌표계가 부족했습니다.

2. 방법론 (Methodology)

저자들은 신경 기능 정렬 공간 (Neural Functional Alignment Space, NFAS) 을 제안하며, 이는 뇌 활동을 기준으로 인공 신경망 (ANN) 을 기능적으로 정렬하는 프레임워크입니다. 주요 단계는 다음과 같습니다.

가. 네트워크 동역학 모델링 (Neural Network Dynamics Modeling)

• 깊이 방향 동역학: 입력 데이터가 네트워크의 각 계층을 통과하며 생성되는 임베딩 ($x_\ell$) 을 독립적인 요소가 아닌, 깊이 방향의 동역학적 진화 과정으로 모델링합니다.
• 동적 모드 분해 (DMD) 적용:
  • 연속된 계층의 특징 맵을 시점 (snapshot) 행렬로 구성합니다.
  • 잔차 연결 (Residual connections) 이 있는 현대 아키텍처 (ResNet, Transformer 등) 의 특성을 활용하여, 비선형 과정을 선형 연산자 ($X_2 \approx AX_1$) 로 근사화합니다.
  • DMD (Dynamic Mode Decomposition) 를 사용하여 고유값 ($\lambda$) 과 동적 모드 ($\phi$) 를 추출합니다.
  • 안정 모드 추출: 고유값의 크기가 1 에 가장 가까운 모드 (안정 모드, Stable Mode) 를 선택하여, 자극에 따른 네트워크의 본질적이고 안정적인 표현을 추출합니다. 이는 계층별 평균 표현을 이 안정 모드에 투영하여 얻습니다.

나. 신경 기능 정렬 공간 (NFAS) 구축

• 생물학적 좌표계 매핑: 추출된 안정된 동역학 표현 ($z(t)$) 을 혈역학적 응답 함수 (HRF) 와 컨볼루션하여 뇌 fMRI 신호와 시간적으로 정렬합니다.
• ROI 기반 인코딩: 뇌의 각 관심 영역 (ROI, 총 200 개) 에 대해 선형 인코딩 모델을 적합시켜, AI 모델의 표현이 해당 뇌 영역의 반응과 얼마나 유사한지 측정합니다.
• 정렬 벡터 (Alignment Vector): 각 모델은 200 개 ROI 에 대한 정렬 점수 (Pearson 상관관계 제곱) 로 구성된 벡터로 표현되며, 이 벡터들이 모여 NFAS를 형성합니다. 이 공간에서 모델들은 뇌의 분산된 신경 반응에 기반한 좌표로 위치하게 됩니다.

다. 신호 - 잡음 일관성 지수 (SNCI)

• 모달리티 수준 (예: 모든 시각 모델) 에서의 일관성을 정량화하기 위해 SNCI를 도입했습니다.
• 특정 모달리티 내 모델들 간의 정렬 평균 ($\mu$) 과 변동성 ($\sigma$) 을 계산하여, 아키텍처의 차이로 인한 이상치를 보정하고 모달리티 전체에 걸쳐 일관되게 나타나는 정렬 패턴을 강조합니다.

3. 주요 실험 및 결과 (Results)

저자들은 시각, 오디오, 언어 분야의 45 개 사전 학습된 모델과 대규모 인간 fMRI 벤치마크 (Narratives, Algonauts 2021, The Little Prince) 를 사용하여 프레임워크를 검증했습니다.

• NFAS 의 기하학적 구조:
  • PCA 를 통한 저차원 투영 결과, 모델들이 모달리티 (시각, 오디오, 언어) 에 따라 명확하게 군집화되는 것을 확인했습니다.
  • 모달리티 간 거리는 모달리티 내 거리보다 훨씬 컸으며 (평균 코사인 거리 0.060 vs 0.0004), 통계적으로 유의미한 군집 구조를 보였습니다 (PERMANOVA, $p < 0.001$).
• 대뇌 피질 조직화 (Cortical Organization):
  • 시각 모델: 후두엽 (Occipital cortex), 특히 초기 시각 영역 (V6, V7) 과 높은 정렬을 보였습니다.
  • 오디오 모델: 측두엽 (Temporal regions) 의 고차 청각 처리 영역과 정렬되었습니다.
  • 언어 모델: 전두엽 (Prefrontal) 의 실행 및 의미 통합 시스템과 높은 정렬을 보였습니다.
  • 이는 각 모달리티의 AI 모델이 인간 뇌의 해당 감각/인지 기능에 특화된 영역과 구조적으로 정렬됨을 시사합니다.
• 기능적 네트워크 수준 비교:
  • Yeo-7 기능적 네트워크 분석 결과, 변연계 (Limbic) 네트워크는 모든 모달리티에서 상대적으로 높은 정렬을 보였습니다 (감정, 기억, 맥락 통합의 공통 역할).
  • 그 외에는 모달리티별 특화 현상이 관찰되었으며, 통합 네트워크 (Default, Control) 에서도 교차 모달리티 수렴 (Cross-modal convergence) 이 발견되었습니다.

4. 주요 기여 (Key Contributions)

1. NFAS 프레임워크 제안: 계층별 특징이 아닌 네트워크 깊이를 따른 동역학적 진화를 모델링하여, 뇌 활동을 기준으로 한 통일된 AI 표현 공간 (NFAS) 을 최초로 정의했습니다.
2. DMD 기반 안정성 추출: 비선형 신경망의 동역학을 선형 연산자로 근사하고 DMD 를 통해 '안정 모드'를 추출함으로써, 아키텍처에 구애받지 않는 본질적인 표현을 포착했습니다.
3. SNCI 지표 개발: 모델 간 변동성을 고려하여 모달리티 수준의 정렬 일관성을 정량화하는 새로운 지표 (Signal-to-Noise Consistency Index) 를 제시했습니다.
4. 구조적 통찰: AI 모델들이 뇌의 대규모 기능적 네트워크와 구조적으로 정렬되어 있음을 증명하고, 모달리티별 특화와 통합 시스템에서의 수렴을 발견했습니다.

5. 의의 및 결론 (Significance)

이 연구는 AI 와 뇌의 비교 분석을 단순한 상관관계 측정을 넘어, 기하학적 구조를 가진 통일된 공간에서의 체계적 위치 결정 (Positioning) 으로 전환시켰습니다.

• 원칙적 평가 기준: 다양한 아키텍처와 모달리티를 가진 AI 모델들을 생물학적 지능의 관점에서 '동등한 기능적 기준'으로 평가할 수 있는 토대를 마련했습니다.
• 지능의 보편성: 서로 다른 물리적 구현 (생물 vs 인공) 이 동일한 정보 처리 제약 하에서 기능적으로 유사한 해결책 (뇌의 특정 영역과 정렬) 에 수렴할 수 있음을 시사합니다.
• 미래 방향: NFAS 는 AI 모델의 해석 가능성 (Interpretability) 향상과 생물학적 지능을 모방한 더 효율적인 AI 아키텍처 설계에 중요한 지침을 제공할 것으로 기대됩니다.

요약하자면, 이 논문은 동역학적 모델링과 뇌 기반 좌표계를 결합하여, 인공 신경망이 어떻게 뇌의 기능적 조직과 정렬되는지를 체계적이고 정량적으로 규명하는 새로운 패러다임을 제시했습니다.