🤖 machine learning

Representational Alignment Across Model Layers and Brain Regions with Multi-Level Optimal Transport

이 논문은 네트워크의 깊이와 구조가 다른 경우에도 전역적으로 일관된 층 간 매핑과 단일 정렬 점수를 제공하여 기존 방법의 한계를 극복하는 '다수준 최적 수송 (Multi-Level Optimal Transport, MOT)' 프레임워크를 제안하고, 이를 통해 시각 및 언어 모델과 인간 뇌 기록 간의 정교한 계층적 대응 관계를 발견함을 보여줍니다.

원저자: Shaan Shah, Meenakshi Khosla

게시일 2026-04-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shaan Shah, Meenakshi Khosla

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 개의 다른 뇌와 AI 를 한 번에 이해하는 새로운 방법: MOT

이 논문은 인공지능 (AI) 과 인간의 뇌가 어떻게 정보를 처리하는지 비교하는 새로운 방법을 제안합니다. 기존 방법들의 한계를 극복하고, 더 정확하고 자연스러운 비교를 가능하게 하는 **'다단계 최적 수송 (Multi-Level Optimal Transport, MOT)'**이라는 기술을 소개합니다.

간단히 말해, 이 기술은 **"서로 다른 크기와 모양의 두 개의 도서관을 비교할 때, 책장 하나하나를 무작위로 짝짓는 게 아니라, 도서관 전체의 구조를 고려하여 책들이 어떻게 배치되어 있는지 완벽하게 매칭하는 방법"**입니다.

1. 기존 방법의 문제점: "단순한 짝짓기"의 함정

기존에는 AI 의 각 층 (Layer) 과 뇌의 각 영역을 하나씩 짝지어 비교했습니다. 마치 두 개의 서로 다른 크기의 레고 블록 세트를 비교할 때, 가장 비슷한 블록 하나만 찾아서 붙이는 방식이었습니다.

하지만 이 방식에는 큰 문제가 있었습니다:

크기 불일치: AI 모델 A 는 10 단계, 모델 B 는 20 단계라면 어떻게 짝을 맞춰야 할까요?
비대칭성: A 를 기준으로 B 를 보면 A 의 1 단계가 B 의 5 단계와 비슷하다고 나옵니다. 하지만 B 를 기준으로 A 를 보면 1 단계가 3 단계와 비슷하다고 나옵니다. 결과가 일관되지 않습니다.
분산된 정보: 어떤 정보는 하나의 층에 모여 있는 게 아니라, 여러 층에 걸쳐 퍼져 있을 수 있습니다. 하지만 기존 방법은 "하나의 층은 오직 하나의 층과만 짝을 맞춰야 한다"는 규칙을 강요했기 때문에, 이런 복잡한 관계를 놓쳐버렸습니다.

2. 새로운 해결책: MOT (다단계 최적 수송)

저자들은 이 문제를 해결하기 위해 **'물건을 옮기는 비용 (Transport Cost)'**을 최소화하는 수학적 아이디어인 '최적 수송 (Optimal Transport)'을 발전시켰습니다.

🍕 피자와 피자 조각의 비유
기존 방법은 "피자 A 의 1 조각을 피자 B 의 1 조각과 딱 맞춰라"라고 명령합니다. 하지만 피자 A 가 8 조각이고 피자 B 가 12 조각이라면? 4 조각은 버려야 하거나, 4 조각은 두 조각을 합쳐야 합니다.

MOT 의 방식은 다릅니다:

"피자 A 의 1 조각을 피자 B 의 여러 조각에 조금씩 나누어 붙여도 괜찮아."
"피자 B 의 1 조각을 피자 A 의 여러 조각에서 조금씩 가져와도 괜찮아."

즉, 정보 (무게) 를 여러 곳으로 유연하게 분배할 수 있게 합니다. 이렇게 하면 두 시스템의 깊이나 구조가 달라도, 전체적인 흐름을 잃지 않고 완벽하게 비교할 수 있습니다.

3. MOT 가 밝혀낸 놀라운 사실들

이 기술을 적용해 보니, 기존에는 보이지 않았던 흥미로운 패턴들이 드러났습니다.

🧠 뇌와 AI 의 계층 구조 (Hierarchical Structure)

시각 피질 (뇌) 과 AI: 뇌의 초기 영역 (V1, V2) 은 AI 의 초기 층과, 뇌의 후기 영역 (V4 등) 은 AI 의 깊은 층과 자연스럽게 짝이 맞았습니다.
기존 방법의 실패: 기존 방법은 이 '초기 - 초기, 후기 - 후기'라는 자연스러운 계층 구조를 찾아내지 못했습니다. 마치 지도를 뒤집어서 보거나, 무작위로 길을 찾는 것과 비슷했습니다.
MOT 의 성공: MOT 는 명시적으로 "계층을 따져라"라고 지시하지 않아도, 스스로 자연스러운 계층 구조를 찾아냅니다.

📚 얕은 모델 vs 깊은 모델

얕은 AI 모델 (층이 적음) 의 한 단계가, 깊은 AI 모델 (층이 많음) 의 여러 단계에 걸쳐 분산되어 있는 것을 발견했습니다.
마치 얕은 우물 한 개가 깊은 우물 여러 개의 물을 합친 것과 같습니다. 깊은 모델은 정보를 더 세분화해서 처리하지만, 얕은 모델은 이를 한 번에 처리합니다. MOT 는 이 '분산된 관계'를 정확히 포착합니다.

🚂 훈련 과정의 추적 (3 단계 MOT)

이 기술은 단순히 두 모델을 비교하는 것을 넘어, 한 모델이 훈련되는 과정 (시간의 흐름) 을 다른 모델과 비교할 수도 있습니다.

두 개의 AI 가 처음부터 끝까지 훈련되는 과정을 '열차'라고 상상해 보세요.
MOT 는 두 열차가 같은 시간에 같은 역에 도착하는지, 혹은 한 열차가 다른 열차의 특정 구간을 따라가는지 전체 궤적을 매핑해 줍니다. 기존 방법으로는 불가능했던 일입니다.

4. 회전 (Rotation) 을 고려한 발전 (MOT+R)

AI 나 뇌의 데이터는 방향이 바뀌어도 (회전해도) 같은 의미를 가질 수 있습니다. 예를 들어, 좌표계를 90 도 돌리면 데이터 값은 달라지지만, 그 안에 담긴 '정보의 구조'는 동일합니다.

기존 OT: 방향이 조금만 달라져도 "서로 다릅니다"라고 판단했습니다.
MOT+R (회전 불변성): "아, 방향이 살짝 돌아갔구나. 그걸 고려해서 다시 맞춰보자"라고 생각합니다.
이 기능을 추가하니, 특히 시각 AI 모델 (Vision Transformers) 비교에서 정확도가 크게 향상되었습니다.

5. 결론: 왜 이것이 중요한가요?

이 논문은 단순히 점수만 높인 것이 아닙니다. 인공지능과 인간의 뇌가 어떻게 정보를 처리하는지에 대한 깊은 통찰을 줍니다.

유연함: 서로 다른 크기와 구조의 시스템을 비교할 수 있습니다.
전체적 관점: 부분적인 짝짓기가 아니라, 전체 시스템의 구조를 이해합니다.
해석 가능성: "어떤 부분이 어디와 연결되는지"를 시각적으로 보여주어, AI 가 어떻게 '생각'하는지 더 잘 이해할 수 있게 합니다.

마치 서로 다른 언어로 쓰인 두 권의 책을 비교할 때, 단어 하나하나를 대조하는 게 아니라, 이야기의 흐름과 구조 전체를 읽어내어 두 책이 어떻게 같은 주제를 다르게 풀어냈는지 이해하는 것과 같습니다. MOT 는 바로 그런 '전체적인 이해'를 가능하게 하는 강력한 도구입니다.

논문 요약: Representational Alignment Across Model Layers and Brain Regions with Multi-Level Optimal Transport (ICLR 2026)

이 논문은 신경망의 계층 (layer) 과 뇌 영역 간의 표현 (representation) 을 정렬하는 기존 방법론의 한계를 극복하기 위해 다단계 최적 수송 (Multi-Level Optimal Transport, MOT) 프레임워크를 제안합니다. 저자들은 네트워크의 깊이 (depth) 가 다르거나, 한 계층의 특징이 여러 계층에 분산되어 있는 경우에도 전역적으로 일관된 정렬을 수행할 수 있는 새로운 접근법을 제시합니다.

1. 문제 정의 (Problem)

기존의 표현 유사성 분석 방법 (RSA, CKA, Procrustes 거리 등) 은 주로 **계층별 일대일 매칭 (layer-wise matching)**에 의존합니다. 즉, 소스 네트워크의 각 계층을 타겟 네트워크에서 가장 유사한 단일 계층과 매칭시킵니다. 이러한 접근법은 다음과 같은 근본적인 한계를 가집니다:

비대칭성 및 전역 점수 부재: 매칭 방향에 따라 결과가 달라지며, 전체 네트워크를 평가하는 통합 점수를 제공하지 못합니다.
깊이 불일치 (Depth Mismatch) 처리 불가: 네트워크의 깊이가 다를 때나, 한 계층의 정보가 타겟 네트워크의 여러 계층에 분산되어 있을 때 이를 적절히 처리하지 못합니다.
국소 최적화: 각 계층을 독립적으로 최적화하므로 전역적인 활성화 구조를 무시하고 노이즈에 과적합될 위험이 있습니다.
경직된 매핑: 한 계층이 반드시 하나의 계층과만 대응되어야 한다는 가정이 실제 생물학적/인공적 시스템의 유연한 정보 흐름을 반영하지 못합니다.

2. 방법론 (Methodology)

저자는 **다단계 최적 수송 (MOT)**을 제안하여 계층 간 및 뉴런 간의 매칭을 동시에 최적화합니다.

2.1 핵심 아이디어

MOT 는 두 가지 수준의 최적 수송 (Optimal Transport, OT) 문제를 결합합니다:

내부 수준 (Inner Level): 각 계층 쌍 내에서 뉴런 간의 매칭을 수행합니다. 기존 Soft-Matching OT 를 사용하여 뉴런의 튜닝 (tuning) 프로파일에 기반한 부드러운 (soft) 매핑을 생성합니다.
외부 수준 (Outer Level): 계층 간의 전역적인 결합 (coupling) 을 결정합니다. 소스 네트워크의 각 계층이 타겟 네트워크의 여러 계층에 분산될 수 있도록 허용하는 **소프트 운송 계획 (soft transport plan)**을 학습합니다.

2.2 수학적 formulation

비용 행렬: 내부 OT 를 통해 계산된 계층 간 비용 행렬 $C \in \mathbb{R}^{L \times M}$ 을 생성합니다.
전역 최적화: 이 비용 행렬을 기반으로 운송 다면체 (transportation polytope) $T(L, M)$ 위에서 최적 수송 문제를 풉니다.
$P = \arg \min_{P \in T(L, M)} \langle C, P \rangle$
여기서 $P_{\ell m}$ 은 소스 계층 $\ell$ 의 표현이 타겟 계층 $m$ 에 의해 설명되는 비율을 나타냅니다.
마진 제약 (Marginal Constraints): 각 소스 계층은 전체 질량 (100%) 을 타겟 계층들에 분배해야 하며, 모든 타겟 계층이 균등하게 질량을 받도록 제약합니다. 이는 정보 손실 없이 균형 잡힌 정렬을 보장합니다.
회전 불변성 확장 (MOT+R): 표현 공간의 회전 (rotation) 에 민감한 OT 의 단점을 보완하기 위해, 각 계층 쌍에 직교 변환 행렬 $R$ 을 도입하여 재구성 오차를 최소화하는 방식으로 확장했습니다.

3. 주요 기여 (Key Contributions)

원칙적인 전역 정렬 프레임워크: 모든 계층 대응을 동시에 최적화하여 비대칭적이지 않고 전역적으로 일관된 할당을 생성하며, 단일 네트워크 수준 정렬 점수를 제공합니다.
깊이 불일치의 자연스러운 처리: 경직된 일대일 매핑 대신, 소스 계층이 타겟 네트워크의 여러 계층에 질량을 분산시키는 '소프트 many-to-many' 매핑을 통해 깊이 차이가 있는 네트워크를 정렬합니다.
회전 불변성 확장: 표현 기하학이 회전된 경우에도 대응 관계를 복구할 수 있도록 회전 행렬을 통합한 MOT+R 을 제안했습니다.
계층적 구조의 발견: 명시적인 순서 제약을 두지 않았음에도, MOT 는 초기 계층이 초기 계층에, 깊은 계층이 깊은 계층에 매칭되는 자연스러운 계층적 구조를 발견합니다.
3 단계 MOT (Training Trajectories): 두 네트워크의 학습 과정 (체크포인트) 전체를 정렬하는 3 단계 MOT 프레임워크를 증명하여, 학습 경로 간의 대응 관계를 발견했습니다.

4. 실험 결과 (Results)

저자들은 비전 모델 (Vision Transformers), 대규모 언어 모델 (LLMs), 인간 시각 피질 fMRI 데이터를 포함한 다양한 도메인에서 MOT 를 평가했습니다.

LLM 간 정렬 (LLaMA, Qwen): MOT 는 기존 페어웨어 (pairwise) 방법보다 재구성 정확도 (reconstruction accuracy) 가 높았으며, 얕은 모델의 한 계층이 깊은 모델의 여러 연속된 계층에 분산되는 것을 명확히 보여주었습니다.
시각 피질 간 정렬 (fMRI): 서로 다른 피험자 간의 뇌 영역 정렬에서 MOT 는 일관된 영역 - 대 - 영역 대응 관계를 회복했으나, 페어웨어 방법은 구조화된 매핑을 찾지 못했습니다.
비전 모델 간 정렬 (DINOv2, ViT-MAE): 회전 불변성 확장 (MOT+R) 을 적용했을 때 재구성 점수가 크게 향상되었으며, 회전 민감도 있는 MOT 보다 더 명확한 계층적 정렬을 보여주었습니다.
학습 궤적 정렬: Pythia 모델의 154 개 체크포인트를 대상으로 3 단계 MOT 를 적용한 결과, 두 학습 경로 간의 일관된 체크포인트 대응 관계를 발견했습니다.

5. 의의 및 결론 (Significance)

이 논문은 신경망과 뇌의 표현을 비교하는 데 있어 **전역적 구조 (global structure)**를 고려한 정렬의 중요성을 강조합니다.

해석 가능성: MOT 는 단순히 유사도 점수를 제공하는 것을 넘어, 네트워크가 정보를 어떻게 처리하고 분산시키는지에 대한 해석 가능한 지도 (transport plan) 를 제공합니다.
보편성 원리: 서로 다른 아키텍처와 깊이를 가진 모델들이 어떻게 유사한 계산적 원리를 공유하는지, 그리고 뇌와 AI 가 어떻게 수렴하는지를 이해하는 데 필수적인 도구가 됩니다.
미래 방향: 계산 비용이 높다는 한계가 있으나, 알고리즘 개선과 더 다양한 데이터셋에 대한 적용을 통해 인공지능과 신경과학의 교차 연구에서 표준적인 비교 도구로 자리 잡을 것으로 기대됩니다.

요약하자면, MOT 는 기존의 국소적이고 경직된 매칭 방식을 넘어, 전역적으로 일관되고 유연하며 해석 가능한 신경망 및 뇌 표현 정렬을 가능하게 하는 획기적인 방법론입니다.