🧠 neuroscience

Framed RSA: Representational comparisons that honor both geometry and population-mean response preferences

이 논문은 전통적인 표현 유사성 분석(representational similarity analysis)에 참조 패턴을 결합하여 신경 활동의 기하학적 구조와 인구 평균 반응 선호도를 동시에 존중함으로써 모델 선택 정확도와 기계론적 해석 가능성을 향상시키는 새로운 분석 기법인 "framed RSA"를 소개한다.

원저자: Taylor, J. E., Schutt, H., Kriegeskorte, N.

게시일 2026-09-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Taylor, J. E., Schutt, H., Kriegeskorte, N.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

뇌가 어떻게 생각하는지를 이해하기 위해, 과학자들은 종종 우리가 얼굴, 집, 또는 단어를 볼 때 밝게 빛나는 활동 패턴을 관찰합니다. 모든 가능한 생각이나 지각이 특정한 위치를 갖는 거대하고 다차원적인 공간을 상상해 보십시오. 당신이 고양이를 볼 때, 당신의 뇌는 이 공간 속의 한 점인 독특한 활동 패턴을 만들어냅니다. 당신이 개를 볼 때, 그것은 또 다른 점을 만들어냅니다. 이 점들 사이의 거리는 뇌가 두 동물을 얼마나 유사하다고 간주하는지를 우리에게 알려줍니다. 이것이 '표상 유사성 분석(representational similarity analysis)'이라 불리는 대중적인 방법의 핵심 아이디어입니다. 수년 동안 연구자들은 이 접근 방식을 사용하여 서로 다른 뇌 부위, 또는 인공지능의 서로 다른 층들이 정보를 어떻게 조직하는지 비교해 왔습니다. 그들은 이 점들이 형성하는 모양, 즉 패턴의 기하학적 구조가 해당 뇌 영역이 무엇을 하는지에 대한 강력한 서명(signature)이라는 것을 발견했습니다.

하지만 이 전통적인 방법에는 사각지대가 있습니다. 이 방법은 점들 사이의 거리에 전적으로 집중하며, 전체 점의 집단이 더 큰 공간 내에서 어디에 위치하는지는 효과적으로 무시합니다. 이는 뇌가 얼굴을 볼 때 일반적으로 집을 볼 때보다 더 활발하게 반응하는지, 혹은 특정 영역이 단순히 전반적으로 더 에너지가 넘치는 상태인지에 대해서는 신경 쓰지 않습니다. 이 누락된 정보, 즉 모든 뉴런에 걸친 평균 활동 수준은 생물학적으로 매우 중요합니다. 이는 다양한 자극을 처리하는 데 드는 대사 비용을 반영하며, 해당 뇌 영역의 구체적인 계산 기능에 대한 단서를 제공합니다. 이 데이터를 버림으로써, 표준적인 방법들은 기하학적으로는 유사해 보이지만 서로 다른 에너지 프로필로 작동하는 시스템 간의 결정적인 차이를 놓칠 수 있습니다.

컬럼비아 대학교와 룩셈부르크 대학교의 연구팀은 이러한 간과를 해결하기 위해 '프레임드 표상 유사성 분석(framed representational similarity analysis)'이라는 새로운 기술을 도입했습니다. 그들의 목표는 신경 패턴의 형태뿐만 아니라, 응답 공간 내에서의 전체적인 위치와 방향까지 존중하는 방법을 만드는 것이었습니다. 이를 위해 그들은 수학적 풍경에 두 개의 보이지 않는 기준점을 추가했습니다: 하나는 활동이 '0'인 상태를 나타내고, 다른 하나는 균일한 '최대' 활동 상태를 나타냅니다. 이 두 점은 프레임이나 자(ruler)처럼 작용하여 신경 패턴을 제자리에 고정하는 역할을 합니다. 모든 자극 패턴과 이 고정된 기준점 사이의 거리를 측정함으로써, 새로운 방법은 각 자극의 평균 활동 수준을 복구할 수 있습니다. 이를 통해 이 방법은 내부 기하학적 구조는 동일하지만 전반적인 선호도가 다른 뇌 영역들을 구별할 수 있게 해줍니다. 예를 들어, 얼굴 패턴과 집 패턴 사이의 상대적 거리는 동일하더라도, 한 영역은 얼굴에 대해 매우 활발하고 다른 영역은 집에 대해 매우 활발한 경우를 구분해낼 수 있습니다.

연구진은 세 가지 뚜렷한 유형의 데이터를 사용하여 이 새로운 접근 방식을 테스트했습니다: 수천 장의 자연 이미지를 보는 인간의 뇌 스캔 데이터, 마카크 원숭이의 뇌에서 기록된 전기 신호, 그리고 객체 인식을 위해 학습된 딥 뉴럴 네트워크의 내부 층입니다. 각 경우에 그들은 이 과업을 매칭 게임처럼 다루었습니다. 그들은 새로운 방법이 한 사람의 시각 피질이 다른 사람의 시각 피질과 단어를 처리하는 영역과 같은 다른 뇌 영역보다 더 유사하다는 것을 올바르게 식별할 수 있는지 물었습니다. 그들은 프레임드 방식의 성능을 표준 기술 및 평균 활동 수준만을 고려한 단순 분석과 비교했습니다.

결과는 프레임드 접근 방식이 서로 다른 뇌 영역과 네트워크 층을 구별하는 능력을 일관되게 향상시켰음을 보여주었습니다. 인간 뇌 스캔 데이터에서, 새로운 방법은 특히 보여준 이미지의 수가 적을 때 표준 방법보다 특정 뇌 영역을 식별하는 데 있어 유의미하게 더 뛰어났습니다. 또한 데이터가 제한적일 때 평균 활동만을 살펴보는 것보다 더 나은 성능을 보였습니다. 마카크 원숭이의 기록에서도 프레임드 방식은 모든 조건에서 표준 기술과 대등하거나 이를 능가하는 성능을 보였습니다. 아마도 가장 시사점이 컸던 것은 인공 신경망에 대한 테스트였습니다. 연구진이 실제 측정 오류를 시뮬레이션하기 위해 노이즈를 추가했을 때, 프레임드 방식은 표준 방식보다 더 견고함을 입증했습니다. 이 방식은 동일한 네트워크의 서로 다른 버전들 사이에서 일치하는 층을 성공적으로 식별해 냈으며, 이는 평균 활동 프로필을 통합하는 것이 시스템이 어떻게 계산하는지에 대한 더 안정적이고 정보가 풍부한 서명을 제공한다는 점을 시사합니다.

연구는 또한 기준점의 선택이 결과에 어떤 영향을 미치는지 탐구했습니다. 그들은 기준점을 중간 크기로 설정했을 때 가장 효과적이었으며, 너무 크게 만들면 오히려 정확도가 떨어진다는 것을 발견했습니다. 이는 패턴의 기하학적 구조와 기준 프레임에 대한 위치 사이의 균형이 매우 섬세하다는 것을 시사합니다. 연구진은 자신들의 새로운 기술이 단순히 이론적인 개선에 그치는 것이 아니라, 기존의 분석 파이프라인에 통합될 수 있는 실용적인 도구임을 입증했습니다. 지역적 활성화 수준에 대한 연구와 패턴 기하학에 대한 연구를 결합함으로써, 프레임드 표상 유사성 분석은 뇌와 인공 시스템이 세상을 어떻게 표상하는지에 대한 더 완전한 그림을 제공합니다. 이 기술은 패턴이 형성하는 모양만큼이나, 그 패턴이 신경 공간 내에서 어디에 위치하는가 또한 중요하다는 사실을 존중합니다.

기술 요약: Framed RSA

문제 정의
표상 유사성 분석(Representational Similarity Analysis, RSA)은 뇌 영역, 종(species), 그리고 인공 신경망(DNN) 간의 신경 표상을 비교하는 표준적인 방법이다. RSA는 자극 간의 쌍별 거리(또는 비유사도)를 분석하여 자극의 기하학적 구조를 특징짓는데, 이는 일반적으로 표상 비유사도 행렬(Representational Dissimilarity Matrix, RDM)로 요약된다. 그러나 표준 RSA는 인구 평균 반응 선호도(예: 특정 영역이 집(house)보다 얼굴(face)에 대해 전반적으로 더 강한 활성화를 보이는 것)와 다변량 반응 공간에서의 전역적 위치 및 방향에 관한 결정적인 정보를 버린다.

특정 변환(예: 스케일링 또는 회전)에 대한 불변성은 추상적인 인코딩 세부 사항을 배제하기 위해 바람직하지만, 저자들은 평균 활성 프로파일을 버리는 것이 문제가 될 수 있다고 주장한다. 인구 평균 반응은 생리학적으로 중요하며, 대사 비용을 결정하고 개별 뉴런의 튜닝(예: 혼합 선택성)을 반영한다. 표준 RSA는 이러한 평균 선호도를 변화시키는 전역적 이동(translation) 및 회전(rotation)에 대해 불변성을 가지며, 이는 결과적으로 서로의 기하학적 구조가 단순히 회전되거나 이동된 버전일 경우 서로 다른 계산적 기능을 동일한 것으로 보이게 만들 수 있다.

방법론: Framed RSA
저자들은 다변량 반응 공간의 모든-1 벡터(all-1 vector)를 기준으로 반응 패턴의 전역적 위치와 방향에 대한 정보를 포함하는 변형된 방식인 Framed RSA를 도입한다. 이는 두 가지 특정 "프레이밍 패턴(framing patterns)"으로 자극 패턴 집합을 확장함으로써 달성된다:

원점 (0): 모든 요소가 0인 벡터.
상수 (c): 모든 요소가 고정된 양의 실수 $c$ 인 벡터.

이 두 패턴은 반응 공간 내에서 하나의 "프레임"(구체적으로는 하이퍼큐브 경계)을 정의한다. 이 방법은 다음과 같은 확장된 RDM( $D_{0c}$ )을 구성한다:

모든 자극 패턴 간의 거리.
각 자극 패턴과 원점($0$) 사이의 거리.
각 자극 패턴과 상수 벡터( $c$ ) 사이의 거리.

수학적 함의:

평균 활성 복구: 저자들은 확장된 RDM의 항목들에 대한 선형 연산을 통해 지역의 인구 평균 활성( $c^T s / \|c\|_1$ )을 복구할 수 있음을 증명한다.
불변성 감소: Framed RSA는 이동 불변성(translational invariance)을 제거하고 회전 불변성(rotational invariance)을 감소시킨다. 이는 어떤 자극에 대해서든 인구 평균 반응을 변화시키는 회전에 대해서는 더 이상 불변하지 않지만, $c$ 벡터에 대한 회전에 대해서는 여전히 불변하다.
$c$ 의 선택: 측정 단위의 균등 스케일링(uniform scaling)에 대한 바람직한 불변성을 유지하기 위해, $c$ 의 노름(norm)은 자극 벡터들의 평균 노름에 비례하도록(예: $k=1$ ) 선택된다.
노이즈 처리: 저자들은 노이즈 정규화된 비유사도 추정치(Mahalanobis 및 crossnobis)와 화이트닝된(whitened) RDM 비교법을 적응시킨다. 저자들은 $0 $과$ c$ 패턴의 무노이즈 특성을 고려하여, 표준 가정(참된 거리가 0임)을 적용할 때 발생할 수 있는 특이점(singularity) 문제를 방지하는 분산-공분산 행렬( $V$ )의 특정 공식을 유도한다.

주요 기여 및 결과
저자들은 지면 진실(ground truth)이 알려진 "영역 식별(region identification)" 과업을 통해 Framed RSA를 검증한다(예: 특정 패턴을 생성한 뇌 영역이나 DNN 레이어를 식별하는 것). 성능은 표준 RSA 및 평균 활성 프로파일과 비교된다.

자연 장면 데이터셋 (인간 fMRI):
- 화이트닝된 상관관계(whitened correlation) 또는 화이트닝된 코사인 유사성(whitened cosine similarity)을 비교법으로 사용할 때, 모든 자극 샘플 크기에 대해 Framed RSA가 표준 RSA를 크게 능가했다.
- Framed RSA는 적은 수의 자극( $\le 20$ )에 대해서도 평균 활성 프로파일보다 우수한 성능을 보였다.
- 흥미롭게도, 많은 수의 자극( $\ge 100$ )에 대해서는 평균 활성 프로파일 단독이 가장 좋은 성능을 보였는데, 이는 충분한 데이터가 있어 노이즈를 평균화할 수 있을 때 평균 활성이 fMRI 데이터에 대한 강력한 시그니처임을 시사한다.
Things 복측 선조(Ventral Stream) 스파이킹 데이터셋 (마카크 뇌 내부 기록):
- Framed RSA는 모든 조건에서 표준 RSA와 대등하거나 이를 능가하는 성능을 보였다.
- 적은 수의 자극( $\le 10$ ) 조건에서 표준 RSA를 유의미하게 앞질렀다.
- Framed RSA는 자극 수와 관계없이 평균 활성 프로파일보다 일관되게 높은 성능을 보였다. 저자들은 저노이즈 신경 기록 데이터에서 인구 패턴의 미세한 정보가 평균 선호도와 결합될 때, 평균 선호도 단독보다 더 강력한 시그니처를 제공한다고 제안한다.
심층 신경망(DNN) 레이어 식별:
- 서로 다른 랜덤 시드로 학습된 AlexNet 인스턴스들을 사용했을 때, 낮은 노이즈 수준에서 Framed RSA는 표준 RSA와 평균 활성 프로파일 모두를 유의미하게 능가했다.
- 높은 노이즈 수준에서 Framed RSA는 표준 RSA보다는 우수했지만, 평균 활성 프로파일에는 뒤처졌으며, 이는 높은 노이즈 조건에서 평균 활성이 특히 진단적이라는 발견을 뒷받침한다.

의의
본 논문은 Framed RSA가 뇌 활동 분석의 두 가지 전통적인 흐름인 지역 활성 분석(단변량 평균 반응)과 다변량 패턴 기하학(RSA)을 통합한다고 주장한다. 기하학적 구조와 인구 평균 반응 선호도를 모두 존중하는 "기능적 지문(functional fingerprint)"을 생성함으로써, Framed RSA는 더욱 메커니즘적으로 의미 있는 모델 비교를 가능하게 한다.

저자들은 모델이 기하학적 구조와 함께 지역 평균 반응 선호도를 정확하게 예측하도록 요구하는 것이 뇌 계산에 대한 경쟁 모델들을 구별하는 힘을 높인다고 주장한다. 이는 자극을 표현하는 데 드는 대사 비용이 생물학적으로 중요한 제약 조건이기 때문에 특히 중요하다. Framed RSA는 오픈 소스 RSA 툴박스에 구현되어 있어 기존 분석 파이프라인에 쉽게 통합될 수 있다. 이 방법은 표준 RSA의 추상화 이점을 버리지 않으면서도 전역적 반응 특성을 포함하는 단순하고 수학적으로 근거 있는 접근 방식을 제공한다.

유사한 논문