기술적 요약: 활성화 정렬을 넘어선 신경 민감도의 기하학

문제 제기

대표성 유사성 분석 (RSA), 정준 상관 분석 (CCA), 중심 커널 정렬 (CKA) 과 같은 활성화 정렬 측도들은 생물학적 및 인공 신경 표현을 비교하는 표준 도구입니다. 이러한 방법들은 주로 자극 유발 활동 패턴의 기하학적 유사성을 정량화합니다. 그러나 중요한 한계가 존재합니다: 글로벌 판독 수준에서의 일치도가 시스템이 어떻게 국소 자극 증거를 활용하는지를 결정하지는 않습니다. 표현들이 활성화 공간에서 정렬되어 있더라도 작은 교란에 대한 민감도에서는 현저한 차이가 있을 수 있습니다. 더 나아가, 활성화 기반 유사성 측도는 간단한 사후 변환 (예: 고정된 부분집합 이동 followed by 글로벌 평균 중심화) 에 불변하지 않으며, 이는 근본적인 인코딩 과정을 변경하지 않으면서도 유사성 점수를 변경할 수 있습니다. 이를 해결하기 위해 디코더 기반 관점과 국소 기하학 접근법이 제안되었으나, 종종 정보가 자극 간에 어떻게 집계되어야 하는지 또는 판별 작업을 특징짓기에 충분한 데이터셋 수준의 요약이 무엇인지 명시하지 못합니다.

방법론

저자들은 국소 디코더 가능 정보에 기반한 프레임워크를 제안하며, 이는 잡음 하에서 지정된 자극 좌표 부분공간 내에서 작은 교란을 구별하는 표현의 능력에 초점을 맞춥니다.

1. 국소 교란 작업과 피셔 기하학

이 프레임워크는 신경 표현을 미분 가능한 사상 $f: \mathbb{R}^d \to \mathbb{R}^m$으로 취급합니다. 국소 민감도는 $J_f$를 야코비안으로 할 때, 풀백 메트릭 $M_f(x) = J_f(x)^\top J_f(x)$로 특징지어집니다.

• 작업 정의: 국소 판별 작업은 잡음이 있는 개체군 활동이 주어졌을 때 자극 $s$와 교란된 자극 $s + \eta$를 구별하는 것을 포함합니다. 제곱 판별도 $d'^2$는 피셔 메트릭 $I_{f,\psi}(s) = J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s)$에 의해 지배되며, 여기서 $\Sigma$는 잡음 공분산입니다.
• 데이터셋 수준 요약: 점별 민감도에서 표현 수준의 비교로 이동하기 위해, 저자들은 투영된 2 차 모멘트 국소 작업 계열을 정의합니다. 좌표 계열 (매개변수 $\psi$로 파라미터화됨) 과 교란 부분공간 (직교 행렬 $P$로 정의됨) 을 고정함으로써, 그들은 자극 분포에 걸쳐 국소 피셔 메트릭을 평균화합니다.
• 연산자: 이 계열에 대한 최소 완전 데이터셋 수준 요약은 투영된 기대 피셔 연산자입니다:
  $$F_{f,\psi,P,\Sigma} := \mathbb{E}_{s \sim \nu} [P^\top J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s) P]$$
  등방성 잡음 경우, 이는 투영된 기대 풀백 메트릭 $G_{f,\psi,P}$로 축소됩니다. 이 연산자는 $P$로 정의된 임의의 2 차 모멘트 교란 계열에 대한 기대 판별도를 완전히 특징짓습니다.

2. 분해: 이득과 형태

저자들은 요약 연산자를 다음과 같이 분해합니다:

• 이득 ($\gamma$): 총 기대 민감도 (연산자의 대각합).
• 형태 ($\hat{G}$): 민감도의 방향적 할당 (대각합 정규화 연산자).
  이를 통해 표현들을 총 민감도 기반과 자극 공간에서 증폭하거나 억제하는 특정 방향 기반으로 비교할 수 있습니다.

3. 비교 지표: S-RAS

이 양의 정부호 (SPD) 요약들을 비교하기 위해, 저자들은 SPD 행렬 다양체에서 **아핀 불변 리만 계량 (AIRM)**을 사용합니다. 그들은 **스펙트럼 리만 정렬 점수 (S-RAS)**를 정의합니다:
$$S\text{-}RAS_P(f, g) = \exp\left[ -\frac{1}{\sqrt{k}} d_{AIRM}(\tilde{G}_{f,P}, \tilde{G}_{g,P}) \right]$$
여기서 $\tilde{G}$는 정규화를 위해 사용되는 대각합 스케일링된 SPD 리프트입니다. 이론적 분석은 S-RAS 가 리프트된 작업 값 계열에 걸쳐 균일한 곱셈 인증을 제공하며, 두 표현 간의 기대 판별도 불일치를 경계 짓는다는 것을 보여줍니다.

주요 기여

1. 국소 판별의 형식화: 이 논문은 2 차 모멘트 국소 교란 - 판별 작업을 정의하고, 투영된 기대 피셔/풀백 연산자를 이러한 작업에 대한 최소 완전 데이터셋 수준 요약으로 식별합니다.
2. S-RAS 지표: SPD 행렬에서 로그 스펙트럼 거리를 사용하여 기하학적 인식을 갖춘 비교 방법 (S-RAS) 을 도입하며, 작업 값 경계에 대한 이론적 보장을 갖춘 차원 정규화 유사성 점수를 제공합니다.
3. 실증적 검증: 이 프레임워크는 인공 및 생물학적 시스템 전반에 걸쳐 검증되었으며, 층 대응, 전이 가능한 프로브, 강건한 훈련 분석, 그리고 생물학적 데이터에서의 유용성을 입증했습니다.

실험 결과

1. 층 매칭 (인공 신경망)

독립적으로 훈련된 Tiny10 CNN 을 사용하여 저자들은 S-RAS 가 기대되는 층 대응을 복원할 수 있는지 테스트했습니다.

• 결과: S-RAS 는 의미 있는 대응을 달성했습니다 ($K=768$에서 무작위 교란 시 85.3% 정확도; 화이트닝 - PCA 시 93.8%). 이는 선형 CKA(94.4%) 와 같은 강력한 활성화 기준선의 성능에 근접합니다.
• 비교: S-RAS 는 점별 국소 기하학 제어 (점별 AIRM 및 MSA 스타일 기준선) 보다 우수한 성능을 보였으며, 이는 점별 메트릭 불일치를 평균화하는 것보다 기대 작업 계열 연산자를 집계하는 것이 우월함을 시사합니다.

2. 전이 가능한 클래스 조건부 프로브

저자들은 민감도 대비가 일반화되지 않은 이미지와 모델에 일반화되는 유한 교란으로 외부화될 수 있는지 테스트했습니다.

• 결과: 클래스 조건부 민감도 대비 (ResNet-18 과 Small ViT 비교) 에서 유도된 프로브는 무작위 대비 (0.43), 풀링 민감도 (0.31), 라벨 순열 (0.03) 제어에 비해 유의하게 더 큰 일반화 이미지 분리 (1.10) 를 생성했습니다. 이는 이 방법이 모델 간에 전이되는 공유 국소 증거 구조를 포착함을 시사합니다.

3. 강건한 훈련 분해

ERM, PGD, TRADES, MART 로 훈련된 ResNet-18 뱅크를 사용하여 저자들은 이 프레임워크가 훈련 체제를 구별할 수 있는지 검토했습니다.

• 결과: 대비 유도 프로브는 일반화 이미지에서 표준 모델을 강건한 모델 (PGD, TRADES, MART) 과 성공적으로 분리했습니다. 이 방법은 또한 강건한 훈련 목표 간의 미묘한 차이 (예: PGD 와 TRADES 분리) 를 드러냈으며, 프로브가 단순한 체제 차이보다는 국소 증거 사용의 특정 변화에 민감함을 보여주었습니다.

4. 생물학적 적용 (Allen Brain Observatory)

이 프레임워크는 $(\theta, \rho, \phi)$ 좌표를 가진 정적 격자를 사용하여 마우스 시각 피질 데이터에 적용되었습니다.

• 결과: 교차 영역 정체성 매칭에서 잡음 인식 전체 피셔 요약은 0.458 의 1 위 정확도를 달성하여 CKA(0.288) 와 단순 기하학을 크게 능가했습니다. 더 어려운 VISp-깊이 벤치마크에서는 전체 피셔 (0.466) 가 CKA(0.483) 와 경쟁력을 유지했습니다.
• 통찰: 결과는 생물학적 민감도 구조가 총 잡음 인식 민감도와 방향적 할당 모두에 의존함을 나타냅니다. 자극 좌표 계열의 선택 (예: $\rho + \phi$ 대 전체 집합) 은 매칭 성능에 상당한 영향을 미치며, 이는 지표의 "계열 상대적" 성격을 강조합니다.

중요성과 주장

이 논문은 활성화 기반 비교가 자극 유발 조직이나 하류 판독 구조에 대해 가장 유익하지만, 표현들이 동일한 국소 자극 증거에 의존하는지 여부를 결정하는 데는 불충분하다고 주장합니다. 제안된 프레임워크는 두 표현이 평균적으로 동일한 작은 자극 방향을 판별 가능하게 만드는지 질문함으로써 보완적 관점을 제공합니다.

주요 주장에는 다음이 포함됩니다:

• 계열 상대적 유사성: 합의는 특정 교란 계열에 상대적으로 정의됩니다. 표현들은 한 계열 하에서는 정렬될 수 있지만 다른 계열 하에서는 그렇지 않을 수 있습니다.
• 변환에 대한 강건성: 이 방법이 활성화 점 구름이 아닌 야코비안에 의존하기 때문에, 자극에 대해 일정한 사후 이동 (예: 글로벌 평균 중심화) 에 무감각하며, 이는 CKA 의 알려진 한계를 해결합니다.
• 실증적 유용성: 이 프레임워크는 층 대응을 성공적으로 복원하고, 전이 가능한 진단 프로브를 생성하며, 강건한 훈련에서의 분해를 드러내고, 생물학적 데이터에서 계열 의존적 민감도를 밝혀냅니다.

저자들은 겸손하게도 이 프레임워크가 국소적, 데이터셋 수준적, 그리고 2 차 모멘트 기반임을 지적합니다. 이는 이미지 조건부 최적, 고차 효과, 또는 강한 비선형 유한 교란 행동을 포착하지 못합니다. 그들은 기존 방법과 비교하여 데이터셋 수준 민감도 기하학이 언제 독특한 과학적 통찰력을 제공하는지 결정하기 위해 더 광범위한 벤치마크가 필요하다고 결론지었습니다.