Quantifying task-relevant representational similarity using decision variable correlation

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 딥러닝 (심층 신경망) 은 영장류의 배측 (ventral) 및 등측 (dorsal) 시각 경로를 모델링하는 데 널리 사용되어 왔습니다. 기존 연구들은 CNN 의 표현이 뇌의 표현과 유사하다는 주장과 그렇지 않다는 주장이 혼재되어 있습니다.
• 기존 방법의 한계:
  • 표현 유사성 분석 (RSA, CKA 등): 두 표현의 기하학적 구조를 비교하지만, 특정 작업에 불필요한 (task-irrelevant) 특징까지 포함하여 비교할 수 있습니다.
  • 행동 유사성 (Cohen's Kappa 등): 모델과 인간의 오류 패턴 일치를 측정하지만, 이는 관찰자의 **정확도 (accuracy)**와 **결정 편향 (decision bias)**에 크게 영향을 받습니다. 정확도가 낮거나 편향이 크면 유사성 지표가 왜곡될 수 있습니다.
• 핵심 문제: 모델의 정확도가 높아질수록 뇌와의 유사성이 증가할 것이라는 가설이 있었으나, 이를 검증하는 데 적합한 작업 관련 정보만을 추출하여 비교하는 방법론이 부족했습니다.

2. 방법론: 의사결정 변수 상관관계 (DVC) (Methodology)

저자들은 신호 감지 이론 (Signal Detection Theory) 을 기반으로 한 DVC를 제안하여, 두 관찰자 (뇌 영역 또는 모델) 가 분류 작업을 수행할 때의 작업 관련 의사결정 전략의 일관성을 측정합니다.

• 핵심 아이디어:
  1. 의사결정 변수 (Decision Variable, DV) 추출: 각 이미지 쌍 (예: 고양이 vs 개) 에 대해 선형 판별 분석 (LDA) 을 사용하여 최적의 결정 축 (decision axis) 을 찾습니다. 고차원 신경 표현을 이 축에 투영하여 각 이미지에 대한 '의사결정 변수' 값을 얻습니다.
  2. 상관관계 계산: 두 관찰자 (예: 원숭이 A 와 모델 B) 가 동일한 이미지에 대해 산출한 DV 값 간의 피어슨 상관관계를 계산합니다.
  3. 작업 관련성 집중: 이 방법은 분류 작업에 직접적으로 관련된 차원 (decision axis) 만을 고려하므로, 작업과 무관한 노이즈나 특징은 배제됩니다.
• 노이즈 보정 (Split-normalization): 신경 기록이나 모델 출력에 내재된 측정 노이즈로 인해 상관관계가 과소평가되는 것을 방지하기 위해, 데이터를 두 개의 독립적인 세트로 나누어 교차 상관관계와 자체 신뢰도를 계산하고 보정하는 절차를 거칩니다.
• 편향 불변성: DVC 는 관찰자의 결정 기준 (criterion) 이나 편향 (bias) 에 영향을 받지 않으며, 오직 DV 의 일관성만을 측정합니다.

3. 주요 실험 및 결과 (Key Results)

연구진은 마카크 원숭이의 V4 및 IT 영역 신경 기록 데이터와 ImageNet-1k 로 학습된 43 개의 다양한 딥러닝 모델 (ResNet, ViT, EfficientNet 등) 을 사용하여 DVC 를 평가했습니다.

• 원숭이 간 일관성: 서로 다른 원숭이들의 V4/IT 신경 표현은 이미지 단위에서 높은 일관성 (DVC ≈ 0.57) 을 보였습니다.
• 모델 - 모델 vs 모델 - 원숭이:
  • 동일한 아키텍처를 가진 모델들 간의 DVC 는 높았으나, 서로 다른 아키텍처 간에는 상대적으로 낮았습니다.
  • 모델 - 원숭이 DVC 는 일관되게 낮았습니다. (평균 0.29)
• 정확도와의 역상관관계 (가장 중요한 발견):
  • ImageNet-1k 에서 Top-1 정확도가 높을수록, 모델과 원숭이 뇌 (V4/IT) 간의 DVC 는 감소했습니다 (상관계수 -0.70). 즉, 더 똑똑한 모델일수록 뇌의 작업 관련 표현 전략과는 더 멀어지는 경향이 있었습니다.
• 강건성 (Adversarial Training) 의 효과:
  • 적대적 훈련 (Adversarial training) 을 통해 강건성을 높인 모델들은 서로 간의 DVC 는 높았으나, 원숭이 뇌와의 DVC 는 오히려 감소하거나 변하지 않았습니다. 강건성이 뇌의 표현과 더 유사해지게 만들지 못했습니다.
• 대규모 데이터셋 (Rich Datasets) 의 효과:
  • ImageNet-21k 나 JFT-300M 과 같은 더 크고 다양한 데이터셋으로 사전 학습된 모델들 (BiT, CLIP, SWAG 등) 도 원숭이 뇌와의 DVC 가 낮았습니다. 데이터 양의 증가가 뇌와의 유사성을 높이지 못했습니다.

4. 기존 방법론 (Cohen's Kappa) 과의 비교

• Cohen's Kappa 의 문제점: 기존 연구들 (Geirhos et al.) 은 Kappa 를 사용하여 모델 - 인간 유사성이 매우 낮다고 보고했으나, 이는 모델과 인간의 정확도 차이와 결정 편향에 의해 왜곡된 결과일 가능성이 높습니다.
• DVC 의 우위: 저자들의 분석에 따르면, 최적의 선형 디코더를 사용할 때 DVC 와 Kappa 는 양의 상관관계를 보이지만, Kappa 는 정확도 차이와 편향에 민감하게 반응하여 왜곡된 결론 (예: 모델 간 유사성이 인간 간 유사성보다 훨씬 높다는 등) 을 낳을 수 있습니다. DVC 는 이러한 편향을 제거하고 순수한 작업 관련 일관성을 보여줍니다.

5. 기여 및 의의 (Significance)

• 새로운 평가 지표: 뇌와 AI 모델의 유사성을 평가할 때, 단순한 표현 공간의 겹침이나 행동 오류의 일치를 넘어, 작업 수행에 실제로 기여하는 정보의 일치도를 측정하는 새로운 표준을 제시했습니다.
• 역설적 발견: 딥러닝 모델의 성능 (정확도, 강건성, 데이터 양) 이 향상될수록 생물학적 뇌의 작업 관련 표현 전략과는 더 멀어진다는 사실을 규명했습니다. 이는 현재의 대규모 이미지 분류 학습이 뇌의 시각 처리 메커니즘을 모방하는 데 한계가 있음을 시사합니다.
• 미래 방향: 뇌와 모델의 간극을 좁히기 위해서는 단순한 스케일링 (데이터/모델 크기 증가) 이 아닌, 영장류 시각 시스템의 진화적 환경 (생태학적 데이터), 내부 노이즈, 그리고 저수준 시각 특성 (광학, 중심시 등) 을 고려한 학습 전략이 필요함을 제안합니다.

결론

이 논문은 DVC라는 새로운 메트릭을 통해, 딥러닝 모델이 이미지 분류 정확도는 높일지라도 생물학적 뇌가 사용하는 작업 관련 의사결정 전략과는 본질적으로 다른 방향으로 학습하고 있음을 증명했습니다. 이는 뇌 과학과 인공지능 연구가 단순한 성능 최적화를 넘어, 생물학적 타당성 있는 표현 학습을 위한 새로운 방향성을 모색해야 함을 강력히 시사합니다.