Revealing the core dimensions underlying representations in brains, behavior and AI

기술적 요약: 뇌, 행동 및 AI 의 표현을 지배하는 핵심 차원 규명

문제 제기
신경과학, 심리학, 인공지능에 걸친 표현 (representation) 연구는 주로 유사성 행렬을 통해 자극들이 서로 어떻게 조직화되는지를 특징짓는 데 크게 의존합니다. 대표성 유사성 분석 (RSA) 과 같은 방법들은 이러한 행렬들을 시스템 간에 비교할 수 있게 하지만, 관찰된 유사성을 생성하는 근본적인 차원들을 복원하지는 못합니다. 반면, 다차원 척도법 (MDS), 주성분 분석 (PCA), t-SNE 와 같은 차원 축소 기법들은 데이터를 요약할 수 있지만, 종종 의미 있는 표현적 속성으로 해석하기 어려운 축을 산출합니다. 더 나아가 기존 방법들은 두 가지 중요한 실용적 제약에 직면해 있습니다: (1) 표현 공간의 차원수는 일반적으로 알려져 있지 않으며, (2) 경험적 유사성 데이터는 종종 희소하거나 불완전합니다 (예: 모든 자극 쌍이 비교되지 않는 행동적 판단). 현재 접근법들은 유사성 구조를 보간 (imputation) 을 통해 왜곡하지 않으면서도 해석 가능한 차원을 복원하고, 필요한 차원 수를 결정하며, 불완전한 데이터로부터 학습하는 문제를 동시에 해결하지 못합니다.

방법론: 유사성 기반 표현 인수분해 (SRF)
저자들은 유사성 행렬로부터 직접 저차원, 비음수, 그리고 해석 가능한 임베딩을 복원하도록 설계된 일반적인 계산 프레임워크인 유사성 기반 표현 인수분해 (SRF) 를 소개합니다.

• 핵심 공식화: SRF 는 대칭 비음수 행렬 인수분해 (SNMF) 에 기반합니다. 이는 대칭적이고 비음수인 유사성 행렬 $S \in \mathbb{R}^{n \times n}_{\ge 0}$을 저랭크 임베딩 행렬 $W$와 그 전치행렬의 곱으로 모델링합니다: $S \approx WW^\top$, 여기서 $W \in \mathbb{R}^{n \times r}_{\ge 0}$이고 $r \ll n$입니다. 비음수 제약은 PCA 의 감산적 성분보다 종종 더 해석 가능한 가산적, 부분 기반 요인을 장려합니다.
• 불완전 데이터 처리: 표준 행렬 인수분해와 달리, SRF 는 누락된 값을 보간하지 않고 관찰된 항목에 직접 작동합니다. 이는 유사성 $S_{ij}$가 관찰된 경우 $M_{ij}=1$이 되는 이진 마스크 $M$을 정의합니다. 목적 함수는 관찰된 항목에 대해서만 재구성 오차의 프로베니우스 노름을 최소화합니다: $\min_{W \ge 0} \frac{1}{2} \| M \odot (S - WW^\top) \|_F^2$. 이를 통해 모델은 희소 그래프 (예: 단어 연상) 로부터 학습하고 관찰되지 않은 유사성을 예측할 수 있습니다.
• 최적화: 저자들은 최적화 문제를 해결하기 위해 승수 교대 방향법 (ADMM) 을 사용합니다. 그들은 알고리즘의 수렴성과 랭크 오지정 하에서의 해의 안정성에 대한 이론적 증명을 제공합니다.
• 차원수 선택: 알려지지 않은 차원수 $r$을 해결하기 위해 SRF 는 특수한 교차 검증 프로토콜을 활용합니다. 유사성 행렬의 항목들은 저랭크 구조에 의해 결합되어 통계적으로 종속적이기 때문에, 표준 항목별 교차 검증은 정보 누출과 과대평가된 랭크 추정으로 이어질 수 있습니다. SRF 는 훈련 세트가 행렬 완성 임계값 아래에 유지되도록 보장하는 '제한된 홀드아웃 (restricted hold-out)' 방식을 사용하여, 검증 세트가 훈련 세트에 의해 암묵적으로 결정되는 것을 방지합니다. 최적 랭크는 검증 오차 곡선의 최소점에서 선택됩니다.

주요 결과
본 논문은 다양한 경험적 데이터셋에 대한 시뮬레이션과 적용을 통해 SRF 를 검증합니다:

1. 시뮬레이션 성능:

   • 복원 정확도: SRF 는 차원이 확산되거나 중첩되더라도 합성 유사성 행렬로부터 실제 지상 진실 (ground-truth) 잠재 차원을 정확하게 복원합니다.
   • 노이즈에 대한 강인성: 이 방법은 moderate 수준의 측정 노이즈 하에서도 높은 복원 정확도를 유지합니다.
   • 누락 데이터: SRF 는 특히 관찰치가 매개변수보다 적은 과소결정 regimes 에서 홀드아웃 유사성을 예측하고 근본적인 차원을 복원하는 데 있어 표준 보간 기준 (k-최근접 이웃 및 중앙값 보간) 보다 현저히 우수한 성능을 보입니다.
   • 랭크 감지: 랭크 선택을 위한 교차 검증 접근법은 실제 차원수를 식별하는 데 있어 스크리 테스트 (Scree test) 와 혼의 병렬 분석 (Horn's Parallel Analysis) 과 같은 전통적인 방법들보다 우수합니다.

2. 통계적 검정력:

   • 가설 검정에서 SRF 는 RSA 보다 더 큰 통계적 검정력을 보여줍니다. 유사성 행렬을 개별 차원으로 분해함으로써, SRF 는 연구자들이 전체적이고 노이즈가 많은 유사성 행렬이 아닌, 가장 잘 일치하는 차원에 대해 특정 가설을 검정할 수 있게 합니다. 이 이점은 전체 구조에 낮은 분산을 기여하는 차원에서 가장 두드러지는데, 이러한 차원들은 종종 RSA 에서 가려집니다.

3. 경험적 적용:

   • 데이터셋: SRF 는 행동적 판단 (THINGS, Peterson 데이터셋, Mur-92), 신경 기록 (원숭이 IT 피질, NSD 의 인간 fMRI), 심층 신경망 활성화 (CLIP), 그리고 의미적 연상 (Small World of Words, SWOW) 에 적용되었습니다.
   • 해석 가능성: 이 방법은 모든 영역에서 안정적이고 해석 가능한 차원을 복원했습니다. 예로는 객체 인식에서의 생동성/무생동성 구분, 동물 분류군 그룹화, CLIP 의 지각적 특징 (색상) 과 의미적 특징 (생동성), 그리고 단어 연상에서의 추상적 주제 (예: 신체적 힘, 애정) 등이 있습니다.
   • 일반화: 희소한 SWOW 단어 연상 그래프에서 유도된 차원은 글래스고 규범 (Glasgow Norms) 의 독립적인 행동적 평가 (예: 정서적 가치, 각성, 구체성) 를 성공적으로 예측하여, 복원된 차원이 일반화 가능한 의미 정보를 포착함을 입증했습니다.
   • 효율성: THINGS '한 개 빼기' (odd-one-out) 작업에서 SRF 는 최첨단 SPoSE 신경망 모델과 비교 가능한 행동 예측 정확도를 달성하면서도 약 절반 수준의 차원 수 (35 대 66) 로 수행했습니다.

의의 및 주장
본 논문은 SRF 를 기술적 이해와 설명적 유사성 분석 사이의 간극을 메우는 범용 방법론으로 위치시킵니다. 그 주요 의의는 유사성 행렬의 스칼라 비교를 넘어 표현을 조직화하는 특정 요인들을 식별할 수 있는 능력에 있습니다.

• 통합 프레임워크: SRF 는 공통 형식을 통한 시스템 비교라는 유사성 기반 분석의 강점과 그 구조를 생성하는 잠재 차원을 추론할 수 있는 능력을 통합합니다.
• 희소성 처리: 보간 없이 불완전한 데이터로부터 직접 학습함으로써, SRF 는 대규모 단어 연상 네트워크나 희소한 행동적 판단과 같이 이전에는 처리하기 어려웠던 데이터셋의 분석을 가능하게 합니다.
• 향상된 추론: 이 방법은 특히 저분산 차원을 감지하는 데 있어 RSA 에 비해 확인적 가설 검정을 위한 더 민감한 도구를 제공합니다.
• 해석 가능성: 복원된 임베딩의 비음수적이고 부분 기반적인 특성은 직접적인 해석을 용이하게 하여, 뇌 메커니즘, 자극 속성, 그리고 모델 실패에 대한 이론들을 지지합니다.

저자들은 SRF 가 쌍별 관계가 희소하거나 부분적으로 관찰되는 모든 곳에서 적용 가능한 뇌, 행동, 그리고 AI 의 표현을 지배하는 차원들을 발견, 이해, 그리고 활용하기 위한 원칙적이고 일반적인 접근법을 제공한다고 결론지었습니다.