Stimulus symmetries can confound representational similarity analyses

기술적 요약: 자극 대칭성이 표현 유사성 분석을 혼란스럽게 할 수 있음

문제 제기
표현 유사성 분석 (RSA) 과 표현 유사성 행렬 (RSM) 및 중심 커널 정렬 (CKA) 과 같은 관련 지표는 생물학적 및 인공 네트워크 간의 신경 코드를 비교하는 데 널리 사용됩니다. 이러한 비교의 근본적인 가정은 기능적으로 동등한 표현들, 즉 동일한 작업을 수행하거나 동일한 정보를 인코딩하는 것들은 유사한 요약 통계를 산출해야 한다는 것입니다. 최근 연구는 네트워크 층 내 가중치의 전역 회전과 같이 후속 층에 의해 보상될 수 있는 내재적 대칭성 (intrinsic symmetries) 을 다루었지만, 자극 대칭성 (회전이나 병변과 같은 외부 데이터 대칭성) 이 이러한 분석에 미치는 영향에 대한 체계적인 이해는 부족합니다.

식별된 핵심 문제는 자극 대칭성이 표현 공간 내의 단순한 직교 변환 (회전) 으로 연결되지 않는 여러 기능적으로 동등한 신경 표현을 생성할 수 있다는 점입니다. 결과적으로 이러한 서로 다른 구성은 질적으로 다른 RSM 을 생성할 수 있습니다. 이는 임의적이고 기능적으로 무관한 매개변수 (게이지) 에 따라 RSM 이 변하는 "게이지 의존성"을 초래하여, 연구자들이 기능적으로 동등한 코드가 서로 다르다고 잘못 결론 내리게 할 수 있습니다.

방법론
저자들은 이 현상을 입증하기 위해 이론적 형식화, 분석적 토이 모델, 그리고 합성 및 실제 데이터에 대한 경험적 시뮬레이션을 결합하여 사용합니다.

1. 이론적 형식화: 이 논문은 컴팩트 군 $G$를 통해 잠재 공간 $Z$에 작용하는 데이터 대칭성 개념을 형식화합니다. "게이지 변환"을 디코딩 정확도를 불변으로 유지하는 인코딩 함수에 대한 $G$의 작용으로 정의합니다. 저자들은 RSM 이 게이지 불변적이기 위해서는 인코딩이 대칭 군의 직교 선형 표현이어야 함 (즉, 게이지 변환이 표현 공간에 전역 회전으로 작용해야 함) 을 증명합니다. 또한 일반적인 비선형 코드의 경우 이 조건이 성립하지 않음을 보여줍니다.
2. 토이 모델 분석: 국소 수용野 (RF) 를 가진 뉴런들이 1 차원 링 ($S^1$) 을 타일링하는 단순화된 모델을 구성합니다. 이 타일링의 전역 방향은 게이지 변수 $\phi$로 정의됩니다. 저자들은 이 설정에 대한 RSM 을 분석적으로 유도하여, 비대각선 요소가 $\phi$에 의존하므로 자극의 완벽한 재구성에도 불구하고 가변적인 RSM 이 발생함을 보여줍니다.
3. 매개변수 민감도: 이 연구는 뉴런 수, RF 튜닝 폭, 진폭 잡음과 같은 요인이 RSM 변동성의 크기에 미치는 영향을 조사합니다. 그들은 뉴런 수 $n$과 튜닝 폭의 함수로서 변동성 $\Delta$에 대한 폐형식 (closed-form) 식을 유도하여, 변동성이 밀집 타일링의 극한에서만 $O(n^{-2})$로 감소함을 보여줍니다.
4. 학습 역학: ReLU 활성화 함수를 가진 오토인코더에 대한 확률적 경사 하강법 (SGD) 을 사용하여 학습 시나리오를 시뮬레이션합니다. 저자들은 SGD 가 많은 뉴런이 정렬되는 "붕괴" 해를 초래하여 네트워크를 희소 타일링 (예: 원에 대한 4 개의 뉴런) 으로 효과적으로 축소시킴으로써 높은 RSM 변동성을 유지할 수 있음을 보여줍니다. 또한 에너지 정규화 (L1 페널티) 가 게이지를 고정하지 않고도 희소성을 유도할 수 있음을 보여줍니다.
5. 고차원 및 실제 데이터: 이 프레임워크는 고차원 구면 다양체 ($S^{d-1}$) 로 확장되어 게이지 군의 차원에 해당하는 구조화된 RSM 변동성 군집을 예측합니다. 마지막으로, 저자들은 Kuzushiji-MNIST 데이터셋의 회전된 이미지로 오토인코더를 학습시키고 사전 훈련된 비전 모델 (ResNet-18, ConvNeXt, DINOv2) 을 분석하여, 이미지 데이터의 잠재적 회전 대칭성이 현실적인 설정에서 체계적인 RSM 드리프트와 게이지 의존성을 유발함을 보여줍니다.

주요 기여 및 결과

• RSM 의 게이지 의존성: 이 논문은 비선형 신경 코드의 경우 자극 대칭성과 관련된 기능적으로 동등한 표현들이 일반적으로 직교 변환으로 연결되지 않는다는 것을 확립합니다. 따라서 이들의 RSM 은 다르며, 표준 유사성 지표가 가정하는 불변성을 위반합니다.
• 이동하는 표현: 저자들은 안정적인 작업 수행 (예: 낮은 재구성 손실) 이 있음에도 불구하고, 게이지의 임의적 선택으로 인해 시간이 지남에 따라 또는 서로 다른 학습 실행 간에 표현이 "이동"할 수 있음을 보여줍니다. 이 이동은 재구성 오차와 상관관계가 없지만 추론된 게이지 각도와 상관관계가 있는 RSM 의 체계적인 변화로 나타납니다.
• 희소성과 변동성: 뉴런 수를 늘리면 변동성이 억제된다는 직관과 달리, 저자들은 학습에 의한 희소성 (SGD 잡음 또는 L1 정규화를 통해) 이 대규모 네트워크에서도 높은 RSM 변동성을 유지할 수 있음을 발견합니다.
• 고차원에서의 구조화된 변동성: 고차원 대칭 다양체의 경우, RSM 변동성은 무작위 잡음이 아니라 비대각선 요소가 함께 변하는 그룹으로 군집화되는 구조화된 패턴을 따르며, 이는 근본적인 연속 대칭 군을 반영합니다.
• 경험적 검증: 회전된 이미지 데이터에 대한 실험에서, 학습된 네트워크의 추론된 게이지 각도는 RSM 의 비대각선 요소를 강력하게 예측하며 (피어슨 $r = 0.76$), 서로 다른 실행 간의 유사성 (게이지 차이가 증가함에 따라 CKA 유사도가 감소, $r = -0.91$) 을 예측합니다. 반면 재구성 손실은 게이지와 상관관계가 없습니다.

의의 및 주장
이 논문은 자극 대칭성이 존재할 때 RSM 기반 지표를 사용하여 비선형 신경 코드를 비교하는 데 있어 중요한 한계가 있음을 강조한다고 주장합니다. 구체적으로:

• 오해의 위험: 연구자들은 기능적으로 동등한 표현이 해 공간에서 서로 다른 "게이지"를 차지한다는 이유만으로 이를 서로 다른 것으로 잘못 식별할 수 있습니다.
• 드리프트 메커니즘: 이 연구는 뇌와 인공 네트워크 모두에서 관찰된 "표현 드리프트"에 대한 메커니즘을 제공하며, 이는 내재적 대칭성에 기반한 이전 설명들과 구별됩니다. 여기서 드리프트는 외재적 자극 대칭성과 고유한 선호 기저의 부재에 의해 주도됩니다.
• 현재 지표의 한계: CKA 및 RSM 과 같은 표준 지표는 네트워크가 명시적으로 공변성 (equivariant) 을 갖도록 제약되지 않는 한 (대부분의 표준 네트워크는 그렇지 않음) 데이터 대칭성에 대해 불변하지 않습니다.
• 미래 방향: 저자들은 대칭성이 존재하는 상황에서 표현을 신뢰할 수 있게 비교하기 위해서는 특정 자극 대칭성에 불변인 새로운 지표가 필요하다고 제안합니다. 이러한 방법들은 자극 분포에 대한 지식이나 내재적 데이터 다양체에서의 풀백 (pullback) 지표 사용이 필요할 가능성이 높지만, 강력한 사전 지식이 없으면 게이지 불변성을 고려하는 것이 여전히 열린 과제로 남아 있음을 인정합니다.

이 논문은 다변량 타일링 코드가 처리 가능한 테스트 사례로 작용했지만, 대부분의 표현이 직교 공변성으로 제약받지 않기 때문에 이 현상이 다른 비선형 코드로 일반화될 것으로 예상된다고 겸손하게 결론짓습니다.