Gauge Freedom and Metric Dependence in Neural Representation Spaces

이 논문은 신경망 표현 공간이 가역적 선형 변환에 대한 게이지 자유도를 가지므로 코사인 유사도 등 기존 유사도 측정치가 좌표계 선택에 따라 달라질 수 있음을 보여주고, 이에 따라 표현 분석은 게이지 불변량을 사용하거나 명시적인 표준 좌표를 설정해야 함을 주장합니다.

핵심

🌍 핵심 아이디어: "지도는 같지만, 좌표는 다를 수 있다"

이 논문의 주장은 간단합니다. 인공지능 (신경망) 이 문제를 해결하는 방식 (정답) 은 변하지 않아도, 그 내부에서 정보를 저장하는 '방식'은 무한히 바뀔 수 있다는 것입니다.

1. 비유: "지도와 나침반의 게임"

가정해 보세요. 여러분이 서울역에서 명동까지 가는 방법을 알고 있다고 칩시다.

• A 지도: 북쪽을 위로 하고, 거리를 '킬로미터'로 표시합니다.
• B 지도: 북쪽을 오른쪽으로 돌리고, 거리를 '마일'로 표시하며, 축척도 다르게 잡았습니다.

이 두 지도는 **실제 경로 (서울역→명동)**는 정확히 동일하게 가리킵니다. 하지만 지도 위의 좌표 값이나 두 지점 사이의 각도는 완전히 다릅니다.

이 논문은 인공지능의 내부 표현 (Hidden Representation) 도 마찬가지라고 말합니다.

• 인공지능이 "고양이"를 인식하는 기능은 변하지 않습니다.
• 하지만 그 '고양이'를 나타내는 숫자 (벡터) 들의 좌표계는 마음대로 바꿀 수 있습니다.

2. 문제점: "나침반이 흔들리면 방향이 달라진다"

우리는 보통 인공지능이 만든 숫자 (벡터) 들 사이의 거리나 **각도 (코사인 유사도)**를 보고 "이 두 개념이 얼마나 비슷한가?"를 판단합니다.

• 기존의 생각: "두 단어의 벡터 각도가 10 도 차이 나면, 두 단어는 매우 비슷해!"
• 이 논문의 발견: "잠깐! 그 각도는 우리가 선택한 '좌표계 (지도)'에 따라 바뀔 수 있어. 좌표계를 비틀기만 하면, 원래 비슷했던 것들이 전혀 다르게 보이고, 전혀 다른 것들이 비슷해 보일 수 있어."

이를 **게이지 자유도 (Gauge Freedom)**라고 부릅니다. 즉, 의미 (정보) 는 그대로인데, 표현하는 '자'만 바뀐 것입니다.

3. 실험 결과: "정답은 그대로인데, 친구 관계는 뒤바뀌다"

저자는 인공지능 모델에 이런 '좌표계 비틀기'를 적용해 보았습니다.

• 결과: 인공지능이 내린 예측 (정답) 은 100% 똑같았습니다.
• 하지만: 내부에서 가장 가까운 친구 (이웃) 관계가 완전히 뒤바뀌었습니다.
  • 예: "사과"와 "배"가 원래는 가장 가까운 친구였는데, 좌표계를 비틀자 "사과"와 "바나나"가 가장 가까운 친구가 되어버렸습니다.
  • 코사인 유사도 (비슷함 정도) 도 13% 이상이나 변했습니다.

이는 마치 동일한 영화를 다른 각도에서 찍은 것과 같습니다. 영화 내용 (정보) 은 같지만, 화면에 비친 구도 (기하학적 구조) 는 완전히 달라 보이는 것입니다.

4. 왜 이것이 중요한가? (실생활 예시)

지금까지 AI 연구자들은 "이 두 개념이 얼마나 비슷한가?"를 잴 때 코사인 유사도라는 자를 주로 썼습니다.

• 문제: 이 '자'는 우리가 임의로 잡은 좌표계에 의존합니다.
• 위험: 만약 우리가 잘못된 좌표계를 선택했다면, "이 AI 는 A 와 B 가 비슷하다고 생각했다"라고 결론 내렸을 수 있지만, 사실은 "그저 우리가 측정한 방식이 왜곡되었을 뿐"일 수 있습니다.

5. 해결책: "등방성 (Whitening) 이라는 표준 자"

이 논문은 이런 혼란을 피하기 위한 해결책을 제안합니다.

• 표준화 (Whitening): 모든 방향이 균등하게 퍼지도록 좌표계를 '정리'하는 것입니다. 마치 구불구불한 강을 직선으로 다듬거나, 모든 방향의 길이를 1 로 맞추는 작업입니다.
• 이렇게 **표준 자 (Canonical Gauge)**를 사용하면, 좌표계 선택에 따른 오해를 줄이고 AI 가 진정으로 무엇을 의미하는지 더 명확하게 볼 수 있습니다.

---

💡 요약: 우리가 배울 점

1. AI 의 내부 숫자는 절대적이지 않습니다. 같은 AI 라도 숫자 표현 방식 (좌표계) 을 마음대로 바꿀 수 있습니다.
2. 거리와 각도는 함정일 수 있습니다. "두 개념이 얼마나 가까운가"를 잴 때, 우리가 쓴 '자 (좌표계)'에 따라 결과가 달라질 수 있습니다.
3. 기능은 변하지 않아도, 모양은 바뀝니다. AI 가 똑같은 일을 하더라도, 내부의 '친구 관계 (이웃 구조)'는 완전히 달라 보일 수 있습니다.
4. 새로운 시각이 필요합니다. AI 를 분석할 때는 "이 숫자가 어떤 좌표계에 있는가?"를 먼저 생각해야 하며, 좌표계에 의존하지 않는 방법이나 **표준화된 자 (Whitening)**를 사용해야 더 정확한 해석이 가능합니다.

한 줄 결론:

"인공지능의 내부 세계를 볼 때, 어떤 '렌즈 (좌표계)'로 보느냐에 따라 세상의 모양이 달라 보일 수 있으니, 항상 그 렌즈의 왜곡을 고려해야 한다."

기술 요약

1. 문제 정의 (Problem Statement)

현대 신경망 연구에서는 은닉층의 표현 (representation) 을 고정된 유클리드 공간의 벡터로 간주하여 분석하는 경향이 강합니다. cosine 유사도 (cosine similarity) 나 유클리드 거리와 같은 메트릭 기반의 기하학적 분석이 널리 사용되지만, 이 논문은 이러한 접근법의 근본적인 한계를 지적합니다.

• 비고유성 (Non-uniqueness): 신경망의 표현 벡터 좌표는 고유하게 정의되지 않습니다. 은닉 표현 $h(x)$에 가역 선형 변환 (invertible linear map) $D$를 적용하고, 하류 (downstream) 의 가중치 $W$에 그 역변환 $D^{-1}$을 적용하면, 전체 네트워크의 입력 - 출력 함수 $Wh(x)$는 변하지 않습니다.
• 게이지 자유도 (Gauge Freedom): 이는 표현 공간이 일반 선형군 $GL(d)$에 대한 게이지 대칭성 (gauge symmetry) 을 가짐을 의미합니다. 즉, 표현은 가역 선형 변환에 대해 정의될 뿐입니다.
• 메트릭 의존성: 네트워크의 함수적 동작은 변하지 않지만, 좌표 변환은 공간의 메트릭 구조를 변화시킵니다. 따라서 cosine 유사도와 같은 기하학적 양은 좌표계 선택에 의존하게 되며, 동일한 정보라도 다른 유사도 값을 가질 수 있습니다.

2. 방법론 (Methodology)

저자는 신경 표현 공간을 가역 선형 변환에 의해 정의되는 벡터 공간으로 재해석하고, 게이지 변환이 메트릭 기반 기하학에 미치는 영향을 이론적으로 분석하고 실험적으로 검증했습니다.

• 이론적 프레임워크:

  • 표현 $h(x)$와 가중치 $W$에 대해 $h' = Dh$, $W' = WD^{-1}$로 변환할 때 네트워크 함수가 불변임을 증명 (Proposition 1).
  • 게이지 변환 $D$는 유클리드 메트릭을 새로운 메트릭 텐서 $G = D^\top D$로 변환시킴을 보임. 이로 인해 cosine 유사도가 좌표계에 따라 변하는 것을 수학적으로 규명.
  • Whitening (백색화) 을 표준 게이지로 제안: 공분산 행렬 $\Sigma$를 단위 행렬로 만드는 변환 $D = \Sigma^{-1/2}$를 적용하여 표현 분포를 등방성 (isotropic) 으로 만들고, 이를 표준 좌표계로 고정하는 방안을 제시.

• 실험 설계:

  • 제어된 게이지 변환: 학습된 모델의 은닉층 표현에 임의의 가역 선형 변환 $D$를 적용하고, 분류기 가중치를 $WD^{-1}$로 보정하여 예측 성능을 100% 유지하도록 함.
  • 데이터셋: scikit-learn 의 Digits 데이터셋 (MLP 사용) 과 CIFAR-10 데이터셋 (CNN 사용).
  • 측정 지표:
    • 예측 불변성 확인 (Logit 차이, 정확도).
    • Cosine Similarity 변화: 변환 전후의 쌍별 cosine 유사도 변화량 ($|\Delta \cos|$).
    • 근접 이웃 구조 변화: k-NN 검색 시 이웃 집합의 Jaccard 중첩률 (Jaccard overlap) 및 1 위 이웃 변경률.
    • 게이지 강도 스윕: 변환 행렬의 조건수 (condition number, $\kappa$) 를 변화시키며 기하학적 왜곡 정도를 분석.

3. 주요 기여 (Key Contributions)

1. 신경 표현의 게이지 대칭성 정립: 신경망 표현이 가역 선형 변환에 대해 정의되며, 이는 게이지 이론의 관점에서 해석될 수 있음을 명확히 함.
2. Cosine 유사도의 좌표 의존성 규명: 네트워크의 예측을 변경하지 않는 변환 하에서도 cosine 유사도와 근접 이웃 구조가 크게 왜곡될 수 있음을 이론과 실험으로 증명. 이는 기존 문헌에서 보고된 임베딩 공간의 이방성 (anisotropy) 과 cosine 유사도의 불안정성에 대한 통일된 해석을 제공.
3. 표준 게이지 (Canonical Gauge) 의 필요성 강조: 표현 분석은 게이지 불변량 (gauge-invariant quantities) 이나 명시적으로 선택된 표준 좌표계 (예: Whitening) 에 기반해야 함을 주장.
4. SVCCA 및 CKA 와 같은 방법론의 재해석: 기존에 제안된 표현 비교 방법들 (CCA, CKA 등) 이 게이지 변환에 덜 민감한 기하학적 구조 (부분공간 또는 유사성 구조) 를 비교함으로써, 사실은 게이지 불변 관측량을 근사하려는 시도임을 해석.

4. 실험 결과 (Results)

• 기능적 불변성 vs 기하학적 왜곡:

  • Digits 및 CIFAR-10 실험 모두에서 게이지 변환 후 예측 정확도는 1.0 으로 유지되었으나, 표현 공간의 기하학은 크게 변화함.
  • Digits (MLP): 평균 쌍별 cosine 유사도 변화량 ($|\Delta \cos|$) 이 0.1328로 크게 발생. 10 개 이웃 중 약 **28%**가 변경됨 (Jaccard@10 = 0.7209).
  • CIFAR-10 (CNN): 평균 cosine 변화량은 0.0501 로 상대적으로 작았으나, 이웃 구조는 여전히 유의미하게 변화함 (Jaccard@10 = 0.7228).

• 게이지 강도 (Condition Number) 의 영향:

  • 변환 행렬의 조건수 $\kappa$가 증가할수록 cosine 왜곡과 이웃 불안정성이 증가함.
  • $\kappa = 20$일 때, 평균 cosine 변화는 0.0805 이었으며, 1 위 이웃 변경률은 약 **37%**에 달함. 즉, 네트워크가 동일한 예측을 내더라도 3 분의 1 이상의 가장 유사한 이웃이 바뀜.

• Whitening 의 효과:

  • Whitening 변환을 적용하면 표현 공분산의 고유값 스펙트럼이 1 로 수렴하여 이차원 이방성 (second-order anisotropy) 이 제거됨. 이는 표현 공간에 표준 메트릭을 부여하는 유효한 방법임.

5. 의의 및 결론 (Significance and Conclusion)

이 논문은 신경망 표현 분석의 패러다임 전환을 요구합니다.

• 해석의 재고: cosine 유사도나 유클리드 거리를 이용한 분석은 암묵적으로 특정 좌표계를 가정하는 것이며, 이는 게이지에 의존하는 결과일 수 있습니다. 따라서 모델의 함수적 특성과 좌표계 구현 특성을 구분해야 합니다.
• 실무적 제언:
  • 표현 분석 시 게이지 불변량 (부분공간 비교, CKA 등) 을 사용하거나,
  • Whitening과 같은 표준 게이지를 명시적으로 적용하여 좌표계를 고정하는 것이 더 안정적이고 해석 가능한 결과를 제공합니다.
• 미래 방향: 더 큰 아키텍처 (Transformer 등) 와 정규화 레이어, 비선형 유사도 측정에서의 게이지 자유도 영향에 대한 후속 연구가 필요함을 시사합니다.

결론적으로, 신경 표현 공간은 고정된 기하학적 구조가 아니라 가역 선형 변환에 의해 정의되는 게이지 공간으로 이해되어야 하며, 이를 고려한 분석 방법론의 정립이 필요합니다.