기술적 요약: 규모가 언어 모델이 예측을 위해 표현 기하학을 조직화하는지 여부를 결정함

문제 제기

언어 모델 (LM) 에서 표현의 의미 내용은 표현 공간의 기하학, 구체적으로는 절대 활성화가 아닌 점들 간의 거리에 의해 결정됩니다. 기존 도구들은 이 기하학의 형태(예: 랭크, 스펙트럼 감쇠, 모델 간 수렴) 를 특징짓지만, 기능적 질문인 이 기하학이 무엇을 위해 조직화되었는가는 다루지 못합니다.

이론적 틀은 표현이 모델의 예측 작업, 특히 은닉 상태를 다음 토큰 분포로 매핑하는 언임베딩 행렬 $W_U$ 주위로 조직화되어야 한다고 제안합니다. 그러나 중간 레이어들이 이 읽기 subspace 와 거리 구조를 정렬하는지는 경험적 질문으로 남아 있습니다. 로짓 렌즈 (개별 점의 디코딩 가능성을 테스트) 나 스펙트럼 지표 (다양체 형태를 설명) 와 같은 현재 지표들은 거리의 기하학적 배열이 예측을 향해 기능적으로 지향되어 있는지를 포착하지 못합니다. 또한, 이러한 조직화가 모든 레이어와 모델 규모에 걸쳐 균일하게 유지되는지도 알려지지 않았습니다.

방법론: 서브스페이스 PGA

저자들은 레이어의 거리 구조가 모델의 예측 읽기 (readout) 와 얼마나 정렬되어 있는지를 정량화하도록 설계된 서브스페이스 예측 - 기하학적 정렬 (Subspace PGA) 지표를 도입합니다.

1. 읽기 서브스페이스 정의: 언임베딩 행렬 $W_U$ 를 특이값 분해 (SVD) 를 통해 분해합니다. 상위 $k$ 개의 오른쪽 특이벡터는 예측을 생성하기 위해 $W_U$ 가 가장 증폭시키는 은닉 공간의 방향을 나타내는 읽기 서브스페이스($V_k$) 를 정의합니다.
2. 거리 보존: 주어진 레이어 $\ell$ 에 대해, 저자들은 전체 $d$ 차원 공간 ($d_{full}$) 과 투영된 읽기 서브스페이스 ($d_{proj}$) 에서 은닉 상태 간의 쌍별 코사인 거리를 계산합니다.
3. 널 분포: 읽기의 특정 기여도를 분리하기 위해, 저자들은 $d_{full}$ 과 $d_{proj}$ 간의 스피어만 상관관계를 널 분포와 비교합니다. 이 널 분포는 그라스마니안 (Grassmannian) 에서 균일하게 샘플링된 100 개의 무작위 $k$ 차원 서브스페이스에 동일한 은닉 상태를 투영하여 생성됩니다.
4. Z-점수 계산: 서브스페이스 PGA 는 다음과 같이 정의된 z-점수입니다:
   $$PGA(\ell) = \frac{\rho_{readout} - \mu_{null}}{\sigma_{null}}$$
   높은 양의 $z$ 는 기하학이 예측을 위해 조직화되었음을 나타냅니다 (읽기가 무작위 서브스페이스보다 더 많은 구조를 보존함). $z \approx 0$ 은 특별한 정렬이 없음을 의미하며, $z < 0$ 은 읽기가 무작위 서브스페이스보다 거리 구조와 덜 정렬되어 있음을 의미합니다.
5. 이방성 보정: 지배적인 분산 방향 (코사인 유사도를 과장함) 이 지표를 혼동하지 않도록 하기 위해, 저자들은 거리 계산 전에 평균 중심화 후 CCR-1(주요 성분 제거) 을 적용합니다.

주요 결과

본 연구는 7 개의 Pythia 모델 (70M 에서 6.9B 파라미터) 과 3 개의 크로스 패밀리 모델 (OLMo, Phi, Gemma) 을 평가했습니다.

1. 규모 의존적 조직화

• 대규모 모델 ($d \ge 2048$): 이러한 모델은 모든 중간 레이어에서 강력한 예측 조직화를 유지합니다. $z$-점수는 중간 레이어에서 $z=9–24$로 정점을 찍으며 유의미하게 양수인 상태로 유지되어, 거리 구조가 읽기 서브스페이스와 일관되게 정렬되어 있음을 나타냅니다.
• 소규모 모델 ($d \le 1024$): 이러한 모델은 "우회 (detour)" 체계를 보입니다. 초기 학습과 초기 레이어에서 예측 조직화를 수립하지만, 후기이지만 최종이 아닌 레이어 (예: Pythia-410M 의 20–23 레이어) 에서 점진적으로 이 정렬을 상실합니다. 이러한 "붕괴 구역"에서 $z$-점수는 크게 하락합니다 (예: $-32$까지). 이는 모델의 검증 손실이 계속 개선되는 동안에도 거리 구조가 읽기와 정렬되지 않게 됨을 의미합니다.
• 회복: 소규모 모델에서 최종 레이어는 출력이 있기 전에 기하학을 다시 읽기 서브스페이스로 투영하여 정렬을 회복합니다.

2. 메커니즘: 용량 트레이드오프와 마스킹

소규모 모델에서의 조직화 상실은 예측 정보의 파괴가 아니라 용량 제약으로 인한 마스킹 효과입니다.

• 지배적 방향 이동: 소규모 모델의 후기 레이어에서 잔류 스트림 (residual stream) 의 최대 분산 방향 (PC1) 은 읽기 서브스페이스에서 "어두운" 방향 ($W_U$ 에 직교) 으로 회전합니다.
• 마스킹: 지배적인 분산 방향이 대부분의 거리 구조를 운반하기 때문에, 이 분산의 일부를 포착하는 무작위 서브스페이스는 읽기 서브스페이스만큼이나, 혹은 더 잘 거리 구조를 보존하게 됩니다. 이로 인해 $z$-점수가 하락합니다.
• 복원: 상위 몇 개의 주성분을 제거 (CCR-5 또는 CCR-10) 하면 $d \ge 768$인 모델의 모든 레이어에서 양의 $z$-점수가 회복됩니다. 이는 예측 구조가 intact 되었으나 몇 개의 지배적이고 예측과 무관한 방향에 의해 가려졌음을 확인시켜 줍니다.

3. 스펙트럼 지표 및 손실과의 독립성

• 스펙트럼 무감각: 표준 스펙트럼 지표 (RankMe, $\alpha$-ReQ, 등방성, 조건수) 는 이 구분을 감지하지 못합니다. 소규모 모델의 붕괴 구역에서 스펙트럼 지표는 안정적이거나 평탄한 반면, 서브스페이스 PGA 는 40 개 이상의 표준 편차만큼 변동합니다.
• 손실 무감각: 검증 손실 곡선은 소규모 모델과 대규모 모델 간에 거의 동일하여, 중간 레이어에서 발생하는 기하학적 재조직화를 포착하지 못합니다.

4. 크로스 아키텍처 수렴

읽기 서브스페이스는 크로스 아키텍처 수렴 구조를 집중시킵니다. 서로 다른 모델 (예: Pythia 대 OLMo) 을 비교할 때, 쌍별 거리의 스피어만 상관관계는 전체 공간이나 무작위 서브스페이스보다 100 차원 읽기 서브스페이스에서 더 높습니다. 이는 독립적으로 훈련된 모델들이 기하학적으로 동의하는 바가 구체적으로 예측 기능과 연결되어 있음을 시사합니다.

5. 하류 유틸리티

대규모 모델에서 높은 서브스페이스 PGA $z$-점수를 가진 레이어는 하류 작업 (AG News) 에 대한 선형 프로브의 정확도도 더 높습니다. 소규모 모델에서는 $z$ 가 음수인 "붕괴 구역"에서도 프로브 정확도가 높게 유지되어, 근본적인 특징이 보존되지만 읽기 인터페이스와 정렬되지 않았을 뿐임을 추가로 증명합니다.

중요성과 주장

본 논문은 규모가 모델이 얼마나 잘 예측하는지뿐만 아니라, 이를 위해 표현 기하학이 어떻게 조직화되는지도 결정한다고 주장합니다.

• 두 가지 기하학적 체계: 저자들은 기하학이 예측과 정렬된 상태로 유지되는 "직접 (direct)" 체계 (대규모 모델) 와 후기 레이어가 출력에서 수정하기 전에 예측과 무관한 방향을 통해 계산을 일시적으로 우회하는 "우회 (detour)" 체계 (소규모 모델) 를 식별합니다.
• 기능적 지향성: 본 연구는 표현 기하학의 형태를 특징짓는 것에서 그 기능적 지향성을 이해하는 것으로 초점을 이동시킵니다. 기하학이 매우 구조화되어 있더라도 모델의 목표와 기능적으로 정렬되지 않을 수 있음을 보여줍니다.
• 현재 지표의 한계: 이 작업은 손실 곡선과 스펙트럼 지표가 중간 표현의 기능적 조직화를 진단하는 데 불충분함을 강조합니다. 서브스페이스 PGA 는 이러한 현상을 감지하기 위한 작업 무관 (task-free) 이고 차원 일치 (dimensionality-matched) 지표입니다.
• 용량 대 아키텍처: 이 현상은 아키텍처의 세부 사항이 아니라 표현 용량 (너비) 에 기인하며, 차원이 작을 때 서로 다른 모델 패밀리에서 관찰됩니다.

저자들은 소규모 모델에서의 "우회"가 명시적으로 학습된 라우팅 전략이 아니라, 제한된 용량이 중간 계산 방향과 읽기 정렬 방향 사이의 충돌을 강제함으로써 발생하는 부작용이라고 결론지었습니다. 이 구별은 표준 훈련 신호에는 보이지 않지만 언어 모델의 내부 메커니즘을 이해하는 데 필수적입니다.