Same Geometry, Opposite Noise: Transformer Magnitude Representations Lack Scalar Variability

1. 연구 배경 및 문제 제기 (Problem)

생물학적 크기 시스템 (예: 인간의 시간, 수량, 공간 지각) 은 두 가지 핵심 특성을 공유합니다.

1. 로그 압축 기하학 (Log-compressive Geometry): 자극의 크기에 따라 내부 표현 거리가 로그 함수적으로 변하며, 이는 웨버의 법칙 (Weber's Law) 을 따릅니다.
2. 스칼라 변이성 (Scalar Variability): 표현의 노이즈가 크기에 비례하여 증가하여, 변동 계수 (Coefficient of Variation, CV) 가 일정하게 유지됩니다.

이전 연구 (Cacioli, 2026) 에 따르면, 대규모 언어 모델 (LLM) 은 훈련 데이터의 멱법칙 분포 (power-law distribution) 를 학습하여 생물학적 시스템과 유사한 로그 압축 기하학을 재현하는 것으로 확인되었습니다. 그러나 LLM 은 생물학적 시스템과 달리 대사적 제약 (metabolic constraints, 예: 고정된 노이즈 예산, 발화율 제한 등) 이 부재합니다.

핵심 질문: 대사적 제약이 없는 트랜스포머 모델이 단순히 분포 통계 (distributional statistics) 만을 학습했을 때, 생물학적 시스템의 두 번째 특성인 **'스칼라 변이성 (크기에 비례하는 노이즈 증가)'**을 재현할 수 있는가?

2. 연구 방법론 (Methodology)

• 대상 모델: 7~8B 파라미터 규모의 세 가지 트랜스포머 모델 (Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3, Llama-3-8B-Base).
• 데이터: 26 개의 수치 크기 (1~1000) 를 5 개의 운반 문장 (carrier sentences) 에 포함시켜 입력.
• 측정 지표:
  • 각 크기 (magnitude) 와 레이어에서 5 개 운반 문장에 대한 **히든 상태 벡터 (hidden-state vectors)**의 분산 분석.
  • 주요 측정치: 각 크기별 5 개 벡터의 중심 (centroid) 으로부터의 평균 유클리드 거리 ($V$).
  • 통제 변수:
    1. 문장 정체성 보정 (Sentence-identity correction): 문장별 평균을 차감하여 문장 수준의 체계적 편향을 제거 ($V_{residual}$).
    2. 크기 축 투영 (Magnitude-axis projection): 26 개 중심의 주성분 1 (PC1) 방향으로 투영하여 크기 관련 분산만 추출 ($V_{proj}$).
• 분석 방식:
  • 16 개 주요 레이어 (16~31 레이어) 에서 크기 ($n$) 와 분산 ($V$) 의 로그 - 로그 관계에 대한 OLS 회귀 분석.
  • 스케일링 지수 ($\alpha$) 추정: $log(V) = \alpha \cdot log(n) + C$.
  • 가설:
    • H1: $\alpha > 0$ (노이즈가 크기에 따라 증가).
    • H2: $\alpha \approx 1$ (스칼라 변이성, 즉 CV 일정).
    • H3: $\alpha < 1$ (대사적 제약 부재로 인한 비스칼라적 행동).
    • H4: 레이어 깊이에 따라 $\alpha$가 변화함.
• 사전 등록: OSF 에 모든 가설, 측정치, 제외 규칙을 사전 등록 (Pre-registration).

3. 주요 결과 (Key Results)

연구 결과는 생물학적 시스템의 스칼라 변이성과 정반대인 패턴을 보였습니다.

1. 반 - 스칼라 (Anti-scalar) 패턴의 발견:

   • 모든 모델과 모든 주요 레이어에서 스케일링 지수 $\alpha$는 음수였습니다.
   • 결론: 수치 크기가 커질수록 표현의 변이성 (노이즈) 이 감소합니다.
   • 평균 $\alpha$ 값: Llama-Instruct (-0.046), Mistral (-0.042), Llama-Base (-0.031).
   • 이는 H1 과 H2 를 기각하고, H3 를 강력히 지지합니다 ($\alpha < 1$일 뿐만 아니라, $\alpha < 0$).

2. 크기 축과 수직 축의 분리:

   • 크기 관련 축 (PC1) 을 따라 변이성이 감소하는 경향 ($\alpha \approx -0.19$) 이 수직 축 (orthogonal dimensions) 보다 3~5 배 강력하게 나타났습니다.
   • 이는 행동적으로 관련된 부분 공간 (subspace) 에서 이 효과가 집중됨을 의미합니다.

3. 교정 및 튜닝의 영향:

   • 문장 정체성 보정 ($V_{residual}$) 을 적용해도 $\alpha$는 여전히 음수였습니다.
   • Instruction Tuning: 지시형 튜닝 (Instruct) 을 받은 모델이 Base 모델보다 $\alpha$가 더 음수 (-0.015 차이) 였습니다. 즉, 튜닝은 희귀한 큰 수의 표현을 더욱 단단하게 (tighten) 만듭니다.

4. 말뭉치 빈도의 강력한 예측력:

   • 표현 변이성은 **말뭉치 내 단어 빈도 (Corpus Frequency)**와 매우 높은 상관관계 ($\rho \approx 0.84$) 를 보였습니다.
   • 해석: 자주 등장하는 작은 수 (다양한 문맥) 는 넓은 분산을, 드물게 등장하는 큰 수 (제한된 문맥) 는 좁은 분산을 보입니다. 이는 노이즈가 크기 자체의 물리적 속성 때문이 아니라, 학습 데이터의 분포적 특성에 의해 결정됨을 시사합니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 기하학과 노이즈의 분리 (Dissociation of Geometry and Noise):

   • 이 연구는 분포적 학습 (distributional learning) 만으로는 생물학적 시스템의 두 가지 핵심 특성 (로그 기하학 + 스칼라 노이즈) 을 동시에 재현할 수 없음을 증명했습니다.
   • 트랜스포머는 입력 데이터의 통계적 특성 (멱법칙) 을 통해 로그 압축 기하학은 자연스럽게 학습하지만, 대사적 제약 (metabolic constraints) 이 없기 때문에 노이즈 스케일링은 생물학적 시스템과 정반대 방향으로 작동합니다.

2. 효율적 코딩 (Efficient Coding) 이론의 재검토:

   • 생물학적 시스템에서 스칼라 변이성은 효율적 코딩과 대사적 제약 (고정된 노이즈 예산) 의 상호작용에서 비롯된다는 이론을 지지합니다.
   • 트랜스포머는 에너지/노이즈 예산의 한계가 없으므로, 드문 자극 (큰 수) 에 대해 불필요한 변이성을 할당하지 않고 표현을 더 정밀하게 (tight) 만듭니다.

3. LLM 의 수치 표현 한계:

   • LLM 이 수학적 추론이나 정밀한 수치 처리를 수행할 때, 생물학적 뇌와 다른 노이즈 구조를 가짐을 시사합니다. 이는 LLM 이 인간의 인지 과정을 완전히 모방하지 못함을 보여주는 중요한 증거입니다.

5. 결론

이 논문은 트랜스포머 언어 모델이 생물학적 크기 시스템과 **동일한 기하학적 구조 (로그 압축)**를 공유하지만, **노이즈 특성 (스칼라 변이성) 은 정반대 (크기가 커질수록 노이즈 감소)**임을 최초로 규명했습니다. 이는 생물학적 시스템의 노이즈 스케일링이 단순한 데이터 통계가 아니라, 대사적 제약과 같은 물리적/생물학적 한계에 의해 결정됨을 강력히 시사합니다.