논문 요약: 선형 표현 가설 하에서 언어 모델이 저장할 수 있는 특징의 수

논문 제목: How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?
저자: Nikhil Garg, Jon Kleinberg, Kenny Peng (코넬 대학교)
발표일: 2026 년 2 월 11 일 (arXiv:2602.11246v1)

---

1. 연구 배경 및 문제 정의

**선형 표현 가설 (Linear Representation Hypothesis, LRH)**은 언어 모델의 중간 레이어에서 특징 (features) 이 선형적으로 저장된다는 가설입니다. 즉, 특정 개념 (예: "고양이", "긍정적 감정") 이 활성화 공간 (activation space) 의 특정 방향 (direction) 으로 표현된다는 것입니다.

이전 연구들은 LRH 가 언어 모델의 해석 가능성 (interpretability) 과 인과적 설명에 중요한 역할을 한다고 보았으며, 특히 중첩 (Superposition) 현상, 즉 뉴런의 수 ($d$) 보다 훨씬 많은 특징 ($m \gg d$) 을 저장할 수 있다는 아이디어를 제시했습니다.

그러나 기존 연구들은 다음과 같은 개념적, 정량적 불명확성을 남겼습니다:

1. 정의의 모호성: "선형 표현 (Linear Representation)"과 "선형 접근성 (Linear Accessibility)"을 동일시하는 경향이 있었습니다.
   • 선형 표현: 특징이 뉴런 활성화의 선형 결합으로 표현됨.
   • 선형 접근성: 특징이 선형 프로브 (linear probe, 즉 선형 함수) 를 통해 추출 가능함.
2. 정량적 한계 부재: $d$개의 뉴런으로 $m$개의 특징을 저장하고 선형적으로 접근할 수 있는 정확한 조건 (특히 $d$와 $m, k$의 관계) 이 명확하지 않았습니다. 여기서 $k$는 입력당 활성화되는 특징의 수 (희소성, sparsity) 를 의미합니다.

핵심 질문: 선형 표현 가설 하에서, $d$개의 뉴런으로 $m$개의 특징을 선형적으로 표현하고 동시에 선형적으로 접근 (복원) 하기 위해 필요한 $d$의 최소 크기는 얼마인가?

2. 방법론 및 수학적 프레임워크

저자들은 LRH 를 두 가지 명제로 분리하여 엄밀한 수학적 프레임워크를 구축했습니다.

2.1. 수학적 정의

• 입력 및 활성화: 언어 $L$에서 $d$차원 활성화 벡터 $f(\ell) \in \mathbb{R}^d$로 매핑.
• 특징 (Feature): $z_i: L \to \mathbb{R}$ 함수.
• 선형 표현 (Linear Representation): 활성화가 특징의 선형 결합으로 표현됨.
  $$f(\ell) = \sum_{i=1}^m z_i(\ell) a_i = A z(\ell)$$
  여기서 $A \in \mathbb{R}^{d \times m}$는 표현 행렬, $a_i$는 특징 $i$의 표현 벡터입니다.
• 선형 접근성 (Linear Accessibility): 특징이 선형 프로브 $g_i(x) = \langle b_i, x \rangle$를 통해 복원됨.
  $$|\langle b_i, f(\ell) \rangle - z_i(\ell)| < \epsilon$$
  여기서 $B \in \mathbb{R}^{d \times m}$는 프로브 행렬, $b_i$는 특징 $i$의 프로브 벡터입니다.

2.2. 연구 목표

$S$를 $k$-희소 벡터 (최대 $k$개의 비영항) 의 집합이라고 할 때, 다음 두 조건을 만족하는 최소 차원 $d$를 구합니다:

1. 일반적 접근성 (Q1): 비선형 복원 알고리즘을 허용하는 경우 (기존 압축 센싱).
2. 선형 접근성 (Q2): 복원이 선형 프로브로만 이루어져야 하는 경우 (본 연구의 핵심).

3. 주요 결과 (Theoretical Results)

저자들은 선형 접근성이 요구될 때 발생하는 정량적 격차 (Quantitative Gap) 를 증명했습니다.

3.1. 상한선 (Upper Bound) - Theorem 2

선형 접근성이 요구되더라도, $d = O_\epsilon(k^2 \log m)$이면 $m$개의 특징을 저장하고 선형적으로 접근할 수 있습니다.

• 의미: 뉴런의 수에 대해 지수적으로 많은 특징 ($m \approx e^d$) 을 저장할 수 있음을 의미합니다. 이는 "중첩 가설 (Superposition Hypothesis)"을 이론적으로 뒷받침합니다.
• 증명 기법: 근사적으로 직교하는 열을 가진 무작위 행렬 (Incoherent matrices) 을 구성하여 증명했습니다.

3.2. 하한선 (Lower Bound) - Theorem 3

선형 접근성을 보장하기 위해 필요한 차원은 다음과 같습니다:
$$d = \Omega_\epsilon \left( \frac{k^2}{\log k} \log \frac{m}{k} \right)$$

• 의미: 선형 접근성이 요구되면, 기존 압축 센싱 (비선형 복원, $d = O(k \log m)$) 에 비해 차원 요구량이 $k$에 대해 **이차 (quadratic)**로 증가합니다.
• 결론: 선형 표현만으로는 충분하지 않으며, 선형 접근성이라는 추가 제약은 모델의 표현 능력을 제한하는 중요한 요소임을 보여줍니다.

3.3. 비교 분석

구분	압축 센싱 (비선형 복원)	선형 압축 센싱 (선형 복원)
필요 차원 $d$	$O(k \log m)$	$\Omega(k^2 \log m)$
의미	$k$에 선형적 의존	$k$에 이차적 의존
결론	중첩 가능	중첩 가능하지만 희소성 ($k$) 에 더 민감

4. 추가 발견 및 통찰

4.1. 특징 기하학 (Geometry of Features)

• 표현 벡터 vs 프로브 벡터: 특징의 표현 벡터 ($a_i$) 와 프로브 벡터 ($b_i$) 는 반드시 일치할 필요가 없습니다.
• Proposition 9: 표현 벡터들이 서로 매우 높은 상관관계를 가지거나, 표현 벡터와 프로브 벡터가 거의 직교할 수도 있는 "비직관적"인 구성이 가능함을 보였습니다.
• Proposition 11: 하지만 표현 벡터와 프로브 벡터의 노름 (norm) 을 1 에 가깝게 제한하면, 각 특징은 단일 방향으로 표현되고 서로 다른 특징은 직교하는 방향으로 표현되는 "정돈된" 기하학이 강제됩니다.

4.2. 활성화 함수 및 바이어스의 영향

• Theorem 12 & Corollary 13: 선형 프로브에 ReLU 와 같은 활성화 함수나 바이어스를 추가하더라도, 이진 특징 ($z \in \{0, 1\}^m$) 을 선형 분리하는 데 필요한 차원의 하한선은 변하지 않습니다. 즉, 비선형 활성화 함수를 도입한다고 해서 중첩 용량이 비약적으로 증가하지는 않습니다.

5. 증명 기법 (Proof Techniques)

1. 상한선 증명: 무작위 가우스 행렬 또는 Rademacher 행렬을 사용하여 열들이 거의 직교 (incoherent) 하도록 구성합니다. $k$-희소성 때문에 간섭 (interference) 이 $k \times \mu$로 제한되어 전체 오차가 $\epsilon$ 이내로 유지됨을 보입니다.
2. 하한선 증명:
   • Rank Bounds (Alon, 2003): 대각선 요소가 1 이고 비대각선 요소가 작은 행렬은 낮은 랭크를 가질 수 없음을 이용합니다.
   • Submatrices: 전체 행렬 $B^T A$ 대신 부분 행렬에 적용하여, 임의의 큰 부분 집합에서도 간섭을 일으키는 쌍이 존재함을 보입니다.
   • Turán's Theorem: 그래프 이론을 활용하여, 간섭이 발생하는 간선 (edges) 의 수를 하한으로 추정하고, 비둘기집 원리 (Pigeonhole Principle) 를 통해 특정 프로브 벡터가 많은 표현 벡터와 간섭을 일으켜야 함을 증명합니다.

6. 의의 및 결론

1. LRH 의 이론적 기반 확립: 언어 모델의 선형 표현 가설에 대한 엄밀한 수학적 정의를 제시하고, "선형 표현"과 "선형 접근성"의 개념적 차이를 명확히 했습니다.
2. 중첩의 가능성과 한계: LRH 하에서도 지수적인 중첩이 가능하지만, 선형 접근성이라는 제약은 희소성 ($k$) 에 대해 더 엄격한 차원 요구 ($k^2$) 를 부과함을 증명했습니다. 이는 실제 언어 모델 설계에서 희소성 (sparse autoencoders 등) 의 중요성을 이론적으로 뒷받침합니다.
3. 미래 연구 방향:
   • 비선형 표현 하에서의 선형 접근성 조건 분석.
   • 다층 신경망에서 선형 표현이 어떻게 계층적으로 활용되는지 연구.
   • LRH 와 다른 대안적 표현 가설들의 비교 분석.

이 논문은 언어 모델의 내부 작동 원리를 이해하는 데 있어 선형 표현 가설이 단순한 경험적 관찰을 넘어, 강력한 이론적 기반을 가질 수 있음을 보여주었습니다.