On the Geometric Structure of Layer Updates in Deep Language Models

이 논문은 딥러닝 언어 모델의 계층 간 업데이트가 주된 토큰 단위 성분과 기하학적으로 구별되는 잔차 성분으로 분해될 수 있으며, 이 잔차 부분이 기능적으로 중요한 계산을 담당하고 있음을 제안합니다.

핵심

이 논문은 **"거대 언어 모델 (LLM) 이 어떻게 생각할까?"**라는 질문에 대해, 우리가 평소 생각하지 못했던 새로운 각도에서 답을 찾은 연구입니다.

기존 연구들은 "모델의 중간 단계에서 어떤 정보가 저장되어 있는가?"에 집중했다면, 이 논문은 **"한 단계에서 다음 단계로 넘어갈 때, 정보가 어떻게 '변화'하는가?"**에 초점을 맞췄습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🏗️ 비유: 고층 빌딩의 엘리베이터와 공사 현장

거대 언어 모델을 수십 층으로 이루어진 거대한 빌딩이라고 상상해 보세요.
문장 하나 (예: "오늘 날씨가 좋네요") 를 입력하면, 이 말은 1 층 (입력층) 에서 시작해서 1 층, 2 층, 3 층... 최상층 (출력층) 까지 엘리베이터를 타고 올라갑니다. 각 층은 문장의 의미를 조금씩 다듬고 발전시킵니다.

이 논문은 이 엘리베이터가 한 층에서 다음 층으로 이동할 때 (Layer Update) 어떤 일이 일어나는지 분석했습니다.

1. 발견한 두 가지 움직임: "주류"와 "예외"

연구자들은 각 층의 변화를 두 가지로 나누어 보았습니다.

• A. 주류 움직임 (Tokenwise Component): "매우 규칙적인 엘리베이터"

  • 대부분의 변화는 매우 예측 가능하고 규칙적입니다. 마치 각 층마다 "오늘 날씨"라는 단어가 들어오면, 그 단어의 의미만 살짝 수정해서 위로 올려주는 것처럼요.
  • 이 연구에 따르면, 모델이 하는 일의 **대부분 (거의 100% 에 가까운 방향성)**은 이 "규칙적인 수정"으로 설명됩니다. 각 단어 (Token) 가 자기 자리에서 혼자서 조금씩 변형되는 것입니다.
  • 비유: 엘리베이터가 정해진 레일 위를 아주 매끄럽게, 예측 가능하게 움직이는 것과 같습니다.

• B. 잔여 움직임 (Residual): "예상치 못한 공사 현장"

  • 하지만 규칙적인 움직임으로 설명되지 않는 **작은 차이 (잔여값)**가 항상 남습니다.
  • 기존에는 이 차이가 "작은 오차"나 "잡음"일 거라고 생각했습니다. 하지만 이 논문은 **"아니, 이 잔여 부분이 진짜로 중요한 일을 하는 곳이다!"**라고 주장합니다.
  • 비유: 엘리베이터가 레일 위를 가는데, 갑자기 레일에서 살짝 벗어나서 공사 현장을 지나가는 순간이 있습니다. 이 순간은 레일 (규칙) 에 맞지 않지만, 건물의 구조를 바꾸는 진짜 중요한 공사가 일어나는 곳입니다.

2. 핵심 발견: "작은 오차"가 아니라 "핵심 엔진"

이 논문이 가장 놀라워한 점은 이 **잔여 부분 (Residual)**의 역할입니다.

• 기하학적 차이: 이 잔여 부분은 규칙적인 움직임 (레일) 과는 완전히 다른 방향으로 움직입니다. 각도가 크게 틀어져 있습니다.
• 기능적 중요성: 이 논문은 실험을 통해 증명했습니다. **"규칙적인 움직임 (A) 만 남기고, 이 잔여 부분 (B) 을 지우거나 바꾸면, 모델의 답변이 완전히 엉망이 된다"**는 사실입니다.
  • 반대로, 규칙적인 부분만 살짝 변해도 모델은 여전히 똑똑하게 답합니다.
  • 결론: 모델이 "생각"하고 "이해"하는 진짜 복잡한 작업은, 규칙적인 흐름이 아닌 예상치 못한 잔여 부분에서 집중적으로 일어난다는 것입니다.

3. 왜 이 연구가 중요한가요?

기존에 우리는 모델이 어떻게 작동하는지 알기 위해 "어떤 층에서 어떤 단어가 활성화되는지"를 봤습니다. 하지만 이 논문은 **"어떤 층에서 어떤 '변화'가 일어나는지"**를 보라고 말합니다.

• 간단한 요약:
  • 모델의 90% 는 자동화된 규칙 (단어별 단순 수정) 으로 움직입니다.
  • 나머지 10% 의 복잡하고 예측 불가능한 변화가 바로 모델이 지능을 발휘하는 핵심 엔진입니다.
  • 우리는 이 "핵심 엔진 (잔여 부분)"을 찾아내야 모델이 왜 그런 답을 냈는지, 혹은 왜 엉뚱한 답을 냈는지 이해할 수 있습니다.

💡 한 줄 요약

"거대 언어 모델은 대부분은 자동화된 레일 위를 달리는 기차지만, 진짜 중요한 '생각'과 '결정'은 레일에서 살짝 벗어나는 '공사 구간'에서 일어난다."

이 연구는 복잡한 AI 의 내부를 이해할 때, 단순한 규칙이 아닌 그 규칙에서 벗어난 부분을 주목해야 함을 알려주는 나침반이 되어줍니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

심층 언어 모델 (Deep Language Models) 은 토큰 표현을 레이어를 거치며 변환하지만, 이러한 변환의 구조적 특성은 아직 잘 이해되지 않고 있습니다. 기존 연구들은 주로 중간 표현 (intermediate representations) 에 어떤 정보가 인코딩되어 있는지 분석하는 데 집중해 왔습니다 (예: Probing, Logit Lens, Tuned Lens, 회로 분석 등).

그러나 이러한 접근법들은 한 레이어의 표현이 다음 레이어로 어떻게 변화하는지 (how representations change) 그 변환 과정 자체의 기하학적 구조를 직접적으로 규명하지 못한다는 한계가 있습니다. 즉, 표현의 변화가 단순한 좌표 재파라미터화 (reparameterization) 인지, 아니면 기능적으로 의미 있는 업데이트인지 구분하기 어렵습니다.

2. 방법론 (Methodology)

저자는 레이어 간 변환을 제한된 함수 클래스 (restricted function classes) 하에서 두 가지 성분으로 분해하는 새로운 프레임워크를 제안합니다.

• 분해 구조:

  • 주도적 토큰별 변환 (Dominant Tokenwise Component, $T$): 각 토큰에 독립적으로 작용하는 입력 조건부 (input-conditioned) 변환입니다. 이는 전역적으로 비선형일 수 있으나, 국소적으로는 선형 (예: 입력에 의존하는 스케일링, 회전) 으로 작용합니다.
  • 잔차 (Residual, $r$): 토큰별 변환으로 설명되지 않는 나머지 성분입니다. 이는 토큰 간 상호작용 (Attention 등) 이나 비선형적 구조에서 기인할 수 있습니다.
  • 수식: $h_{l+1} = T(h_l) + r(h_l)$

• 구현 방식:

  • 표현 공간에서 $k$-최근접 이웃 (k-nearest neighbors) 을 기반으로 국소 영역을 정의하고, 해당 영역에서 재구성 오차를 최소화하도록 토큰별 변환 함수 ($T$) 를 피팅합니다.
  • 사용된 함수 클래스: 대각 양의 준정부호 (Diag-PSD) 맵, 저랭크 (Low-rank) 선형 맵, 직교 (Orthogonal) 변환, 얕은 비선형 맵 (MLP) 등.

• 평가 지표:

  • 기하학적 분석: 전체 업데이트 ($\Delta_{full}$), 토큰별 업데이트 ($\Delta_{tok}$), 잔차 ($r$) 간의 정렬도 (Cosine Similarity), 각도 편이, 주성분 공간으로의 투영 비율을 측정합니다.
  • 기능적 분석: 토큰별 변환으로만 표현을 대체했을 때 모델 출력 분포의 변화 (KL Divergence) 를 측정하여, 잔차 오차가 모델 행동에 미치는 영향을 평가합니다.

3. 주요 기여 (Key Contributions)

1. 기능적 분해 프레임워크 도입: 심층 언어 모델의 레이어 업데이트를 '주도적 토큰별 성분'과 '잔차'로 분해하는 새로운 관점을 제시했습니다.
2. 강력한 기하학적 분리 발견: 전체 업데이트는 토큰별 성분과 거의 완벽하게 정렬되어 있으나, 잔차는 기하학적으로 완전히 분리된 성분임을 증명했습니다.
3. 기능적 중요성 규명: 토큰별 모델 하의 근사 오차 (잔차) 가 모델 출력의 변화와 강한 상관관계를 보임을 발견했습니다. 즉, 잔차가 단순한 노이즈가 아니라 기능적으로 중요한 계산을 담고 있음을 시사합니다.
4. 아키텍처 무관성 검증: Transformer 기반 모델과 상태 공간 모델 (Mamba 등) 을 아우르는 다양한 아키텍처에서 동일한 현상이 관찰됨을 확인했습니다.

4. 실험 결과 (Results)

• 기하학적 구조:
  • 정렬도: 전체 업데이트 벡터는 토큰별 업데이트 벡터와 거의 일치 (Cosine Similarity $\approx$ 1) 합니다.
  • 잔차의 특성: 잔차는 토큰별 업데이트 방향과 큰 각도 편이 (60 도 이상) 를 보이며, 주도적인 토큰별 부분 공간 (subspace) 에 투영되는 비율이 현저히 낮습니다. 이는 잔차가 단순한 보정이 아니라 질적으로 다른 성분임을 의미합니다.
• 기능적 연관성 (Output Perturbation):
  • 근사 오차 (잔차 크기) 와 모델 출력 변화 (KL divergence) 사이에 강한 양의 상관관계가 관찰되었습니다 (Spearman correlation).
  • 대규모 모델 (Pythia 등) 에서는 이 상관관계가 0.95 에 달할 정도로 매우 높게 나타났습니다.
  • 이는 토큰별 변환으로 설명되지 않는 부분이 모델의 예측을 바꾸는 핵심적인 계산이 집중된 곳임을 의미합니다.
• 레이어별 및 아키텍처별 차이:
  • 중간 레이어에서 잔차의 크기와 기능적 정렬도가 더 두드러지는 경향이 있습니다.
  • 작은 모델 (DistilGPT2) 은 단순한 대각 변환으로 잘 설명되지만, 큰 모델 (Pythia) 은 저랭크 맵이 더 효과적입니다.
  • Attention 이 없는 Mamba 모델에서도 유사한 분해 패턴이 관찰되어, 이 구조가 Attention 메커니즘에 국한되지 않음을 보여줍니다.

5. 의의 및 결론 (Significance)

이 연구는 심층 언어 모델의 레이어 간 동역학을 다음과 같이 재해석합니다:

• 구조적 재파라미터화: 대부분의 레이어 업데이트는 주도적인 토큰별 방향을 따라 이루어지는 구조화된 재파라미터화입니다.
• 기능적 계산의 집중: 모델의 행동 변화를 일으키는 기능적으로 의미 있는 계산은 기하학적으로 분리된 잔차 성분에 집중되어 있습니다.
• 새로운 해석 도구: 아키텍처에 구애받지 않는 간단한 방법으로, 모델 내부의 어떤 부분이 실제 계산 (computation) 을 수행하는지 기하학적 관점에서 탐지할 수 있는 도구를 제공합니다.

결론적으로, 이 프레임워크는 모델의 표현이 어떻게 변화하는지 이해하는 데 있어, "무엇이 인코딩되어 있는가"가 아닌 "어떻게 변환되는가"에 초점을 맞춘 새로운 해석적 렌즈를 제시합니다.