How Do LLMs Use Their Depth?

이 논문은 LLM 이 초기 층에서 빈도 높은 토큰을 통계적 추측으로 제시하고 깊은 층으로 갈수록 이를 문맥에 맞게 정제하는 '추측 후 정제 (Guess-then-Refine)' 프레임워크를 제안하며, 다양한 태스크와 실험을 통해 모델이 깊이를 구조적이고 세밀하게 활용하는 방식을 규명했습니다.

핵심

🧠 거대 언어 모델의 비밀: "먼저 추측하고, 나중에 다듬기"

이 연구는 LLM 이 단순히 한 단어를 한 번에 정하는 게 아니라, 두 단계로 나누어 생각한다는 것을 발견했습니다. 이를 "추측 - 다듬기 (Guess-then-Refine)" 프레임워크라고 부릅니다.

1. 첫 단계: "일단 가장 흔한 걸로 찍어보자!" (초기 레이어)

모델의 가장 앞쪽 (초기 레이어) 은 마치 정보를 거의 모르는 상태입니다. 문맥을 다 이해하지 못했기 때문에, "아무거나 말해봐"라고 하면 가장 흔하게 나오는 단어를 먼저 떠올립니다.

• 비유: 친구가 "오늘 날씨 어때?"라고 물었을 때, 아무런 정보도 없이 막상 대답해야 한다면 우리는 "비 올 수도 있고, 맑을 수도 있겠지"처럼 확률이 높은 일반적인 말부터 합니다.
• 실제 현상: 모델은 초기 단계에서 'the', 'a', 'is' 같은 매우 흔한 단어 (고빈도어) 를 먼저 최상위 후보로 뽑아냅니다. 이는 문맥이 부족할 때 통계적으로 가장 안전하다고 생각되는 '추측'입니다.

2. 두 번째 단계: "아, 문맥을 보니 그건 아니네!" (후반 레이어)

모델이 뒤쪽 (후반 레이어) 으로 갈수록 입력된 문장의 전체적인 맥락을 파악하게 됩니다. 이제 초기에 했던 막연한 추측을 버리고, 상황에 맞는 정확한 단어로 갈아타는 '다듬기' 작업을 합니다.

• 비유: 친구가 "오늘 비가 쏟아지는데 우산 챙겼어?"라고 구체적으로 말하자, 우리는 "아, 비가 오네? 그럼 '우산'이겠구나!"라고 구체적인 단어로 생각을 수정합니다.
• 실제 현상: 초기에 'the'라고 추측했던 단어가, 문맥을 파악한 뒤에는 '뉴욕', '과학', '사랑' 같은 드물지만 문맥에 맞는 단어로 바뀝니다. 연구에 따르면 초기 추측의 80% 이상이 이렇게 수정됩니다.

---

🏃‍♂️ 모델은 일을 얼마나 깊이 할까? (작업의 난이도에 따른 깊이 사용)

이 모델은 모든 일을 똑같은 깊이 (레이어 수) 로 처리하지 않습니다. 일的难度 (난이도) 에 따라 필요한 '깊이'를 다르게 사용합니다.

1. 쉬운 일은 빨리 끝낸다 (기능어와 문장 부호)

문장 부호 (., ?) 나 'the', 'a' 같은 기능어는 의미가 단순하고 예측하기 쉽습니다.

• 비유: "오늘은" 다음에 뭐가 올지 생각할 때, '은'이나 '는' 같은 조사나 문장 부호는 일단 1~2 초 만에 결정됩니다.
• 결과: 모델은 이런 쉬운 단어들은 초반 레이어에서 바로 정답을 찾아냅니다.

2. 어려운 일은 깊게 생각해야 한다 (실제 내용과 사실)

명사, 동사, 혹은 복잡한 사실 정보를 기억해 내는 것은 어렵습니다.

• 비유: "미국 수도는?"이라고 물었을 때, '뉴욕'이라고 먼저 생각했다가 (초기 추측), 다시 생각해서 '워싱턴 D.C.'로 고치는 데는 많은 시간 (깊은 레이어) 이 걸립니다.
• 특이한 발견: 여러 단어로 이루어진 사실 (예: "뉴욕 시") 을 말할 때, 첫 번째 단어를 결정하는 데 가장 많은 뇌 (레이어) 를 씁니다. 두 번째, 세 번째 단어는 첫 단어가 정해지면 상대적으로 쉬워져서 더 얕은 레이어에서 결정됩니다.
  • 비유: 여행지를 정할 때 "어디로 갈까?"를 고민하는 게 가장 어렵고, 일단 "파리"라고 정하면 "파리에서 무엇을 볼까?"는 그다음에 쉽게 결정되는 것과 같습니다.

3. 객관식 문제도 두 단계로 푼다

객관식 문제를 풀 때도 같은 패턴이 나옵니다.

• 1 단계 (모으기): 초반 레이어에서 "A, B, C, D" 중 정답이 될 만한 후보들을 먼저 모아둡니다.
• 2 단계 (고르기): 후반 레이어에서 그 후보들 사이에서 어떤 것이 정답인지 심층적으로 추론하여 최종 답을 고릅니다.

---

💡 이 연구가 왜 중요할까?

1. 모델은 '통계적 추측자'이자 '맥락 통합자'입니다: 처음에는 통계로 대충 찍고, 나중에는 문맥을 보고 정교하게 다듬는다는 것을 알게 되었습니다.
2. 효율적인 AI 를 만들 수 있습니다: 모든 단어를 다 깊게 생각할 필요는 없습니다. 쉬운 단어는 일찍 끝내고, 어려운 단어만 깊이 생각하게 하면 컴퓨터 연산 비용을 아끼면서도 똑똑한 AI를 만들 수 있습니다. (예: 쉬운 문장은 10 단계만 돌고, 어려운 문장은 30 단계까지 돌게 하는 '동적 깊이' 기술)

📝 한 줄 요약

"거대 언어 모델은 처음엔 '흔한 것'으로 대충 찍어보고, 문맥을 파악한 뒤 '정확한 것'으로 고쳐 쓰는, 일의 난이도에 따라 뇌를 다르게 쓰는 똑똑한 존재입니다."

기술 요약

논문 개요: LLM 의 깊이 활용 메커니즘 분석

이 논문은 대규모 언어 모델 (LLM) 이 추론 (inference) 과정에서 내부 계층 (layer) 을 어떻게 구조화하여 예측을 수행하는지에 대한 미시적인 이해를 제공합니다. 기존 연구들이 LLM 의 성능은 입증했으나 내부 계산 과정은 불명확하다는 점에 착안하여, 저자들은 "추측 후 정제 (Guess-then-Refine)" 프레임워크를 제안하고, 모델이 작업의 복잡도에 따라 깊이를 동적으로 활용함을 증명합니다.

1. 연구 배경 및 문제 정의

• 문제: LLM 은 매우 깊은 계층 구조를 가지고 있지만, 모든 계층이 균일하게 정보를 처리하는지, 아니면 특정 예측이 초기 계층에서 결정되고 이후 계층은 단순히 이를 전달하는지 여부는 명확하지 않았습니다.
• 목표: LLM 이 추론 과정에서 계층별로 토큰 예측을 어떻게 구성하는지, 그리고 특정 토큰 예측이 마지막 계층에서만 결정되는지 아니면 초기에 결정되는지를 규명하는 것입니다.

2. 방법론 (Methodology)

저자들은 네 가지 오픈 가중치 모델 (GPT2-XL, Pythia-6.9B, Llama2-7B, Llama3-8B) 을 대상으로 다음과 같은 기법을 사용했습니다.

• TunedLens 활용: 중간 계층의 은닉 표현 (hidden representations) 을 어휘 공간 (vocabulary space) 으로 투영하여 토큰 예측을 해석합니다. LogitLens 의 한계 (초기 계층 해석의 불신뢰성) 를 보완하기 위해, TunedLens 는 각 계층의 출력과 최종 언임베딩 (unembedding) 행렬 간의 선형 변환을 학습하여 중간 계층의 예측을 더 정확하게 복원합니다.
• 주요 분석 지표:
  • 빈도 조건부 시작 (Frequency-Conditioned Onset): 초기 계층의 Top-1 예측이 빈도수가 높은 토큰 (Top 1-10) 으로 구성되는지 분석.
  • 의사결정 전환율 (Decision Flip Rate): 초기 계층의 예측이 최종 예측과 다른 비율을 측정하여 '정제' 정도를 파악.
  • 조기 탈출 (Early Exiting) 및 활성화 패칭 (Activation Patching): 특정 계층에서 예측이 고정되는지, 그리고 두 단계의 작업 (옵션 수집 vs 추론) 사이에 인과적 전환이 존재하는지 검증.

3. 주요 기여 및 발견 (Key Contributions & Results)

가. "추측 후 정제 (Guess-then-Refine)" 프레임워크

• 통계적 추측 (Early Guessing): 초기 계층에서는 입력 문맥 정보가 부족하고 지식 (MLP 계층) 에 접근하기 전이므로, 모델은 빈도수가 높은 토큰 (Top 1-10, 예: 관사, 전치사) 을 통계적 추측으로 Top-1 예측으로 제시합니다.
  • 예시: Pythia-6.9B 의 초기 계층 Top-1 예측 중 75% 이상이 Top-10 빈도 토큰이었으나, 최종 예측에서는 33% 로 감소했습니다.
• 맥락적 정제 (Contextual Refinement): 계층이 깊어질수록 문맥 정보가 축적되고, 초기의 통계적 추측은 맥락에 적합한 토큰으로 대폭 수정됩니다.
  • 결과: 초기 계층 (Layer 1) 의 Top-1 예측 중 약 80% 가 최종 계층에 도달할 때까지 변경되었습니다. 이는 초기 예측이 임시적인 '추측'임을 의미합니다.

나. 복잡도 기반 깊이 활용 (Complexity-Driven Depth Use)

LLM 은 작업의 난이도에 따라 깊이를 유연하게 사용합니다. 쉬운 작업은 얕은 계층에서 해결하고, 어려운 작업은 깊은 계층으로 미룹니다.

1. Case Study 1: 제한된 선택지 질문 (Multiple-Choice, T/F)

   • 2 단계 프로세스:
     1. 옵션 수집 (Option Collection): 모델의 전반부 계층에서 유효한 선택지들을 Top 랭크로 끌어올립니다.
     2. 옵션 추론 (Option Reasoning): 후반부 계층에서 유효한 선택지들 사이에서 최종 답을 결정합니다.
   • 검증: 활성화 패칭 실험을 통해, 초기 계층의 활성화는 옵션 수집 단계, 후기 계층의 활성화는 추론 단계임을 인과적으로 증명했습니다.

2. Case Study 2: 다중 토큰 사실 회상 (Multi-Token Fact Recall)

   • 첫 번째 토큰의 부하: 다중 토큰으로 이루어진 사실 (예: "New York City") 을 회상할 때, 첫 번째 토큰을 예측하는 데 가장 많은 계산 깊이 (레이어) 가 필요합니다.
   • 후속 토큰의 용이성: 첫 번째 토큰이 결정되면, 두 번째 및 세 번째 토큰은 상대적으로 얕은 계층에서 예측됩니다. 이는 첫 토큰이 방향을 설정하는 데 가장 큰 계산 부하가 있음을 시사합니다.

3. Case Study 3: 품사 (POS) 기반 분석

   • 기능어 vs 내용어: 관사 (DET), 전치사 (ADP), 구두점 (PUNCT) 과 같은 기능어는 초기~중간 계층 (Layer 5 부근) 에서 이미 Top-1 로 예측됩니다.
   • 반면, 명사 (NOUN), 동사 (VERB), 형용사 (ADJ) 와 같은 내용어는 깊은 계층 (Layer 20 부근) 에서야 예측됩니다. 이는 내용어가 문맥 추론이 필요하기 때문입니다.

4. 검증 및 타당성 확보

• TunedLens 편향성 검증: TunedLens 가 고빈도 토큰을 인위적으로 선호하는지 확인하기 위해, 고빈도 토큰의 학습 업데이트 빈도를 1000 분의 1 로 줄여 재학습했습니다. 그 결과, 초기 계층에서 여전히 고빈도 토큰이 우세하게 예측되었으며, 이는 프로브 (probe) 의 편향이 아니라 초기 계층 표현의 실제 정보 내용임을 입증했습니다.
• 인과적 조작: 활성화 패칭 (Activation Patching) 과 조기 탈출 (Early Exiting) 실험을 통해 위 발견들이 단순한 상관관계가 아니라 모델 내부의 인과적 메커니즘임을 확인했습니다.

5. 의의 및 결론

• 핵심 통찰: LLM 은 **"초기 통계적 추측자 (Early Statistical Guessers)"**이자 **"후기 맥락 통합자 (Late Contextual Integrators)"**입니다.
• 실용적 함의:
  • 효율성 개선: 모든 토큰이 모든 계층을 통과할 필요가 없습니다. 기능어나 쉬운 선택지는 얕은 계층에서 탈출 (Early Exit) 시켜 계산 효율을 높일 수 있습니다.
  • 모델 해석: LLM 의 내부 작동 원리를 계층별로 이해함으로써, 더 효율적인 아키텍처 설계와 추론 최적화 전략을 수립할 수 있는 기초를 제공합니다.

이 논문은 LLM 이 단순히 깊이를 균일하게 사용하는 것이 아니라, 예측의 난이도와 문맥의 발전에 따라 깊이를 동적이고 구조화된 방식으로 활용함을 체계적으로 규명한 중요한 연구입니다.