기술 요약: LLM 단어 공장 내부 (Inside the LLM Word Factory)

문제 정의

트랜스포머 언어 모델은 서브워드 토큰화(예: "table"을 _ta와 ble로 분리)에 의존하며, 이는 입력 표현과 모델이 통일된 의미적 개념을 다루기 위해 필요한 표현 사이의 체계적인 불일치를 생성한다. 이로 인해 디토크나이제이션(detokenization, 역토큰화) 과정이 필요하다. 즉, 모델이 파편화된 서브워드 토카로부터 일관된 단어 수준의 표현을 재구성하는 내부 과정이다. 선행 연구들은 디토크나이제이션이 초기에서 중간 레이어에서 발생하며 어텐션(attention)과 MLP 구성 요소를 모두 포함한다는 점을 밝혀냈으나, 정확한 메커니즘, 신호 전달 경로, 그리고 이 과정의 깊이를 결정하는 요인은 불분명했다. 또한, 이러한 재구성의 성공 또는 실패를 초기 레이어의 활성화(activation)로부터 예측할 수 있는지 여부도 알려지지 않았다.

방법론

저자들은 모델 구성 요소의 인과적 기여도를 격리하기 위해 **활성화 패칭(activation patching)**과 통제된 **쌍 데이터셋 설계(paired-dataset design)**를 결합하여 사용한다.

1. 통제된 쌍 (Controlled Pairs): 연구는 단일 정형 토큰(canonical token)으로 토큰화될 수 있는 단어(예: _folder)와 인위적으로 서브워드로 분리된 단어(예: _fo + lder)를 활용한다.
   • FST (First-Shared-Token) 쌍: 두 분리된 단어가 첫 번째 토큰을 공유하지만 두 번째 토큰은 서로 다른 경우(예: _fo+lder vs. _fo+od). 이는 첫 번째 토큰으로부터의 어텐션 입력이 일정하므로 MLP의 기여를 격리한다.
   • LST (Last-Shared-Token) 쌍: 두 분리된 단어가 마지막 토큰을 공유하지만 첫 번째 토큰은 서로 다른 경우(예: _po+or vs. _er+or). 이는 로컬 임베딩이 마지막 위치에서 일정하므로 **어텐션(Attention)**의 기여를 격리한다.
2. 성공 지표 (Canonicity): 분리된 입력의 마지막 서브워드 위치에서의 잔차 스트림(residual stream)과 정형 단일 토큰 표현의 잔차 스트림 사이의 코사인 유사도로 정의된다 (Llama2-7B의 경우 레이어 $n-2$, 즉 30번 레이어 기준). 높은 Canonicity는 성공적인 재구성을 나타낸다.
3. 활성화 패칭 (Activation Patching): 저자들은 특정 레이어와 위치에서 "성공적인" 실행(높은 canonicity)의 활성화를 "실패한" 실행(낮은 canonicity)으로 패칭한다. 패치가 "성공-실패 간극"을 얼마나 메우는지에 따라 해당 구성 요소의 인과적 역할을 식별한다.
4. 범위: 주요 실험에는 Llama2-7B를 사용하며, 너비, 깊이, 위치 인코딩 방식(RoPE, ALiBi, Learned Absolute)이 다양한 8개 제품군의 12개 모델을 통해 교차 아키텍처 일반성을 테스트한다.

핵심 기여 및 결과

1. 레이어 1에서의 2단계 메커니즘

본 논문은 레이어 1에서 시작되는 디토크나이제이션의 구체적인 2단계 과정을 식별한다:

• 1단계 (Attention): 특정 어텐션 헤드들의 작은 부분 집합(특히 Llama2-7B의 헤드 24, 27, 28)이 이전 서브워드로부터 마지막 위치로 약한 토큰 특이적 신호를 전달한다. 이 신호는 정형 임베딩과 약하게 정렬된 "방향성 넛지(directional nudge)"이며, 단순한 일반적 성공 플래그가 아니라 첫 번째 토큰의 정체성을 인코딩한다.
• 2단계 (MLP): 레이어 1의 MLP는 이 전달된 신호를 로컬 서브워드 임베딩과 합성한다. 이 연산은 불연속적이지 않고 연속적이다. MLP 출력을 선형적으로 스케일링하면 canonicity 점수도 선형적으로 스케일링된다. FST 쌍에서 MLP 출력을 패칭하는 것이 재구성 효과의 대부분을 설명한다.

2. 토큰 수에 따른 스케일링

단어가 2개 이상의 토큰으로 분리되는 경우(최대 6개까지), 메커니즘은 **순차적 릴레이(sequential relays)**를 통해 일반화된다:

• 중간 위치들은 첫 번째 토큰으로부터 마지막 토큰까지 정보를 능동적으로 릴레이한다.
• 각 중간 위치는 2~3 레이어의 "릴레이 윈도우(relay window)"를 기여하며, 토큰 인덱스가 증가함에 따라 더 깊은 레이어로 이동한다.
• 전체적으로 필요한 깊이는 토큰 수에 따라 **아선형적(sublinearly)**으로 증가한다. 2개에서 3개 토큰으로 넘어갈 때는 약 3개의 레이어가 추가되지만, 이후의 토큰들은 중간 위치들이 병렬 릴레이 경로를 제공하기 때문에 각 토근당 1개 미만의 레이어만 추가된다.

3. 위치 인코딩에 의한 깊이 결정

두 단계 메커니즘(어텐션이 전달하고 MLP가 합성함)은 12개 모델 전체에서 보편적이지만, 이 과정이 발생하는 깊이는 위치 인코딩 방식에 따라 엄격히 결정된다:

• RoPE 기반 모델: 빠르게 디토크나이제이션을 수행하여 1~5개 레이어 내에 성공 간극의 80%에 도인한다.
• Learned-absolute 모델: 동일한 효과를 달성하기 위해 5~10개 레이어가 필요하며, 신호를 더 점진적으로 축적한다.
• ALiBi 모델: 토큰 수가 증가함에 따라 집중형에서 분산형으로 전환되는 중간 프로필을 보인다.
  저자들은 이것이 상대적 위치 인코딩(RoPE, ALiBi)은 레이어 1 어텐션이 단 한 번의 단계로 2번 위치에서 1번 위치를 날카롭게 어텐션할 수 있게 하는 반면, 학습된 절대 위치 인코딩은 절대 좌표로부터 상대적 위치를 복구하기 위해 여러 레이어가 필요하기 때문이라고 가설을 세운다.

4. 초기 레이어의 예측 가능성

본 논문은 디토크나이제이션의 결과(성공 vs 실패)가 초기 레이어의 활성화로부터 **선형적으로 판독 가능(linearly readable)**함을 입증한다:

• 레이어 2 활성화에 적합된 단순 클래스 평균 차이 프로브(class-mean-difference probe)는 격리된 시퀀스에서 0.94 AUROC를, 자연어 텍스트(WikiText)에서 0.97 AUROC를 달성했다.
• 결정적으로, 격리된 컨텍스트 없는 시퀀스에서 학습된 프로브 방향은 자연어 텍스트에서도 효과적으로 전이된다(0.91 AUROC). 이는 "합성(composition)" 신호의 초기 레이어 기하학이 컨텍스트 축적에 대해 견고함을 시사한다.

의의 및 주장

본 논문은 상관관계 기반의 프로빙을 넘어 인과적 개입을 수행함으로써, 디토크나이제이션에 대한 최초의 메커니즘적 국소화(mechanistic localization)를 제공한다고 주장한다. 핵심적인 의의는 다음과 같다:

1. 메커니즘적 명확성: 디토크나이제이션을 모호한 레이어 수준의 현상이 아니라, 첫 몇 레이어에서 발생하는 구체적인 2단계 계산(어텐션 신호 + MLP 합성)으로 정의했다.
2. 아키텍처적 통찰: 모델의 규모나 너비가 아닌, 위치 인코딩이 이 근본적인 과정의 계산 깊이를 결정한다는 점을 확립했다.
3. 예측적 유용성: 오직 초기 레이어의 활성화만을 사용하여 단어 재구성의 성공 여부를 매우 높은 정확도로 예측할 수 있음을 보여주었다. 이는 생성 과정이 완료되기 전에 토큰화로 인한 실패를 감지하기 위한 추론 시점의 개입 가능성을 시사하며, 다운스트림 행동 지표와 독립적인 새로운 메커니즘적 토크나이저 평가 지표을 제공한다.

저자들은 자신의 메트릭(canonicity)이 외부의 정답(ground truth)보다는 내부 모델 참조에 의존한다는 점과, 방법론이 단일 토큰으로 표현 가능한 단어에 국한되어 있어 자연스러운 다중 토큰 단어(희귀 단어, 고유 명사 등)에 대해서는 미해결 과제로 남아 있다는 점을 언급하며 겸허한 태도를 유지한다.