Word Recovery in Large Language Models Enables Character-Level Tokenization Robustness

이 논문은 기계적 해석을 통해 대형 언어 모델이 문자 단위 토큰화 입력에서도 견고한 성능을 보이는 핵심 메커니즘으로, 은닉 상태가 표준 단어 토큰을 재구성하는 '단어 복원 (word recovery)' 과정과 이를 가능하게 하는 초기 계층 내의 인접 문자 간 주의 메커니즘을 규명했다고 요약할 수 있습니다.

핵심

🧩 핵심 비유: "레고 블록 vs. 흩어진 레고 조각"

일반적으로 AI 는 레고 세트 (단어 단위 토큰) 를 배우고 훈련합니다. 예를 들어, "사과"라는 단어를 하나의 레고 블록으로 인식하고 학습하죠.

하지만 연구자들은 AI 에게 "사", "과" 라는 두 개의 흩어진 레고 조각 (문자 단위) 만 주면서 "이게 뭐야?"라고 물었습니다. 이론적으로는 AI 가 당황해서 엉뚱한 답을 해야 할 것 같지만, 놀랍게도 AI 는 여전히 "사과" 라고 정확히 맞췄습니다.

이 논문은 "AI 가 어떻게 흩어진 조각을 다시 원래의 레고 블록 (단어) 으로 조립해내는가?" 그 비밀을 파헤쳤습니다.

🔍 발견된 비밀: "단어 복구 (Word Recovery)"

연구팀은 AI 의 뇌 (내부 작동 원리) 를 들여다보고 이 놀라운 능력을 '단어 복구 (Word Recovery)' 라는 이름으로 불렀습니다.

1. 조립 과정 (단어 복구):
   AI 는 흩어진 알파벳 조각들을 받자마자, 바로 답을 내는 게 아니라 중간 단계에서 다시 단어를 조립합니다. 마치 흩어진 퍼즐 조각을 보고 "아, 이건 '사과'라는 그림이구나!"라고 머릿속에서 완성된 이미지를 다시 그려내는 과정입니다.

2. 어떻게 조립할까? (그룹 내 주의):
   AI 는 조각들이 서로 어떻게 연결되는지 알아냅니다. 같은 단어에 속한 알파벳들 (예: 's', 'a', 'p', 'p', 'l', 'e') 은 서로 "우리끼리 모여서 정보를 주고받아!" 라고 신호를 보냅니다. 연구팀은 이를 '그룹 내 주의 (In-Group Attention)' 라고 부릅니다.

   • 비유: 마치 같은 팀의 선수들이 경기 시작 초기에 서로 눈빛을 교환하고 전략을 공유하는 것과 같습니다.

🧪 실험: "뇌 수술"을 해보았다

연구팀은 이 가설이 맞는지 확인하기 위해 AI 에게 '수술'을 했습니다.

• 실험 1 (조립된 단어 지우기):
  AI 가 흩어진 조각을 다시 '사과'라는 단어로 조립해낸 순간, 그 정보를 AI 의 뇌에서 강제로 지워버렸습니다.

  • 결과: AI 는 갑자기 멍해졌고, 정답을 맞추는 능력이 급격히 떨어졌습니다.
  • 의미: AI 가 단순히 조각을 보고 추측한 게 아니라, 반드시 단어를 조립해내는 과정이 필요했다는 증거입니다.

• 실험 2 (조각들 간의 대화 차단):
  흩어진 알파벳 조각들이 서로 정보를 주고받는 것 (그룹 내 주의) 을 초기 단계에서 차단했습니다.

  • 결과: AI 는 더 이상 단어를 조립할 수 없게 되었고, 성능이 무너졌습니다.
  • 의미: 초기 단계에서 조각들이 서로 대화하는 것이 단어를 복구하는 핵심 열쇠임을 증명했습니다.

💡 결론: 왜 이 연구가 중요할까요?

이 연구는 AI 가 단순히 입력된 문자를 기계적으로 처리하는 게 아니라, 스스로 의미를 재구성하는 지능적인 과정을 거친다는 것을 밝혀냈습니다.

• 일상적인 예시: 우리가 외국어를 배울 때, 낯선 알파벳을 하나씩 읽다가 문맥을 파악하면 "아, 이건 'Hello'구나!"라고 알아차리는 것과 비슷합니다. AI 도 똑같은 방식으로, 훈련받지 않은 입력 방식 (문자 단위) 에도 유연하게 적응할 수 있는 것입니다.

한 줄 요약:

"AI 는 흩어진 알파벳 조각을 받으면, 초기 단계에서 서로 대화하며 다시 단어를 조립 (복구) 하고, 그 완성된 단어를 바탕으로 똑똑한 대답을 합니다. 이 '조립 과정'이 AI 의 놀라운 적응력을 만드는 비결입니다."

기술 요약

논문 요약: 대규모 언어 모델의 단어 복구 (Word Recovery) 가 문자 단위 토크나이제이션 견고성을 가능하게 함

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 일반적으로 BPE(Byte Pair Encoding) 와 같은 하위 단어 (subword) 기반의 표준 토크나이제이션으로 학습됩니다. 전통적으로 토크나이제이션은 손실 있는 전처리 단계로 간주되어, 모델의 언어 능력은 학습된 토큰 단위에 의존한다고 여겨졌습니다.
• 문제: 최근 연구들은 표준 토크나이제이션으로 학습된 LLM 이도 문자 단위 (character-level) 나 무작위로 분할된 비표준 입력에서도 놀라운 성능 견고성 (robustness) 을 보인다는 사실을 발견했습니다.
• 핵심 질문: 모델이 학습된 토큰과 다른 입력 (예: 개별 문자 시퀀스) 을 처리할 때, 내부적으로 어떻게 이를 해석하고 이해하는가? 모델은 문자 수준에서 직접 추론하는가, 아니면 내부적으로 표준 토큰과 유사한 고수준 어휘 단위를 재구성하는가?

2. 방법론 (Methodology)

저자들은 기계적 해석 가능성 (Mechanistic Interpretability) 관점을 통해 이 현상을 분석하며, **'단어 복구 (Word Recovery)'**라는 핵심 과정을 규명하기 위해 세 단계의 실험을 수행했습니다.

1. 단어 복구 감지 (Decoding-based Detection):

   • 모델의 각 레이어에서 은닉 상태 (hidden states) 를 출력 임베딩 행렬을 통해 디코딩하여, 입력된 문자 시퀀스에서 원래의 표준 토큰 (canonical tokens) 이 복원 가능한지 확인했습니다.
   • 지표: 각 레이어에서 입력된 텍스트의 고유한 표준 토큰 중 얼마나 많은 비율이 은닉 상태의 톱-K 예측을 통해 복원되는지 측정하는 '회복 점수 (Recovery Score)'를 정의했습니다.

2. 인과적 개입 (Causal Intervention - Subspace Removal):

   • 복구된 단어 토큰의 방향성 (output embedding vector) 을 은닉 상태의 잔여 스트림 (residual stream) 에서 제거하는 개입을 수행했습니다.
   • 특정 레이어부터 시작하여 해당 토큰에 해당하는 문자 구간에서 단어 수준의 정보를 제거하고, 이로 인한 하류 작업 (downstream task) 성능 저하를 측정하여 단어 복구가 단순한 부산물이 아닌 인과적으로 필수적인 과정인지 검증했습니다.

3. 세밀한 어텐션 분석 (Fine-grained Attention Analysis):

   • 그룹 내 어텐션 (In-group Attention): 동일한 표준 토큰에 속하는 문자들 간의 어텐션에 초점을 맞췄습니다.
   • 초기 레이어에서 그룹 내 어텐션을 마스킹 (차단) 하여, 이 메커니즘이 단어 복구 및 모델 성능에 미치는 영향을 분석했습니다.

3. 주요 결과 (Key Results)

• 보편적인 단어 복구 현상:

  • Gemma-2, Qwen2.5, Llama-3 등 다양한 모델과 데이터셋 (ARC, CSQA 등) 에서 모든 모델이 문자 단위 입력으로부터 상당량의 표준 단어 토큰을 은닉 상태 내에서 복구하는 것을 확인했습니다 (최대 복구 점수 57.7% ~ 96.8%).
  • 복구 패턴은 모델마다 다릅니다. Gemma-2 는 초기 레이어에서 빠르게 복구되는 반면, Qwen2.5 와 Llama-3 는 초기에 일부 복구된 후 중후반 레이어에서 급격히 증가하는 2 단계 패턴을 보입니다.

• 인과적 필요성 입증:

  • 성능 저하: 단어 복구가 일어나는 초기 레이어에서 복구된 단어 정보를 제거하면 하류 작업의 정확도가 급격히 떨어졌습니다.
  • 중요성: 이는 모델이 단순히 문자를 처리하는 것이 아니라, 내부적으로 재구성된 단어 표현을 하류 추론을 위한 중간 단위로 사용하고 있음을 의미합니다. 나중에 복구된 단어 정보는 작업 수행에 있어 상대적으로 중복적 (redundant) 인 것으로 나타났습니다.

• 그룹 내 어텐션의 결정적 역할:

  • 초기 레이어에서 동일한 단어에 속하는 문자들 간의 어텐션 (In-group Attention) 을 차단하면, 단어 복구 점수와 작업 성능이 모두 크게 감소했습니다.
  • 이는 초기 레이어에서 문자 정보가 집계되어 어휘적 표현 (lexical representation) 으로 통합되는 과정이 단어 복구의 핵심 메커니즘임을 보여줍니다.

4. 주요 기여 (Key Contributions)

1. 단어 복구 (Word Recovery) 개념 정립: LLM 이 비표준 입력 (문자 단위) 을 처리할 때, 내부적으로 표준 토큰과 일치하는 고수준 어휘 단위를 재구성한다는 새로운 메커니즘을 발견하고 명명했습니다.
2. 견고성의 메커니즘적 설명: 기존에 관찰되었던 토크나이제이션 견고성이 단순한 우연이나 외부적 현상이 아니라, 모델 내부의 인과적으로 필수적인 단어 복구 과정에 기인함을 증명했습니다.
3. 구체적인 메커니즘 규명: 초기 레이어의 '그룹 내 어텐션'이 문자 정보를 어휘 단위로 통합하여 단어 복구를 가능하게 하는 핵심 요소임을 실험적으로 입증했습니다.
4. 해석 가능성 도구 개발: 디코딩 기반 복구 점수 측정법과 하위 공간 제거 (subspace removal) 기법을 통해 모델 내부의 추상적 과정을 정량화하고 검증하는 방법론을 제시했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 학습된 토크나이제이션 방식과 다른 입력을 받았을 때, 단순히 문자 단위로 추론하는 것이 아니라 내부적으로 고수준의 언어 구조를 재구성하여 이해한다는 사실을 규명했습니다.

• 이론적 의의: 토크나이제이션이 모델의 성능에 절대적인 제약이 아니라는 것을 보여주며, LLM 이 어떻게 유연하게 언어 정보를 표현하고 조작하는지에 대한 깊은 통찰을 제공합니다.
• 실용적 의의: 모델의 내부 작동 원리를 이해함으로써, 더 견고한 (robust) 모델 설계나 토크나이제이션 오류에 강한 시스템 개발에 기여할 수 있습니다. 또한, 기계적 해석 가능성 연구의 범위를 확장하여 모델이 비표준 입력을 처리하는 구체적인 경로를 제시했습니다.

결론적으로, 이 논문은 LLM 의 놀라운 견고성이 **'초기 레이어의 그룹 내 어텐션을 통한 단어 복구'**라는 내부 메커니즘에 의해 가능해짐을 입증했습니다.