[기술 요약] 공유된 어휘적 작업 표현이 LLM의 행동 변동성을 설명한다

1. 문제 정의 (Problem Statement)

대규모 언어 모델(LLM)의 가장 고질적인 문제 중 하나는 **프롬프트 민감도(Prompt Sensitivity)**입니다. 동일한 작업이라도 질문의 방식(예: 자연어로 설명하는 '지시 기반 프롬프트' vs 예시를 보여주는 '예시 기반 프롬프트')에 따라 모델의 성능이 예측 불가능하게 변합니다. 기존 연구들은 프롬프트 스타일마다 서로 다른 내부 메커니즘이 작동한다고 보았으나, 본 논문은 **"서로 다른 프롬프트 스타일 사이에서도 공유되는 공통적인 내부 메커니즘이 존재하는가?"**와 **"그 메커니즘이 성능 차이를 어떻게 만들어내는가?"**라는 질문을 던집니다.

2. 연구 방법론 (Methodology)

2.1 핵심 개념 정의

• 어휘적 작업 헤드 (Lexical Task Heads, LTH): 연구진은 어텐션 헤드(Attention Head)의 출력을 어휘 공간(Vocabulary Space)으로 투영(Logit Lens 사용)했을 때, 작업의 정의나 의미를 직접적으로 나타내는 단어(예: 'antonym' 작업의 경우 'opposite', 'reverse' 등)를 출력하는 헤드를 발견했습니다. 이를 **'어휘적 작업 표현(Lexical Task Representation)'**이라고 정의합니다.
• 검색 헤드 (Retrieval Heads): 작업의 정의를 넘어 실제 정답(예: 'Tokyo', 'Dodge' 등)을 추출해내는 헤드입니다.

2.2 실험 설계

• 대상 모델: Llama-3.1, Gemma-2, Qwen-2.5/3 등 다양한 규모와 계열의 모델 13종.
• 대상 작업: 국가-수도, 반의어, 번역, 코드 생성 등 17가지의 단순 및 복합 작업.
• 분석 기법:
  • Activation Patching (활성화 패칭): 특정 헤드의 활성화를 다른 프롬프트로 옮겨 심었을 때 성능이 어떻게 변하는지 측정하여 인과 관계를 파악합니다.
  • Logit Lens: 헤드의 출력을 단어로 디코딩하여 해석 가능성을 확보합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 프롬프트 스타일 간 공유되는 메커니즘 발견

연구 결과, 지시 기반 프롬프트와 예시 기반 프롬프트는 서로 다른 메커니즘을 쓰는 것이 아니라, 평균 73%의 어휘적 작업 헤드(LTH)를 공유한다는 것을 밝혀냈습니다. 즉, 프롬프트의 형태가 달라도 모델 내부에서는 동일한 '작업의 의미'를 처리하는 회로가 재사용됩니다.

3.2 행동 변동성의 원인 규명: 활성화 강도 (Activation Strength)

모델의 성능 차이는 공유된 헤드의 **'활성화 강도'**에 의해 결정됩니다.

• 성공 사례: 프롬프트가 명확할수록 LTH의 활성화 강도(L2 norm)와 활성화된 헤드의 수가 높습니다.
• 실패 사례: LTH의 활성화가 충분하지 않으면, 모델은 작업의 목적을 잃고 배경 노이즈(예: 단순 연상 작용)에 휘둘리게 됩니다.
• Many-shot 효과 설명: 예시(shot)의 개수가 늘어날수록 LTH의 활성화 강도가 강해지며, 이것이 성능 향상으로 이어진다는 것을 인과적으로 증명했습니다.

3.3 작업 실행 메커니즘: LTH와 Retrieval Head의 상호작용

LTH는 정답을 직접 생성하는 것이 아니라, 검색 헤드(Retrieval Head)를 가이드하는 필터 역할을 합니다. LTH가 강하게 활성화되면 검색 헤드가 작업에 적합한 속성을 정확히 추출하도록 유도하지만, LTH가 약하면 검색 헤드가 엉뚱한 정보를 가져오게 됩니다.

3.4 경쟁 작업의 간섭 (Competing Tasks)

프롬프트가 모호할 경우(예: 제품-제조사 관계를 묻는데 예시가 제품-국가 관계를 암시하는 경우), 타겟 작업의 LTH는 약해지고 경쟁하는 다른 작업의 LTH가 활성화되어 신호가 희석되고 오답을 유도한다는 것을 확인했습니다.

4. 연구의 의의 (Significance)

1. 해석 가능성(Interpretability)의 진보: LLM의 복잡한 내부 상태를 '어휘(Vocabulary)'라는 인간이 이해할 수 있는 언어로 매핑하여, 모델의 행동을 기계론적으로 설명할 수 있는 경로를 제시했습니다.
2. 프롬프트 엔지니어링의 이론적 토대: 프롬프트 민감성이 단순한 '운'이 아니라, 내부 회로의 활성화 수준과 경쟁 작업 간의 간섭이라는 명확한 메커니즘에 기반함을 보여주었습니다.
3. 모델 신뢰성 향상: 모델이 왜 특정 프롬프트에서 실패하는지를 내부 헤드 수준에서 진단할 수 있는 근거를 마련하여, 더 견고하고 예측 가능한 AI 시스템 구축에 기여합니다.

---

요약 한 줄: 본 논문은 LLM이 프롬프트 방식에 상관없이 **공유된 '어휘적 작업 헤드'**를 통해 작업의 의미를 파악하며, 프롬프트에 따른 성능 차이는 이 헤드들의 활성화 강도와 검색 헤드와의 상호작용에서 비롯됨을 기계론적으로 증명하였습니다.