Failure by Interference: Language Models Make Balanced Parentheses Errors When Faulty Mechanisms Overshadow Sound Ones

기술 요약: 언어 모델에서의 간섭에 의한 실패

문제 정의
모델 크기와 학습 데이터의 증가로 인해 코드 생성 능력이 크게 발전했음에도 불구하고, 대규모 언어 모델(LM)은 여전히 기본적인 구문 작업, 특히 균형 잡힌 괄호 생성 문제에서 어려움을 겪고 있습니다. 이러한 실패는 GPT-4나 Phi-3와 같은 최첨단 모델에서도 지속됩니다. 본 연구가 다루는 핵심 과제는 이러한 오류를 유발하는 내부 메커니즘을 이해하는 것입니다. 이전 연구들이 LM의 전체 계산 회로를 역공학(reverse-engineer)하려고 시도해 왔으나, 저자들은 단순한 작업조차 복잡한 계산의 "주머니(bags)"를 포함하고 있어 하향식(bottom-up) 역공학이 어렵다고 주장합니다. 본 논문은 이러한 실패가 올바른 메커니즘의 부재 때문이 아니라, 결함이 있는 메커니즘이 건전한 메커니즘을 압도하는 '간섭(interference)'의 실패 때문이라고 상정합니다.

방법론
본 연구는 124M에서 7B 파라미터에 이르는 7개의 언어 모델(GPT-2 변형, CodeLlama-7b, Llama2-7b, Pythia-6.9b 포함)을 분석하기 위해 탑다운(top-down) 해석 가능성 접근 방식을 채택했습니다. 방법론은 세 가지 주요 단계로 구성됩니다:

1. 작업 분해 및 메커니즘 식별:
   균형 잡힌 괄호 작업을 토크나이저 동작에 따라 결정된 닫는 괄호의 개수($N=1, 2, 3, 4$)를 기준으로 네 가지 하위 작업으로 분해합니다. 저자들은 개별 구성 요소(어텐션 헤드 및 피드포워드 뉴런)의 활성화를 어휘 공간(vocabulary space)으로 투영하기 위해 "로짓 렌즈(logit lens)" 기술을 활용합니다.

   • 알고리즘 1은 구성 요소의 로짓 투영이 디스트랙터(distractor)에 비해 정답 토큰에 대해 가장 높은 값을 갖는지 확인하여 작업의 정확성을 측정합니다.
   • 알고리즘 2는 구성 요소가 특정 임계값 이상으로 타겟 토큰을 승격(promotion)시키는지 확인하여 토큰 승격을 식별합니다.

2. 메커니즘의 특성화:
   저자들은 구성 요소를 "건전한 메커니즘"(신뢰할 수 있고 하위 작업 전반에 걸쳐 일반화 가능한 것)과 "결함이 있는 메커니즘"(신뢰할 수 없으며 노이즈를 유발하는 것)으로 분류합니다. 이들은 이 구성 요소들의 정밀도(precision)와 재현율(recall)을 분석하며, LM이 매우 선택적이고 정밀한 메커니즘에 의존하기보다 정답과 오답 토큰 모두에 활성화되는 "노이즈 섞인 승격(noisy promotion)"에 크게 의존한다는 점을 관찰합니다.

3. RASTEER (순위 지정 및 조향):
   오류가 건전한 메커니즘이 결함 있는 메커니즘에 의해 압도됨으로써 발생한다는 발견에 착안하여, 저자들은 RASTEER를 제안합니다. 이 방법은 다음과 같습니다:

   • LM 구성 요소들을 신뢰성(재현율, 정밀도, F1-스코어 등의 지표 사용)과 하위 작업 간의 일반화 가능성을 바탕으로 순위를 매깁니다(Ranks).
   • 상위 순위의 구성 요소(어텐션 헤드 또는 FF 뉴런)의 활성값을 잔차 스트림(residual stream)에 더해지기 전에 곱연산 계수 $\alpha \in [1.1, 2.0]$를 사용하여 스케일링함으로써 모델을 **조향(Steers)**합니다. 이는 신뢰할 수 있는 구성 요소의 기여도를 증폭시킵니다.

주요 기여

• 메커니즘적 통찰: 본 논문은 LM이 구문 작업을 위해 단일 메커니즘에 의존하는 것이 아니라, 신뢰도가 다양한 다양한 구성 요소들의 집합에 의존함을 밝혀냈습니다. 결정적으로, LM의 실패는 건전한 메커니즘이 없어서가 아니라 결함 있는 메커니즘이 노이즈를 도입하여 건전한 메커니즘을 가리기 때문에 발생함을 식별했습니다.
• 노이즈 섞인 승격: 본 연구는 구성 요소가 정답 토큰과 디스트랙터 토큰 모두를 동시에 승격시키는 경우가 많으며, 정답 토큰이 더 강하지만 독점적이지 않은 부스트를 받는 "노이즈 섞인 승격" 전략을 특징짓습니다.
• RASTEER 프레임워크: 저자들은 전체 인과적 회로(causal circuits)를 재구성할 필요 없이, 신뢰할 수 있는 구성 요소를 체계적으로 식별하고 증폭하는 조향 방법을 도입했습니다.
• 회로 베이스라인 비교: 본 연구는 RASTEER를 메커니식 해석 가능성(activation patching)에서 도출된 "회로 베이스라인"과 대조합니다. 회로 발견이 대규모 모델에는 효과적이지만 작은 모델에는 일관된 조향 전략을 제공하지 못하는 반면, RASTEER는 모든 크기의 모델에서 성공적임을 입증했습니다.

결과

• 균형 잡힌 괄호 성능: RASTEER는 균형 잡힌 괄호 작업의 성능을 실질적으로 향 향상시켰습니다. 여러 모델(예: GPT-2 XL)에서 상위 10개에서 60개의 어텐션 헤드만을 조향함으로써, 세 번째 및 네 번째 괄호 하위 작업에 대한 정확도가 0%에서 약 100%로 높아졌습니다.
• 구성 요소의 효과성: 어텐션 헤드를 조향하는 것이 FF 뉴로를 조향하는 것보다 훨씬 더 효과적이었습니다. 상위 순위의 어텐션 헤드를 승격시키는 것은 공동 승격(joint promotion)과 유사한 결과를 달성한 반면, FF 뉴런만 승격시키는 것은 특히 작은 모델에서 거의 개선이 없거나 효과가 없었습니다.
• 일반화 가능성:
  • 코드 생성: 괄호 작업을 위한 조향은 HumanEval 벤치마크에서의 일반적인 코딩 능력을 저하시키지 않았습니다. 실제로 Llama2-7b는 5.49%의 완만한 개선을 보였습니다.
  • 산술 추론: 이 방법은 두 피연산자 산술 추론 작업으로 일반화되었으며, 최대 20.25%의 성능 향상(예: Pythia-6.9b의 곱셈)을 달려 성을 거두었습니다.
• 회로 베베이스라인의 실패: 회로 베이스라인은 작은 모델(GPT-2 변형)의 성능을 개선하는 데 실패했으며, 일부 경우에는 더 많은 헤드를 승격시킬수록 성능이 하락하는 현상을 보였습니다. 이는 중간 단계에 대해 인과적으로 중요하다고 식별된 구성 요소들이 조향될 때 불안정성을 유발할 수 있음을 시사합니다.

의의 및 주장
본 논문은 LM에서 구문 오류가 지속되는 원인이 학습 능력의 근본적인 결여가 아니라, 경쟁하는 내부 메커니즘 간의 간섭 결과라고 주장합니다. 모델 내에 매우 신뢰할 수 있고 일반화 가능한 소수의 구성 요소가 존재함을 식별함으로써, 저자들은 이러한 특정 신호를 증폭함으로써 성능을 회복할 수 있음을 보여주었습니다.

본 연구의 의의는 복잡한 회로를 완전히 역공학하려는 시도에서 벗어나, 구성 요소의 신뢰성에 기반한 기능적 접근 방식인 "조향(steering)"으로 전환했다는 점에 있습니다. 저자들은 RASTEER가 효과적이지만, 본 연구가 합성 데이터를 사용하며 모델 계산에 대한 단순한 가산적 모티프(additive motif, 최종 로짓은 구성 요소 기여도의 합이라는 가정)를 가정하고 있음을 언급합니다. 또한 이러한 가정이 능동적 노이즈 억제와 같은 비가산적 메커니즘을 간과할 수 있음을 인정하며, 이는 향후 연구를 위한 열린 방향으로 남겨둡니다. 이 연구는 기능적 해석 가능성(functional interpretability)—실질적 개입을 위해 영향력이 큰 구성 요소에 집중하는 것—이 재학습 없이 모델 성능을 향상시키기 위한 실행 가능하고 아직 충분히 탐구되지 않은 경로임을 시사합니다.