기술 요약: 어블레이션 가역적 헤드는 전이되지 않는다 (Ablation-Reversible Heads Don't Transfer)

문제 정의

기계론적 해석 가능성(Mechanistic Interpretability, MI)에서, 어텐션 헤드에 기능적 역할을 할당하는 일반적인 워크플로우는 다음 세 가지 증거를 결합하는 것입니다:

1. 선택적 필요성 (Selective Necessity): 헤드를 어블레이션(ablation)했을 때 특정 능력은 손상시키되 다른 능력은 보존하는 것.
2. 선형 디코더 가능성 (Linear Decodability): 헤드의 활성화(activation)가 요청된 계산을 선형적으로 인코딩하는 것.
3. 어블레이션 가역성 (Ablation Reversibility): 어블레이션된 헤드의 깨끗한 활성화를 복구했을 때 성능이 회복되는 것.

본 논문은 이 증거 스택이 특정 헤드가 특정 계산(예: "이 헤드는 덧셈을 수행한다")을 구현한다고 주장하기에는 불충분하다고 논증합니다. 저자들은 이 네 가지 속성—선택적 필요성, 선형 디코더 가능성, 어블레이션 가역성, 그리고 개입 일반화 가능성(interventional generalizability)—이 서로 구별되며 일상적으로 분리(dissociate)된다고 상정합니다. 즉, 어떤 헤드는 단일 프롬프트 컨텍스트 내에서는 필요하고 가역적일 수 있지만, 새로운 컨텍스트에서 행동을 재지시할 수 있는 전이 가능한 의미론적 상태(semantic state)를 운반하지는 않을 수 있습니다. 이러한 속성들을 혼동하는 것은 과도하게 확신에 찬 역할 주장과 오해의 소지가 있는 해석으로 이어집니다.

방법론

저자들은 역할 할당을 위한 어휘 체계인 KID(Knowing / Intent / Doing)를 도입하고, 이를 개입 일반화 가능성을 테스트하기 위한 3단계 경험적 파이프라인과 결합합니다.

KID 프레큘(Framework)

• Knowing (인지): 프롬프트가 무엇을 요구하는지 인식하는 과정. 헤드가 프롬프트 위치에서의 활성화를 통해 디코딩 가능한 계산 정보를 운반하고, 어블레이션이 프롬프트 수준의 인식을 손상시킨다면 이 역할을 수행하는 것으로 간주합니다.
• Intent (의도): 인지 이후, 실행 이전에 발생하는 계산 선택 상태. 헤드가 "Knowing" 기준을 충족하면서 동시에 개입적으로 일반화 가능하다면(즉, 그 상태를 다른 프롬프트에 패치했을 때 소스 계산 방향으로 행동을 재지시한다면) 이 역할을 수행하는 것으로 간합니다.
• Doing (수행): 답변 실행 및 생성. 헤드의 활성화가 답변 위치에서 필요하며, 답변 측 활성화를 복구함으로써 어블레이션 가역성이 달성된다면 이 역할을 수행하는 것으로 간주합니다.

3단계 파이프라인

1. 능력 선택적 스크리닝 (Capability-Selective Screening, CSS): 대상 어블레이션이 측정된 특정 능력을 선택적으로 손상시키는 작은 어텐션 헤드 집합을 식별합니다. 이는 행동적 중요성을 확립하지만, 표상적 주장을 확립하는 것은 아닙니다.
2. 특이값 분해 (Singular Value Decomposition, SVD): 카운터밸런스된 프롬프트 컨트롤(예: 동일한 답변 문자열을 사용하되 계산은 다른 경우)을 사용하여 CSS로 선택된 헤드 내에 선형적으로 존재하는 정보를 검사함으로써, 의미 구조와 표면적 아티팩트를 분리합니다.
3. 활성화 전도 테스트 (Activation Transduction Assays): 개입 일반화 가능성을 테스트하는 핵심 단계입니다. 소스 프롬프트(계산 A)의 깨끗한 활성화를 매칭된 컨트롤 하에서 타겟 프롬프트(계산 B)로 패치합니다.
   • 컨트롤 (Controls): 파이프라인은 관찰된 효과가 컨텍스트나 답변 익숙함 때문이 아니라 계산 선택에 의한 것임을 보장하기 위해 동일 계산 컨트롤(표면 형태는 다르지만 계산은 동일)과 동일 답변 컨트롤(답변 문자열은 공유하지만 계산은 다름)을 사용합니다.
   • 전체 궤적 복구 (Full-Trajectory Restore): "Knowing/Intent"와 "Doing"을 구분하기 위해, 프롬프트 위치의 활성화와 답변 위치의 활성화를 각각 분리하여 복구합니다.

주요 결과

본 연구는 5가지 계산 패밀리(산술, 비교, 숫자 속성, 날짜, 시간)에 대해 세 가지 인스트럭션 튜닝된 7–8B 모델(Qwen2.5, Llama-3, Mistral)에 적용되었습니다.

1. 속성의 체계적 분리

주요 발견은 어블레이션 가역성이 개입 일반화 가능성을 의미하지 않는다는 점입니다.

• 프롬프트 측 어블레이션 가역성 체크를 통과한 헤드(깨끗한 활성화를 동일한 프롬프트에 다시 패치했을 때 성능이 회복되는 헤드)가, 그 활성화를 다른 프롬프트에 패치했을 때는 계산을 전이시키는 데 실패하는 경우가 빈번했습니다.
• 테스트된 모든 모델 제품군 및 랭크 조합에서, "Intent" 역할을 충족하는 헤드는 단 하나도 없었습니다.

2. 역할 분류 (Role Taxonomy)

저자들은 CSS로 선택된 헤드들에 대한 예비 역할 분류를 제안하며, 이 중 어떤 것도 완전한 개입적 일반화 가능성을 만족하지 못했습니다:

• 답변 측 로짓 바이어스 헤드 (Answer-Side Logit-Bias Heads): 선택적으로 필요하고 가역적이지만, 오직 답변 위치의 활성화를 복구할 때만 그러합니다. 이 헤드들은 출력 분포를 그럴듯한 오답이나 참조 답변 쪽으로 편향시키지만, 계산 선택 상태를 저장하지는 않습니다.
• 프롬프트 측 안정화 헤드 (Prompt-Side Stabilizers): 프롬프트를 통한 계산 궤적을 유지하는 데 필요합니다(드리프트를 방지함). 이들은 프롬프트 위치에서 가역적이지만, 활성화 전도 시에는 무력하거나 부정적인 영향을 미칩니다. 이들은 특정 계산을 선택하기보다 컨텍스트를 유지합니다.
• 프롬프트 중심, 광범위 컨텍스트 헤드 (Prompt-Primary, Context-Broad Heads): 프롬프트 위치에서 가역적이지만, 활성화 전도는 특정 계산 레이블보다는 광범위한 소스 컨텍스트를 전이합니다(동일 답변 컨트롤에서의 움직임으로 입증됨).
• 소프트 계산 패턴 캐리어 (Soft Computation-Pattern Carriers): SVD를 통해 식별된 것들(예: Qwen의 비교 헤드)로, 추상화된 순서 선택 정보를 관련 패밀리 간에 운반합니다. 이들은 "소프트"한 인과적 핸들을 보여주지만, 적대적인 저마진 행(adversarial low-margin rows)에서 답변 순서 변경을 일으키지는 못하므로 깔끔한 계산 전환에는 미치지 못합니다.

3. 방법론적 시사점

• 동일 답변 컨트롤 (Same-Answer Controls): 본 논문은 "동일 답변 컨트롤"이 매우 중요하지만 과소평가된 체크 항목임을 강조합니다. 이는 패치가 계산 선택 상태를 전이하는 것이 아니라 답변 문자열의 친숙함을 전이하여 모델의 출력을 변화시키는 사례를 드러냅니다.
• 역할 할당에는 전도가 필요함: 행동적 스크리닝(CSS)과 선형 디코더 가능성은 역할 할당을 위한 필요조건이지만 충분조건은 아닙니다. 오직 매칭된 컨트롤 하에서의 활성화 전도만이 전이 가능한 계산 선택 상태에 대한 증거를 제공합니다.

의의 및 주장

본 논문은 CSS가 실제적이고 압축적이며 종종 디코딩 가능한 헤드를 식별함에도 불구하고, 표준적인 증거 스택(필요성 + 디코더 가능성 + 가역성)이 "해석 가능성의 환상(interpretability illusions)"을 초래하기 쉽다는 것을 보여줌으로써, 기계론적 역할 주장에 대한 엄격한 스트레스 테스트를 제공한다고 주장합니다.

• 일반적인 가정의 반박: 저자들은 헤드가 전용 계산 선택 유닛("Intent")이라기보다 프롬프트 궤적 안정화 도구 또는 답변 측 로짓 바이어스 헤드로 기능하는 경우가 많음을 보여줍니다.
• 엄격함의 운영화: 이 논문은 개입 일반화 가능성 테스트를 통해 역할 할당을 게이팅(gating)함으로써, 검증 가능한 MI를 향한 경로를 운영화합니다. 만약 계산 선택 상태가 존재한다면, 그것은 드물거나 분산되어 있을 가능성이 높다고 제안합니다(현재 실험에서 CSS로 국소화된 헤드 중 모든 기준을 충족한 것은 없었기 때문).
• 미래 방향: 본 방법론은 계산 선택 상태를 찾는 데 있어 프롬프트 측 후보를 식별하기 위한 전체 궤적 역할 국소화와, 동일 답변 컨트롤 하에서의 활성화 전도가 필요함을 명확히 합니다. 만약 이러한 헤드가 발견되지 않는다면, 계산 선택 상태는 어텐션 구성 요소가 아닌 다른 곳(MLP, 잔차 스트림 등)에 있거나 여러 헤드에 분산되어 있을 수 있습니다.

결론적으로, 본 논문은 CSS가 실질적인 헤드를 식별할 수는 있지만, 필요성, 디코더 가능성, 가역성이 일반화 가능성과 분리된다는 점은 트랜스포머 구성 요소에 의미론적 역할을 부여할 때 더 신중한 접근이 필요함을 시사합니다.