[기술 요약] Circuit Fingerprints: 답변 토큰이 기하학적 경로를 인코딩하는 방식

1. 문제 정의 (Problem Statement)

기계론적 해석 가능성(Mechanistic Interpretability) 연구에는 크게 두 가지 흐름이 존재해 왔습니다:

1. 회로 발견(Circuit Discovery): 특정 계산을 담당하는 뉴럴 네트워크의 하위 구성 요소(Attention heads, MLP 등)를 찾는 과정 (주로 인과적 개입이나 그래디언트 기반 방식 사용).
2. 활성화 스티어링(Activation Steering): 학습된 방향(direction)을 활성화 값에 더해 모델의 행동을 제어하는 과정.

기존 연구들은 이 두 분야를 별개의 문제로 다루어 왔으나, 본 논문은 **"이 두 가지가 사실 동일한 기하학적 구조를 바라보는 두 가지 관점(읽기와 쓰기)이 아닌가?"**라는 근본적인 질문을 던집니다.

2. 핵심 가설: 회로 지문 가설 (Circuit Fingerprint Hypothesis)

저자들은 **"답변 토큰(Answer tokens)은 단순히 의미적 내용뿐만 아니라, 그 토큰을 생성하기 위해 거쳐온 계산 경로(computational pathways)를 기하학적 방향으로 인코딩하고 있다"**는 가설을 제안합니다. 즉, 특정 답변(예: "Paris")의 표현(representation) 자체에 그 답변을 만들어내기 위해 작동했던 회로의 '지문(Fingerprint)'이 새겨져 있다는 것입니다.

3. 방법론 (Methodology)

본 논문은 이 가설을 검증하기 위해 **'읽기(Reading)'**와 **'쓰기(Writing)'**라는 두 가지 연산으로 접근합니다.

A. 읽기: 기하학적 귀속 (Geometric Attribution - 회로 발견)

그래디언트 계산이나 복잡한 인과적 개입 없이, 기하학적 정렬(Alignment)만으로 회로를 찾아냅니다.

1. 타겟 방향 추출 ($\Delta r$): 정답 토큰($a^+$)과 오답 토큰($a^-$)을 모델에 개별적으로 통과시켜, 마지막 레이어에서의 활성화 차이를 계산합니다. 이 차이가 곧 두 답변을 구분 짓는 기하학적 방향이 됩니다.
2. 구성 요소 기여도 측정 ($S_c$): 각 컴포넌트(Head, MLP)의 출력을 해당 타겟 방향의 '네이티브 공간(Native space)'으로 변환하여 투영(Projection)한 뒤, 정렬 정도를 측정합니다.
3. 에지 수준의 발견 (Edge-level Discovery): 컴포넌트 간의 정보 흐름을 파악하기 위해 **Shapley Value(샤플리 값)**를 도입합니다. Attention Head의 세 가지 채널(Query, Key, Value)이 전체 중요도에 기여하는 비중을 게임 이론적으로 분해하여, 어떤 컴포넌트가 다른 컴포넌트로 정보를 전달하는지 정밀하게 추적합니다.

B. 쓰기: 기하학적 스티어링 (Geometric Steering - 행동 제어)

발견된 방향을 역으로 이용하여 모델의 행동을 제어합니다.

1. 개입 공간 구축: 답변 토큰들의 표현을 사용하여 SVD(특이값 분해)를 통해 직교 기저(Orthonormal basis)를 만듭니다.
2. 스티어링 적용: 특정 감정이나 스타일을 나타내는 방향($d_s, d_t$)을 추출한 뒤, 모델의 활성화 값에 이 차이를 더해줌으로써 모델이 특정 스타일(예: 기쁨, 분노)로 답변하도록 유도합니다.

4. 주요 기여 및 결과 (Key Contributions & Results)

① 회로 발견 성능 (Circuit Tracing)

• 결과: 제안된 'Circuit Fingerprint(CF)' 방식은 그래디언트 기반의 최신 방법론인 EAP-IG-inputs와 대등한 성능을 보였습니다.
• 의의: 역전파(Backpropagation)나 복잡한 인과적 패칭 없이도, 오직 기하학적 정렬만으로 정확한 회로 구조(IOI, SVA, MCQA 태스크 등)를 복구할 수 있음을 증명했습니다.

② 스티어링의 유효성 (Steering Validation)

• 결과: 감정 스티어링 실험에서, 기존의 **지시문 프롬프팅(Instruction Prompting, 53.1%)보다 훨씬 높은 감정 분류 정확도(69.8%)**를 달성했습니다.
• 의의: '읽기(회로 발견)'에 사용된 방향이 '쓰기(제어)'에도 그대로 적용된다는 **'Read-Write Duality(읽기-쓰기 이중성)'**를 입증했습니다.

③ 프롬프트 엔지니어링을 통한 페르소나 회로 발견

• 결과: "Answer with joy"와 같은 지시문(Instruction)을 활용해 별도의 데이터셋 없이도 특정 감정이나 스타일을 담당하는 헤드(Head)들을 찾아낼 수 있었습니다.

5. 결론 및 의의 (Significance)

1. 이론적 통합: 해석 가능성(Interpretability)과 제어 가능성(Controllability)이 별개의 기술이 아니라, 트랜스포머의 활성화 공간에 내재된 동일한 기하학적 구조의 두 면모임을 밝혀냈습니다.
2. 실용적 도구: 그래디언트 계산이 필요 없는 효율적인 회로 발견 방법을 제시하였으며, 프롬프트보다 더 정밀하고 강력한 모델 제어 수단을 제공합니다.
3. 구조적 통찰: 트랜스포머의 회로가 동적으로 생성되는 것이 아니라, 모델의 가중치에 의해 결정된 안정적인 기하학적 구조로서 존재하며, 이것이 토큰의 표현 속에 '지문'처럼 남겨져 있다는 심오한 통찰을 제공합니다.