기술 요약: LLM은 기여 그래프(Attribution Graphs)를 주석 달 수 있다

문제 정의

기계론적 해석 가능성(Mechanistic interpretability)은 언어 모델의 내부 계산 그래프를 밝혀내는 기술인 회로 추적(circuit tracing)을 발전시켜 왔다. 이러한 기술은 개별 모델 구성 요소(예: MLP 뉴런 또는 희소 오토인코더(SAE) 피처)를 나타내는 **기여 그래프(attribution graphs)**를 생성한다. 이러한 노드들은 그 노드를 활성화하는 상위 텍스트 예시들을 통해 해석될 수 있지만, 현재 과정에는 개별 피처들을 "슈퍼노드"(유사한 개념에 대응하는 뉴런 또는 피처의 집합)로 그룹화하는 노동 집약적인 수동 단계가 필요하다. 단 하나의 기여 그래프를 완전히 주석 다는 데에도 1~2시간의 연구자 시간이 소요되어, 이는 해석 가능성 연구의 병목 현상을 야기한다. 클러스터링 기여 프로파일이나 프로브 프롬프트(probe prompts)를 사용하는 기존의 자동화 시도들은 아직 개방형 탐색을 위한 일반적이고 저비용인 해결책을 제공하지 못했다.

방법론

저자들은 슈퍼노드 그룹화 단계에서 인간 주석가를 대체하기 위해 대규모 언어 모델(LLM)을 사용하는 간단하고 자동화된 파이프라인을 제시한다. 이 파이클라인은 세 단계로 작동한다:

1. 피처 설명 생성: 가지치기(pruned)된 기여 그래프의 각 피처에 대해 시스템은 자연어 설명을 생성한다. 이는 표준 "autointerp" 프로토콜을 따른다: LLM에 피처의 상위 활성화 텍ست 예시(Neuronpedia로부터 추출)와 해당 피처가 촉진하거나 억제하는 토큰에 대한 로짓(logit) 정보를 입력한다. LLM은 간결한 레이블과 짧은 설명(예: "say capital" 또는 "Texas (state)")을 출력한다.
2. 슈퍼노드 그룹화: 파이프라인은 두 번째 LLM(구체적으로 GPT-5 mini)을 사용하여 세 단계 과정을 통해 이 설명들을 슈퍼노드로 그룹화한다:
   • 발견(Discovery): LLM은 영향력이 가장 큰 50개의 피처를 전달받아 의미 있는 의미론적 그룹을 식별하고 이름을 붙이도록 요청받는다.
   • 반복 할당(Iterative Assignment): 나머지 피처들은 50개씩 배치(batch)로 처리된다. LLM은 각 피처를 기존 그룹에 할당하거나, 개념이 독특하고 관련이 있는 경우 새 그룹을 생성하거나, 그룹화되지 않은 상태로 남겨둔다.
   • 정제(Refinement): 마지막 패스에서는 엄격한 휴리스틱(예: "say X" 촉진 피처와 "X 자체" 개념 피처의 분리, 문법적 토큰 방지)을 바탕으로 무관한 그룹을 제거하고, 동일한 그룹을 병합하며, 잘못 배치된 피처를 재할당한다.
3. 비용 및 규모: 이 파이프라인은 저비용이며, 심하게 가지치기된 그래프(80개 노드)의 경우 약 36센트, 밀도가 높은 그래프(~585개 노드)의 경우 61센트 정도의 비용이 든다.

주요 기여

1. 자동화된 파이클라인: LLM을 사용하여 기여 그래프를 주석 다는 간단하고 저비용인 방법을 제시하여, 수동 슈퍼노드 그룹화의 필요성을 제거했다.
2. 해석 가능성 검증: 이 파이프라인에 의해 생성된 슈퍼노드가 자동화된 지표에 따라 인간 전문가가 만든 것만큼 해석 가능하다는 것을 입증했다.
3. 2-홉(2-hop) 작업에서의 높은 회복력: 잘 알려진 "Capitals" 2-홉 작업에 적용했을 때, 파이프라인은 100개의 프롬프트 중 97개에서 중간 홉 슈퍼노드(예: "The capital of the state containing Dallas is"라는 쿼리에서 "Texas"를 식별)를 성공적으로 찾아냈다.
4. 개방형 탐색을 위한 개념 증명: 1,000개의 위키피디아 프롬프트 완성을 주석 달기 위해 파이프라인을 확장 적용하였으며, LLM 판사(judge)를 사용하여 흥미롭거나 놀라운 내부 동작(예: 숨겨진 계획 또는 병렬적인 경쟁 가설)을 보이는 그래프를 필터링했다.

결과

논문은 두 가지 자동화된 해석 가능성 지표를 사용하여 인간 주석 기반선(baseline) 및 무작위 그룹화와 파이프라인을 비교 평가한다:

• 피처 탐지 점수(Feature Detection Score): 특정 슈퍼노드의 설명을 보고 어떤 피처가 해당 슈퍼노드에 속하는지 LLM이 식별할 수 있는가?
• 텍스트 탐지 점수(Text Detection Score): 슈퍼노드의 설명을 보고 어떤 텍스트 샘플이 해당 슈퍼노드를 활성화하는지 LLM이 식별할 수 있는가?

정량적 결과:

• 15개의 참조 그래프에 대해, 자동화 파이프라인(전체 피처 세트 사용)은 93.4%의 피처 탐지 점수와 83.2%의 텍스트 탐지 점수를 기록하여, 인간 주석 기반선(각각 66.6% 및 81.8%)을 약간 상회했다.
• 파이클라인의 성능은 다양한 그룹 크기와 정제 단계에 걸쳐 견고하게 유지되었다.
• Capitals 작업에서 파이프라인은 100건 중 97건의 경우에서 중간 홉 슈퍼노드를 회복했다. 인과적 개입(제약된 패칭, constrained patching)을 통해 이러한 슈퍼노드를 억제하면 정답 확률이 감소하고, 증폭하면 정답 확률이 증가함을 확인했다.
• 일반화: 트랜스코더(transcoder) 피처가 아닌 가공되지 않은 MLP 뉴런에 적용했을 때, 파이프라인은 더 적은 수의 피처를 그룹화했다(트랜스코더의 60.2% 대비 21.6%). 이는 MLP 뉴런이 개념적으로 덜 깔끔하게 분리됨을 시사하지만, 파이프라인은 여전히 작동했다.

정성적 결과:

• 파이프라인은 병렬적인 경쟁 가설(예: 여러 아카데미 시상식 카테고리가 동시에 활성화됨) 및 숨겨진 중간 개념(예: 고속도로에 관한 프롬프트에서 강 관련 피처가 활성화되어 내부적인 계획을 드러냄)과 같은 복잡한 구조를 성공적으로 식별했다.
• 한계점: 산술 작업에서 파이프라인은 너무 거친(coarse) 슈퍼노드(예: "DIGIT TOKENS" 또는 "NUMERIC CONTEXT")를 생성하여, 크기 추정(magnitude estimation) 대 정확한 조회(exact lookup)와 같은 알려진 미세한 메커니즘을 드러내지 못했다. 이는 그룹화가 내부적으로는 일관될지라도, 추가적인 정제 없이는 심층적인 기계적 구조를 항상 포착하지는 못할 수 있음을 시사한다.

의의 및 주장

저자들은 이 연구가 단순한 자동화가 유의미한 기여 그래프 주석을 생성할 수 있음을 보여주며, 이는 해석 가능성의 주요 노동 병목 현상을 효과적으로 제거한다고 주장한다.

이 논문은 이러한 자동화가 다음과 같은 것을 가능하게 한다고 주장한다:

• 확장성(Scalability): 단일 그래프 주석 달기에서 수천 개의 그래프 탐색으로 이동하여, 흥미로운 모델 동작에 대한 비지도 탐색을 용이하게 한다.
• 가설 생성(Hypothesis Generation): 인간의 추가 조사를 위해 잠재적인 회로(예: 계획 또는 멀티 홉 추론)를 표면화하는 도구 역할을 한다.
• 접근성(Accessibility): 모델 내부를 해석하는 데 드는 비용과 시간을 낮추어, 해석 가능성 분야 전반을 가속화할 수 있다.

저자들은 현재의 파이프라인이 (공간 정보, 기여 흐름 및 역방향 탐색 전략을 무시하는 등) 단순화된 형태이며, 인간의 해석은 현재 파이프라인이 사용하는 것보다 더 많은 맥락에 의존한다는 점을 인정하며 겸허한 태도를 유지하고 있다. 그러나 그들은 "낮게 매달린 과일(low-hanging fruit)", 즉 주석 단계를 자동화하는 것이 자동화된 회로 추적에 대한 후속 연구를 촉진할 만큼 충분히 중요하다는 입장이다.