Automated Attribution Graph Interpretation via Probe Prompting

기술 요약: 프로브 프롬프팅(Probe Prompting)을 통한 속성 그래프의 자동 해석

문제 정의
대규모 언어 모델(LLM)에서 입력에서 출력으로 이어지는 계산 경로는 이론적으로는 알려져 있으나, 그 계산의 밀도가 너무 높아 인간이 해석하기에는 불투명합니다. 희소 오토인코더(SAE) 및 교차 레이어 트랜스코더(CLT)와 같은 기존의 기계론적 해석 방법은 조밀한 모델 활성화를 희소한 특징(feature)들로 성공적으로 분해합니다. 그러나 결과로 생성된 속성 그래프(attribution graphs)는 수동 분석을 하기에는 여전히 너무 거대합니다. 단 하나의 짧은 사실적 프롬프트만으로도 600~5,000개의 노드를 가진 그래프가 생성될 수 있습니다. 코퍼스 활성화를 기반으로 LLM 점수를 매기는 기존의 자동 해석 기술들은 인과적 검증이나 회로 수준의 상호작용 통찰력을 제공하지 못합니다. 따라서 수동적인 추적 없이도 개별 사례 연구에서 대규모 회로 목록까지 확장 가능한, 행동에 기반한 자동화된 그룹화 방법이 절실히 필요합니다.

방법론: 프로브 프롬프팅(Probe Prompting)
본 논문은 복잡한 속성 그래프를 개념에 부합하는 압축된 "슈퍼노드(supernodes)" 세트로 변환하기 위해 설계된 투명하고 규칙 기반인 파이프라인인 프로브 프롬프팅을 소개합니다. 이 방법론은 네 가지 뚜렷한 단계로 진행됩니다:

1. 속성 그래프 생성: Neuronpedia와 CLT 딕셔너리를 사용하여 시드 프롬프트(예: "The capital of the state containing Dallas is")에 대한 속성 그래프를 생성합니다.
2. 프로브 프롬프트 생성: 각 시드에 대해, LLM은 개념 타겟팅 프로브 프롬프트의 작은 집합을 생성합니다. 이 프로브들은 시드의 구문 구조(전치사, 답변 위치)를 유지하면서 내용 엔티티(entity)만을 변경합니다.
3. 교차 프롬프트 활성화 시그니처(CPAS): 시스템은 프로브 세트에 걸친 특징 활성화를 측정합니다. 단일 프롬프트의 피크(peak)에 의존하는 대신(이는 모호할 수 있음), 시드와 상대적인 피크 일관성, 희소성, 코사인 유사도와 같은 지표를 집계합니다. 이 집계 과정을 통해 각 특징에 대한 CPAS가 형성됩니다.
4. 규칙 기반 슈퍼노드 형성: 결정 트리(decision tree)를 사용하여 CPAS 지표를 다음 네 가지 기능적 역할 중 하나로 매핑합니다:
   • Semantic-Dictionary (SEM-DICT): 단일 의미론적 토큰(예: "Texas")에서 일관되게 피크를 보이는 특징.
   • Semantic-Concept (SEM-CONC): 관련 토큰의 가족(family)에서 피크를 보이는 특징(예: 예술가 이름).
   • Relationship (REL): 엔티티보다는 관계를 인코딩하는 확산된 활성화 패턴을 가진 특징.
   • Say-X (SAY-X): 의미론적 타겟에 상대적으로 예측 가능한 위치에서 기능적 토큰(예: "is", "the")에서 피크를 보이며, 효과적으로 출력을 촉진하는 특징.
     동일한 역할과 이름을 공유하는 특징들은 하나의 슈퍼노드로 병합됩니다.

인과적 검증 프로토콜
이러한 슈퍼노드의 유용성을 검증하기 위해, 저자들은 엔티티 스왑(entity-swap) 실험을 포함하는 인과적 개입 프로토콜을 채택합니다. 소스-타겟 쌍(예: Dallas $\to$ Austin)에 대해, 시스템은 소스와 관련된 특징을 제거(ablate)하고 타겟과 관련된 특징을 증폭(amplify)합니다. 성공 여부는 모델의 예측이 타겟 엔티티로 재지향되는지에 따라 측정됩니다.

결정적으로, 본 논문은 결과가 특징의 개수나 그래프의 영향력에 의한 인위적인 결과가 아님을 보장하기 위해 두 가지 엄격한 베이스라인을 도입합니다:

• Matched-Random Control: 레이블링된 세트 외부에서 추출되었으며, 동일한 개수와 레이어 분포를 가진 무작위 특징 세트입니다.
• Influence-Matched Top-K Control: 레이블링된 개입의 누적 영향력 예산과 일치하도록 그래프 영향력이 높은 상위 $K$개의 특징을 선택한 베이스라인입니다.

주요 결과
본 방법론은 Gemma-2-2B 모델과 공개 CLT 딕셔너리를 사용하여 네 가지 사실적 도메인(미국 주 수도, 도서 등장인물, 기업 창립자, 회화 화가)에 걸쳐 평가되었으며, 총 44,596회의 개입 실행을 수행했습니다.

• 베이스라인 대비 우월성: 레이블링된 슈퍼노드들은 무작위 및 영향력 매칭 베이스라인보다 현저히 우수한 성능을 보였습니다. 미국 도메인의 경우, 레이블링된 접근 방식은 72.8%의 Hit%(성공적인 재지향)를 달려낸 반면, 매칭-무작위(matched-random)는 0.7%, 영향력 매칭 Top-K 베이스라인은 **4.2%**를 기록했습니다.
• 인간 주석과의 효율성 비교: Dallas/Austin 프롬프트에 대한 인간 큐레이션 그래프와 자동화된 파이프라인을 비교한 사례 연구에서, 자동화된 방법은 (40/49 소스 vs. 인간의 38/49)와 유사한 성공률을 보였으나, 더 많은 특징 세트(호출당 96.5개 특징 vs. 4개 특징)를 필요로 했습니다. 그러나 자동화된 방법은 인간 큐레이션이 특정 소스 주에 대해 놓친 재지향 경로를 성공적으로 식별함으로써 비중복성을 입증했습니다.
• 필드 가산성(Field Additivity): 연구 결과 "적을수록 좋다(less is more)"는 것이 밝혀졌습니다. 중간 및 답변 필드(예: 주와 수도)에 집중된 개입이 입력 필드(예: 도시)를 포함하는 것보다 훨씬 효과적이었습니다. 입력 필드는 모델이 생성해야 할 것이 아니라 모델이 읽는 것을 인코딩하는 경우가 많기 때문입니다.
• 조정 강도(Steering Strength): 최적의 증폭 승수($M$)는 바이모달(bimodal) 형태(약 $M \approx 2.4$와 $M \approx 6.9$에서 피크)로 나타났으며, 이는 단일 특징 조종(steering)에 사용되는 표준 $M=20$ 설정에 도전하는 결과입니다.

의의 및 주장
본 논문은 프로브 프롬프팅이 투명한 규칙 기반 파이프라인을 통해 회로 수준의 해석 가능성을 부분적으로 자동화할 수 있음을 보여준다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 회로 그룹화의 자동화: 수천 개의 특징을 수동 개입 없이 개념에 부합하는 슈퍼노드로 그룹화하는 확장 가능한 방법을 제공합니다.
2. 인과적 검증 프레임워크: 매칭-무작리 및 영향력 매칭 컨트롤을 통해 그룹화 품질을 평가하는 견고하고 방법론에 구애받지 않는 하네스를 구축하여, 해석 점수가 무작위 초기화된 모델에 의해 달성될 수 있다는 비판에 대응합니다.
3. 운영적 유용성: 생성된 레이블은 단순히 기술적인 것에 그치지 않고, 엔티티 스왑을 수행하는 데 운영적으로 유용하며, 이는 특징들이 실제 계산 그래프 내에서의 행동에 따라 올바르게 클러스터링되었는지 확인하는 신속한 테스트 역할을 합니다.

저자들은 자신들의 주장이 현재 인과적 추상화의 레벨 1과 2(특징 식별 및 기능적 역할 식별)를 다루고 있으며, 아직 레벨 3(잠재 변수의 완전한 기계론적 식별)을 주장하는 것은 아니라고 겸허히 밝힙니다. 또한 현재 두 단계(two-hop) 사실 회상에 국한되어 있다는 점, 그래프 생성 중에는 어텐션이 고정되지만 개입 중에는 그렇지 않다는 점, 그리고 영어 기능 토큰 어휘에 의존한다는 점 등의 한계를 인정합니다. 본 연구는 향후 그룹화 방법들을 교정하기 위한 재사용 가능한 하네스로 제시됩니다.