Domain-Filtered Knowledge Graphs from Sparse Autoencoder Features

"Domain-Filtered Knowledge Graphs from Sparse Autoencoder Features" 프리랜트의 상세 기술 요약입니다.

1. 문제 제기

희소 오토인코더 (SAE) 는 불투명한 뉴런을 넘어 단의미적 특징으로 이동하며 대규모 언어 모델 (LLM) 에서 수백만 개의 해석 가능한 특징을 추출할 수 있게 했습니다. 그러나 현재 SAE 인벤토리는 해석 가능성에 다음과 같은 중대한 과제를 제시합니다.

• 평탄한 인벤토리: 특징들이 종종 비구조화된 목록으로 제시되어 특징 간의 관계를 이해하기 어렵습니다.
• 노이즈와 일반성: 인벤토리에는 도메인별 개념, 일반적인 포맷팅/구두점 특징, 그리고 약하게 근거된 패턴이 혼재되어 있습니다.
• 산재된 개념: 의미적으로 관련된 아이디어는 종종 국소화되지 않고 많은 인접한 특징들에 분산되어 있습니다.
• 구조 부재: 코퍼스 전체에서 개념이 어떻게 군집화되고, 분리되며, 주제를 연결하는지, 그리고 국소 계산 중 모델의 계층을 통해 어떻게 흐르는지 이해할 수 있는 고유한 메커니즘이 없습니다.

핵심 문제는 평탄하고 노이즈가 많은 SAE 인벤토리를 글로벌 조직 구조와 국소 기계적 경로를 모두 드러내는 구조화된 도메인별 내부 지식 그래프로 변환하는 것입니다.

2. 방법론

저자들은 원시 SAE 인벤토리에서 엄격한 개념 우주 (strict concept universe) 로 이동하는 파이프라인을 제안하며, 이를 정렬된 두 가지 그래프 뷰인 **공발생 그래프 (Co-occurrence Graph, 코퍼스 수준)**와 **트랜스코더 메커니즘 그래프 (Transcoder Mechanism Graph, 국소 수준)**로 조직화합니다.

A. 엄격한 개념 우주 구축 (필터링)

그래프 구축 전에 저자들은 원시 인벤토리 ($V$) 에서 관련 도메인별 영역 ($V^*$) 을 격리하기 위해 다단계 필터링 프로세스를 적용합니다.

1. 대조적 단축 (Contrastive Shortlisting): 목표 코퍼스 (예: 생물학 교과서) 를 대조 코퍼스 (예: 역사/지질학) 와 비교하여 세 가지 축을 기반으로 특징에 점수를 매깁니다.
   • 지지 (Support): 특징이 목표 코퍼스에서 의미 있게 존재하는가?
   • 풍요화 (Enrichment): 특징이 대조 코퍼스보다 목표 코퍼스에 더 특징적인가?
   • 국소화 (Localization): 특징이 여기저기 퍼지는 대신 일관된 장/부장에 집중되는가?
2. 패킷 수준 심의 (Packet-Level Adjudication): 살아남은 특징들은 설명, 대표적 윈도우, 대조 데이터를 포함하는 "증거 패킷"으로 패키징됩니다. 단계적 심의자는 개념이 가시적인지, 목표 도메인에 속하는지, 그리고 대조 코퍼스 대비 독특한지 여부를 검증합니다.
3. 결과: 고신뢰도, 도메인 관련 특징만 포함하는 엄격한 우주 $V^*$가 생성됩니다.

B. 그래프 구축

두 가지 보완적인 그래프 뷰가 $V^*$ 위에 구축됩니다.

1. 다중 입자 공발생 그래프 (코퍼스 구조):

   • 목표: 개념이 전체 코퍼스를 통해 주제를 어떻게 군집화하고 연결하는지 드러냅니다.
   • 메커니즘: 활성화 임계값을 기반으로 문장 내 특징의 존재 여부를 점수화합니다. 이 존재 여부는 결정론적으로 단락, 부장, 장으로 승격됩니다.
   • 엣지: 특징 간의 자카드 정규화 공발생 횟수 ($J_{ab}$) 를 사용하여 구축됩니다. 이는 다양한 규모에서 어떤 개념들이 함께 반복되는지 보여주는 동일 계층 그래프를 생성합니다.

2. 트랜스코더 메커니즘 그래프 (국소 계층 간 흐름):

   • 목표: 특정 입력에서 소스 계층 개념이 타겟 계층 개념으로 어떻게 변환되는지 설명합니다.
   • 메커니즘: 계층 $L$의 잔여 스트림을 계층 $L+1$로 매핑하도록 훈련된 트랜스코더(희소 오토인코더) 와 두 계층의 SAE 사전 (dictionary) 을 함께 사용합니다.
   • 엣지: 방향성 엣지는 소스 특징이 희소 잠재 변수를 활성화하고, 이것이 다시 타겟 특징에 기록되는 가독성 있는 경로를 나타냅니다.
   • 정적 vs 동적:
     • 정적: 요약 통계에 기반한 가능한 경로의 라이브러리.
     • 동적: 특정 입력에 대해 실제로 활성화된 경로를 보여주는 문장 조건부 그래프.

C. 계층 인식 압축 및 엣지 라벨링

• 추상화 계층: 밀도를 처리하기 위해 특징 설명에 대한 상호-kNN 클러스터링을 사용하여 특징들을 의미적 트리 (추상화 트리) 로 조직화합니다.
• 압축: 일관된 서브트리를 "슈퍼노드"로 축소하여 밀집된 국소 메커니즘 그래프를 압축하되, 충실도를 유지하기 위해 중요한 활성 엣지 (차단 엣지) 는 보존합니다.
• 엣지 라벨링 (자동 연관): 라벨이 없는 가중치 엣지 대신, 시스템이 읽을 수 있는 관계 구문을 생성합니다.
  • 공발생 엣지: 공동 및 대조적 증거 문장을 사용하여 라벨링합니다 (예: 일반적인 "노란색"과 "옐로스톤"을 구분).
  • 메커니즘 엣지: 변환을 설명하기 위해 가장 강력한 문장 수준 증거와 잠재 힌트를 사용하여 라벨링합니다 (예: "소스 개념은 잠재 변수 X 를 통해 타겟 개념을 지지함").

3. 주요 기여

1. 다단계 대조 필터링: 거대한 SAE 인벤토리에서 일반적 노이즈를 제거하고 엄격한 도메인별 개념 우주를 추출하는 새로운 프로세스.
2. 이중 뷰 지식 그래프: 정렬된 두 그래프의 구축:
   • 글로벌, 다중 입자 코퍼스 구조를 위한 공발생 그래프.
   • 국소, 방향성 계층 간 개념 흐름을 위한 트랜스코더 메커니즘 그래프.
3. 계층적 압축: 의미적 계층을 사용하여 밀집된 메커니즘 그래프를 읽을 수 있는 "메커니즘 아틀라스"로 압축하는 방법. 세부 정보와 가독성 사이의 균형을 맞춥니다.
4. 증거 기반 엣지 의미: 통계적 엣지를 읽을 수 있고 증거로 뒷받침되는 지식 그래프 관계로 변환하는 자동 라벨링 시스템.

4. 결과

이 프레임워크는 Gemma Scope SAE(계층 20-21) 를 사용하여 생물학 교과서 코퍼스에서 평가되었습니다.

• 구조 복구: 그래프는 교과서의 인간 작성 조직을 성공적으로 복구했습니다.
  • 글로벌 규모: 공유 좌표에서 서로 다른 장 (예: 유전 대 생명공학) 에 대해 명확한 활성화 "분지 (basins)"가 관찰되었습니다.
  • 국소 규모: 장 분지 내에서 더 세밀한 부장 구조가 보존되었습니다.
  • 지표: 정량적 분석은 그래프 분할과 교과서 장/부장 간의 높은 정렬을 보여주었으며, 문장과 단락 집계는 가장 강력한 구조 복구를 제공했습니다.
• 가독성: 파이프라인은 확산된 문장 수준의 활동 (수천 개의 특징) 을 컴팩트하고 읽을 수 있는 메커니즘 아틀라스로 성공적으로 변환했습니다.
• 연결 개념: 그래프는 평탄한 목록에서 종종 놓치는 인접 주제를 연결하는 개념들을 드러냈습니다.
• 메커니즘 설명: 트랜스코더 그래프는 특정 개념 (예: "호흡계") 이 계층을 통해 어떻게 처리되고 변환되는지에 대한 방향성 있고 해석 가능한 뷰를 제공하며, 엣지는 자연어 관계로 라벨링되었습니다.

5. 의의

이 연구는 기계적 해석 가능성의 패러다임 전환을 나타냅니다.

• 인벤토리에서 지도로: SAE 특징을 모델이 "무엇을 알고 있는지"에 대한 평탄한 목록이 아니라, 모델이 "그 지식을 어떻게 조직화하고 사용하는지"를 나타내는 내부 지식 그래프로 재정의합니다.
• 충실도 감사: 구조화되고 증거로 뒷받침되는 내부 지도를 생성함으로써, 모델이 생성한 추론 (Chain-of-Thought) 이 내부 활성화 구조를 충실히 반영하는지 여부에 대한 향후 감사를 가능하게 합니다.
• 확장성: 이 접근법은 수백만 개의 특징이 있더라도 모든 특징을 수동으로 큐레이션하지 않고도 일관된 도메인별 모델 내부 뷰를 구축할 수 있음을 보여줍니다.
• 상호작용적 탐색: 저자들은 학습된 그래프 구조를 탐색하고, 연결 영역을 추적하며, 문장 수준의 메커니즘을 동적으로 검사할 수 있도록 연구자들을 위한 상호작용 브라우저 아티팩트를 제공합니다.

요약하자면, 이 논문은 원시 고차원 SAE 활성화를 모델 지식의 글로벌 위상과 추론의 국소 역학을 모두 포착하는 구조화된 인간 가독성 지식 그래프로 변환하는 강력한 프레임워크를 제공합니다.