기술 요약: GraphGhost: 대규모 언어 모델 이면의 구조 추적

문제 정의

대규모 언어 모델(LLM)은 구조적 추론 작업(예: 수학적 문제 해결, 논리적 추론)에서 강력한 능력을 보여주지만, 이러한 행동을 구동하는 내부 메커니즘에 대해서는 여전히 이해가 부족합니다. 기존의 해석 가능성 방법론은 주로 **토큰 수준의 기여도(token-level attributions)**에 집중하며, 이는 개별 예측을 특정 입력 토큰이나 활성화 값으로 역추적합니다. 이러한 방식은 국소적인 설명에는 유용하지만, 다단계 추론 과정과 모델 내의 전역적 정보 흐름을 포착하는 데는 한계가 있습니다. 결과적으로, 표현이 어떻게 구성되고, 병합되며, 추론 단계 전반에 걸쳐 어떻게 재사용되는지에 대한 통찰이 부족하여, 충실한 내부 메커니즘 이해와 인간이 해석 가능한 추론 논리 사이의 간극이 발생합니다.

방법론: GraphGhost

이러한 한계를 해결하기 위해, 저자들은 LLM의 내부 토큰 상호작용과 뉴런 활성화를 구조화된 그래프로 모델링하는 그래프 기반 프레임워크인 GraphGhost를 제안합니다. 이 프레임워크는 두 가지 상호 보완적인 관점에서 작동합니다.

1. 샘플 뷰 (Sample View, 인스턴스별)

이 관점은 특정 예측을 설명하기 위해 단일 입-출력 쌍 내의 내부 토큰 의존성을 추적합니다.

• 메커니즘: 최종 정답 토큰으로부터 시작하여, 회로 추적(circuit-tracing) 기술(특히 밀집된 MLP 활성화를 희소하고 해석 가능한 특징으로 분해하는 트랜스코더(transcoder) 활용)을 사용하여 모델의 내부 계산을 통해 역방향으로 반복적으로 확장합니다.
• 구성: 로컬 로짓 기반 기여도 그래프를 집계합니다. 노드는 기여하는 토큰(또는 트랜스코더 특징)을 나타내며, 유향 에지는 의존 관계를 나타냅니다.
• 출력: 의존성의 존재를 포착하는 가중치 없는 구조적 그래프($G_{sample}$)와, 이후의 집계를 위해 기여 강도를 누적하는 로컬 에지 가중치 맵($W_{local}$)을 생성합니다. 이는 중간 토큰들이 순차적 생성 과정에서 어떻게 병합되고 전파되는지를 드러냅니다.

2. 데이터셋 뷰 (Dataset View, 일반화된 패턴)

이 관점은 여러 샘플에 걸친 구조를 집계하여 훈련 과정에서 학습된 반복적이고 공유된 토큰 수준의 패턴을 식별합니다.

• 메커니즘: 데이터셋으로부터 추출된 샘플 레벨의 GraphGhost들을 집합 합집합(set union)을 통해 병합하여 통일된 그래프($G_{data}$)를 형성합니다.
• 집계: 반복되는 의존성의 빈도와 강도를 정량화하기 위해 샘 샘플 전반에 걸쳐 에지 가중치를 누적합니다. 데이터셋 수준에서의 상대적 에지 중요도를 결정하기 위해 행 확률 정규화(row-stochastic normalization)를 적용합니다.
• 출력: **재사용 가능한 추론 프리미티브(reasoning primitives)**와 작업 특화적 구조를 포착하는 그래프를 생성하며, 이를 통해 모델이 다양한 도메인(예: 수학적 추론 vs 논리적 추론)에 대해 어떻게 일반화하는지 보여줍니다.

그래프 분석 및 개입

프레임워크는 모델의 내부 상태를 특징짓기 위해 그래프 분석을 활용합니다.

• 의미론적 병합 (Semantic Merging): **노드의 인입 차수(in-degree)**를 통해 분석하며, 여러 소스의 정보가 수렴하는 토큰(예: "1"과 "0"을 결합하여 통일된 "10" 표현을 만드는 지점)을 식별합니다.
• 추론 트리거 (Reasoning Triggers): 역방향 에지에 대한 PageRank를 사용하여 추론 단계를 시작하는 영향력 있는 노드(예: "So" 또는 "Step"과 같은 토큰)를 찾습니다.
• 개입 (Intervention): 저자들은 특정 뉴런 노드(중요 토큰과 연관된 노드)를 무력화(muting)하는 표적 섭동을 수행하여, 추론 궤적과 출력에 발생하는 인과적 변화를 관찰합니다.

주요 기여

1. 통합 프레임워크: 고립된 토큰 기여도를 넘어, 샘플 및 데이터셋 수준 모두에서 내부 토큰 상호작용과 뉴런 활성화를 모델링하는 GraphGhost를 제안했습니다.
2. 구조적 통찰: 내부 그래프가 모델의 행동을 규정하는 구조적 제약 조건을 포착하며, 특히 정보의 구성과 전파를 형성한다는 점을 밝혀냈습니다.
3. 경험적 검증: 구조적으로 중요한 토큰 관련 뉴런 노드가 추론 궤적에 강력하게 영향을 미친다는 것을 정량적 실험을 통해 입증했습니다. 이러한 노드에 대한 개입은 언어 표현(예: 언어 전환)과 논리적 흐 흐름 모두에서 측정 가능한 변화를 초래합니다.

실험 결과

저자들은 세 가지 추론 도메인(수학: GSM8K, MAWPS; 논리: ProntoQA, BoolQA; 과학: ARC-Easy, QASC)에 걸쳐 여러 모델(Qwen3-0.6B, Qwen2.5-1.5B, Llama3.1-8B-Instruct, DeepSeek-distilled 변형)에 대해 GraphGhost를 평가했습니다.

• 구조적 특성: 그래프의 구조적 특성이 영향력 있는 토큰 및 뉴런 노드와 밀접하게 연관되어 있음이 발견되었습니다. 높은 인입 차수를 가진 노드(병합 지점)와 높은 PageRank를 가진 노드(트리거)가 구조적으로 중요한 것으로 식별되었습니다.
• 섭동 효과:
  • 의미론적 제어: 중간 레이어(Layer 20)에서 토큰 "the"와 연관된 뉴런 노드를 무력화하자 영어 의미 경로가 방해받아 모델이 중국어 텍스트(직접적인 번역문)를 생성하게 되었으며, 이는 해당 노드가 언어 유지에 역할을 수행함을 보여주었습니다.
  • 논리 변경: 높은 레이어(Layer 25)에서 토큰 "."과 연관된 뉴런 노드를 무력화하자 추론 흐름이 변경되었습니다. 새로운 트리거 토큰("So")이 도입되어, 이전에는 실패했던 논리적 결론을 도출하도록 유도했습니다.
• 일반화: 데이터셋 뷰를 통해 특정 토큰(예: ".", "the")은 보편적인 추론 프리미티브로서 여러 도메인에 걸쳐 공유되는 반면, 다른 토کن들은 도메인 특화적(예: GSM8K/MAWPS의 산술 토큰 vs ARC의 선택 토큰)이라는 점을 확인했습니다.

의의 및 주장

본 논문은 GraphGhost가 포착한 구조적 패턴이 LLM 추론의 유의미한 내부 조직을 반영한다고 주장합니다. 추론을 토큰 의존성의 그래프로 공식화함으로써, 이 프레임워크는 LLM의 지능의 근원을 이해하는 원칙적인 방법을 제공합니다. 결과는 다음을 시사합니다:

• 추론은 단순히 고립된 토큰 예측의 연속이 아니라, 구조화된 상호작용과 전역적 정보 흐름에 의해 구동됩니다.
• 내부 그래프 구조는 개별 토큰이 추론 결과에 미치는 영향을 근본적으로 결정합니다.
• 충실한 해석 가능성은 내부 추론 메커니즘을 인간이 해석 가능한 논리와 일치시키는 것을 필요로 하며, GraphGhost는 중간 토큰이 어떻게 병합되고 재사용되는지의 "기계적" 과정을 노출함으로써 이를 가능하게 합니다.

저자들은 GraphGhost가 LLM의 행동을 지배하는 전역적 구조적 제약과 국소적 토큰 설명을 연결하는 강력한 기계적 분석 방법을 제공한다고 결론짓습니다.