기술적 요약: 신념인가 회로인가? 문맥 내 그래프 학습에 대한 인과적 증거

1. 문제 제기

이 논문은 대규모 언어 모델 (LLM) 이 문맥 내 학습 (ICL) 을 수행하는 방식에 관한 기계적 해석 가능성 분야의 근본적인 논쟁을 다룹니다. 구체적으로, LLM 이 세계 모델에 대한 베이지안 추론과 유사한 '신념' 메커니즘을 통해 잠재적 구조적 관계를 추론하는지, 아니면 유추 회로를 통해 최근의 국소적 전이를 단순히 복사하는지 ('회로' 메커니즘) 를 조사합니다.

최근 연구 (Park et al., 2025) 는 LLM 이 그래프 구조에 대한 암묵적 확률적 세계 모델을 유지한다고 제안한 반면, 반론 (Arditi, 2026; Ransome, 2026) 은 관찰된 행동이 전역 구조 추론 없이 국소적 유추 헤드가 전이 통계를 누적함으로써 완전히 설명될 수 있다고 주장합니다. 저자들은 경쟁하는 그래프 구조에서의 무작위 보행 (random walks) 을 포함하는 통제된 토이 작업을 사용하여 이 논쟁을 삼각측량하고자 합니다.

2. 방법론

본 연구는 행동 모델링, 표현 분석, 그리고 Llama-3.1-8B 모델에 대한 인과적 개입을 결합한 다면적 접근법을 사용합니다.

2.1. 작업 설계

저자들은 알려지지 않은 그래프에서 생성된 시퀀스의 다음 노드를 예측하는 그래프 무작위 보행 작업을 활용합니다. 두 가지 경쟁 가설을 검증합니다:

• $H_{grid}$: $4\times4$ 격자 그래프 (16 개 노드, 24 개 엣지, 가변 차수).
• $H_{ring}$: 16 개 노드 링 그래프 (16 개 엣지, 균일 차수).

진정한 경쟁을 만들기 위해 저자들은 링에서 추출될 확률을 나타내는 $\rho$로 제어된 혼합 비율에서 두 그래프의 무작위 보행을 교차 배치합니다.

2.2. 행동 모델링 (실험 1)

저자들은 관찰된 정확도 곡선에 신념 역학 모델을 적합시킵니다. 이전의 평탄한 로그 사전 접근법과 달리, 그들은 복잡도 가중 사전을 도입합니다:
$$b_k = b_0 - \lambda \cdot C(H_k)$$
여기서 $C(H_k)$는 그래프 가설의 최소 설명 길이 (MDL) 복잡도 (엣지 목록 인코딩 기반) 입니다.

• 가설: 모델이 구조적 추론을 수행한다면, 더 복잡한 그래프 ($H_{grid}$) 에 확신하기 위해 더 많은 증거가 필요해야 하므로 $\hat{\lambda} > 0$이 되어야 합니다.
• 대조: 순수한 유추 회로는 전역 토폴로지와 관계없이 전이 통계를 균일하게 누적하므로 $\hat{\lambda} \approx 0$을 예측합니다.

2.3. 표현 분석 (실험 2)

저자들은 주성분 분석 (PCA) 을 사용하여 잔류 스트림 활성화 (특히 26 층) 를 분석합니다.

• 지표: 노드 토큰 표현의 저차원 기하학이 실제 그래프 인접 구조와 얼마나 잘 정렬되는지를 정량화하기 위해 차수 정규화 디리클레 에너지($E_{norm}$) 를 측정합니다.
• 목표: 중간 혼합 비율에서 두 그래프 토폴로지가 직교 부분 공간에서 동시에 복원 가능한지, 즉 국소적 복사에서 비롯된 단일 혼합 표현과는 일관되지 않는 특징을 확인하는 것입니다.

2.4. 인과적 개입 (실험 3)

내부 표현과 예측 사이의 인과성을 확립하기 위해 저자들은 두 가지 개입을 수행합니다:

1. 활성화 패치: 특정 층에서 '부패한'(혼합) 프롬프트의 잔류 스트림 활성화를 '청정'(단일 그래프) 프롬프트의 그것으로 대체합니다. 로그 대비 점수를 사용하여 청정 그래프 선호도의 회복을 측정합니다.
2. 활성화 조종: 잔류 스트림에 학습된 '그래프 차이 벡터'(청정 대 링 컨텍스트에서 유도됨) 를 추가하여 예측을 특정 그래프 계열로 이동시킵니다.

3. 주요 결과

3.1. 행동적 증거

• 복잡도 민감성: 적합된 모델은 $\hat{\lambda} > 0$ 및 $\hat{b}_{grid} < \hat{b}_{ring}$을 보입니다. 모델은 링에 비해 더 밀집된 격자 토폴로지에 확신하기 위해 불균형적으로 더 많은 문맥을 필요로 합니다.
• 상전이: 링 증거가 증가함에 따라 격자의 굴절점이 단조롭게 뒤로 이동합니다.
• 모델 선택: 각 그래프에 대한 파라미터화 (각 그래프에 대한 고유한 역동 허용) 는 AIC 및 BIC 지표에서 혼합 편향 제거 (사전만 조정) 보다 훨씬 우수한 성능을 보입니다. 이는 모델이 정적 사전이 아닌 각 토폴로지에 대해 구조적 증거를 다르게 처리함을 시사합니다.

3.2. 표현적 증거

• 직교 부분 공간: 중간 혼합 비율 ($\rho = 0.5$) 에서 PCA 는 격자와 링 토폴로지가 모두 직교 주성분 부분 공간에서 동시에 인코딩됨을 보여줍니다.
• 시사점: 순수한 국소적 유추 메커니즘은 공발생 통계의 단일 혼합 표현을 생성할 것입니다. 두 개의 분리 가능한 전역 구조의 존재는 '복사만' 가설과 모순됩니다.
• 기하학 정렬: 문맥 길이가 굴절점을 넘어 증가함에 따라 내부 기하학은 점진적으로 실제 토폴로지를 반영하며, $E_{norm}$은 0.785 에서 0.828 로 이동합니다.

3.3. 인과적 증거

• 패치 전이: 후기 층 패치 (약 26~30 층) 는 청정 그래프 선호도를 부패한 프롬프트에 거의 완전히 전이시킵니다. 특히, 이 효과는 부패한 문맥에서 결코 보지 못한 홀드아웃 엣지(이웃) 로까지 확장되는데, 이는 모델이 관찰된 전이를 단순히 재생하는 것이 아니라 구조적 표현을 활용하고 있음을 나타냅니다.
• 조종: 그래프 차이 벡터를 사용한 선형 조종은 의도된 방향으로 예측을 성공적으로 이동시킵니다. 이 효과는 노드 매칭 무작위 벡터 및 셔플된 라벨 제어에 대해 견고하여 방향성이 그래프 계열 신호에 특이적임을 확인시켜 줍니다.

4. 기여

1. 복잡도 가중 사전: 평탄한 사전 대신 MDL 에서 영감을 받은 복잡도 측정치를 대체하여 토폴로지 민감 구조적 편향의 정량적 서명 ($\hat{\lambda} > 0$) 을 복원했습니다.
2. 교차 배치 경쟁: 혼합 가설 체제에서 대칭적 행동에 대한 유추 회로 예측에 맞서 토폴로지 편향 증거 누적이 유지됨을 입증했습니다.
3. 동시 인코딩: 서로 다른 전역 그래프 토폴로지가 직교 부분 공간에서 동시에 복원 가능하다는 PCA 증거를 제공하여, 이는 국소적 전이 복사와 조화시키기 어려운 패턴입니다.
4. 인과적 연결: 패치 및 조종을 통해 이러한 표현 구조가 보이지 않는 전이를 포함하여 다음 토큰 예측을 인과적으로 통제함을 확립했습니다.

5. 중요성 및 결론

이 논문은 '신념'(전역 구조 추론) 과 '회로'(국소 유추) 사이의 이분법이 잘못된 이분법일 가능성이 있다고 결론지었습니다. 증거는 이중 메커니즘 설명을 지지합니다:

• 유추와 유사한 캐시는 홀드아웃 엣지에 대한 지연 효과와 조종 하에서의 불완전한 회복으로 인해 여전히 중요합니다.
• 잠재 구조 표현은 최종 예측 전에 증거를 통합하며 병렬로 작동합니다.

저자들은 진정한 구조 추론과 유추 회로가 동시에 작동하는 이러한 공존의 아키텍처가 앞으로의 기계적 해석 가능성에 대한 주요 과제라고 주장합니다. 그들은 LLM 이 완전한 인간과 유사한 추론 능력을 갖췄다고 주장하는 것이 아니라, 국소적 패턴 매칭 메커니즘과 함께 암묵적이고 조작 가능한 확률적 세계 모델을 유지한다고 주장합니다.