💬 NLP

Interpreting and Controlling LLM Reasoning through Integrated Policy Gradient

본 논문은 결과 기반 신호의 역전파를 통해 내부 구성 요소에 순차적 기여도를 귀속시킴으로써 대규모 언어 모델 추론의 해석 가능성과 제어 가능성을 향상시키고, 이를 통해 더욱 정밀한 국소화와 신뢰할 수 있는 추론 행동 조절을 가능하게 하는 새로운 프레임워크인 통합 정책 경사(Integrated Policy Gradient, IPG)를 소개한다.

원저자: Changming Li, Kaixing Zhang, Haoyun Xu, Yingdong Shi, Zheng Zhang, Kaitao Song, Kan Ren

게시일 2026-02-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Changming Li, Kaixing Zhang, Haoyun Xu, Yingdong Shi, Zheng Zhang, Kaitao Song, Kan Ren

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(LLM)을 복잡한 교향곡을 연주하는 거대하고 똑똑한 오케스트라라고 상상해 보십시오. 오케스트라가 완벽한 곡을 연주할 때(어려운 수학 문제를 풀 때), 우리는 그 결과가 훌륭하다는 것을 압니다. 하지만 "어떤 특정 바이올리니스트나 드러머가 실제로 그 완벽한 음을 만들어냈는가?" 혹은 *"전체 곡을 망치지 않으면서 드러머에게 더 크게 연주하라고 어떻게 지시할 수 있는가?"*라고 묻는다면, 아무도 알지 못합니다. 음악은 연주되지만, 그 내부의 메커니즘은 "블랙박스"와 같습니다.

이 논문은 그 미스터리를 해결하기 위해 **통합 정책 경사법(Integrated Policy Gradient, IPG)**이라는 새로운 도구를 소개합니다. 이것이 어떻게 작동하는지 쉽게 설명하면 다음과 같습니다.

1. 문제점: 추측인가, 아는 것인가

이전의 방법들은 모델의 "추론 뉴런"(생각을 담당하는 특정 부분)을 찾기 위해 두 가지 방식을 시도했습니다.

"키워드" 방식: 모델이 "잠깐만요" 또는 "생각해 봅시다"와 같은 단어를 말할 때마다 불이 들어오는 뉴런을 찾는 방식입니다. 이는 마치 지휘자가 "드럼 솔로!"라고 말할 때만 드러머가 연주한다고 가정하는 것과 같습니다. 이 방식은 그 사이에서 일어나는 조용하고도 치열한 작업들을 놓치게 됩니다.
"대조" 방식: 매우 유사한 두 개의 프롬프트(모델이 정답을 맞힌 경우와 틀린 경우)를 비교하여 차이점을 찾는 방식입니다. 이는 자동차 엔진이 어떻게 작동하는지 알아내기 위해, 타이어가 펑크 난 자동차와 그렇지 않은 자동차를 비교하는 것과 같습니다. 이 방식은 무질서하며 종종 신뢰할 수 없습니다.

이러한 방법들은 실패했는데, 그 이유는 추론이 단 한 번의 순간이 아니라 긴 여정이기 때문입니다. 초반의 잘못된 단계 하나가 마지막 결과물을 망칠 수 있지만, 기존의 방법들은 이러한 긴 인과관계의 사슬을 추적하지 못했습니다.

2. 해결책: "결과 탐정"

저자들은 결과(outcome)에만 관심을 갖되, 그 단서를 시작점까지 역추적하는 탐정처럼 작동하는 IPG를 제안합니다.

비유: 계주 경기를 상상해 보십시오. 팀이 승리했습니다(결과). 기존의 방법들은 결승선을 통과한 주자만을 볼 수도 있습니다. 그러나 IPG는 전체 경기를 봅니다. IPG는 "어떤 주자의 속도, 어떤 바통 터치, 어떤 코너링이 팀의 승리에 가장 크게 기여했는가?"라고 묻습니다.
작동 원리:
1. 결과 지향적: IPG는 최종 답변에서 시작합니다. 모델이 맞혔습니까? (예/아니오).
2. 역방향 추적: 모델의 "사고 과정"(궤적)을 통해 역방향으로 신호를 보냅니다. 그리고 "이 특정 뉴런이나 특징이 최종적인 '예'에 얼마나 기여했는가?"라고 묻습니다.
3. 통합 경로: 단 하나의 스냅샷만 보는 대신, 시작부터 끝까지 전체 경로에 걸친 기여도를 평균화합니다. 이를 통해 단순한 찰나의 불꽃이 아니라, 뉴런의 누적된 효과를 포착할 수 있습니다.

3. 발견한 것: "추론 스위치"

연구진은 IPG를 사용하여 모델 내부에서 추론을 제어하는 특정 "스위치"(뉴런 또는 특징)를 식별했습니다.

볼륨 높이기 (강화): 이 특정 스위치들의 활성도를 높였을 때, 모델은 수학 문제를 더 잘 풀었습니다. 즉, 더 정확하게 해결했습니다.
볼륨 낮추기 (억제): 이 스위치들을 낮추었을 때, 모델의 성능은 급락했습니다. 더 이상 문제를 풀 수 없게 되었습니다.
미세 조정: 연구진은 추론의 서로 다른 측면을 제어할 수 있다는 것을 발견했습니다. 어떤 스위치는 얼마나 철저하게 생각하는지를 제어했고, 다른 스위치는 추론 사슬이 얼마나 길어지는지를 제어했습니다. 이는 단순히 "켜기/끄기" 스위치 하나를 가진 것이 아니라, "볼륨", "베이스", "트레블"을 위한 별도의 노브를 가진 것과 같습니다.

4. 전이 가능성의 마법

이들이 발견한 가장 멋진 점 중 하나는 이 "추론 스위치"들이 보편적이라는 것입니다.

비유: 자동차 엔진에서 속도를 내게 만드는 특정 기어를 찾았다고 상상해 보십시오. 당신은 그 기어를 소형 세단에서 찾았습니다. 논문은 만약 그 동일한 기어를 같은 계열의 다른 모델인 대형 트럭에 넣는다면, 그 트럭을 더 빠르게 만드는 데 여전히 작동한다는 것을 보여줍니다.
주장: 연구진은 단순히 프롬프트를 통해 추론을 배운 모델(마치 책을 읽는 학생과 같은 모델)에서 찾은 스위치를, 추론을 위해 특별히 훈련받은 모델(마치 특수 학교에 다닌 학생과 같은 모델)에 적용했습니다. 그 스위치들은 양쪽 모두에서 완벽하게 작동했으며, 이는 핵심적인 "추론 기계"가 동일함을 시사합니다.

5. 이 논문의 의의 (논문에 따르면)

이 논문은 다음과 같은 이유로 이것이 중요한 진전이라고 주장합니다.

훈련이 필요 없음: 거대한 모델을 다시 훈련시킬 필요가 없습니다(이는 비용이 많이 들고 느립니다). 그저 부분을 식별하고 미세하게 조정하기만 하면 됩니다.
정밀한 제어: 이를 통해 모델의 행동을 안정적으로 조종할 수 있으며, 모델을 망가뜨리지 않고도 더 똑똑하게 만들거나 사고 방식을 바꿀 수 있습니다.
"왜"에 대한 이해: 우리는 뇌의 어느 부분이 활성화되는지 추측하는 단계에서 벗어나, 어떤 부분이 성공을 유발했는지 실제로 알 수 있게 되었습니다.

요약하자면, IPG는 우리가 블랙박스 내부를 들여다보고, 모델의 지능을 제어하는 특정 다이얼을 찾아내며, 기계를 새로 만들 필요 없이 그 다이얼을 높이거나 낮추어 모델이 더 잘 생각하게 만드는 도구입니다.

기술 요약: 통합 정책 경사(Integrated Policy Gradient)를 통한 LLM 추론의 해석 및 제어

문제 정의

대규모 언어 모델(LLM)은 정교한 추론 능력을 보여주었으나, 이러한 행동을 구동하는 내부 메커니즘은 여전히 불투cl(opaque)한 상태로 남아 있다. 기존의 기계론적 해석 가능성(mechanistic interpretability) 접근 방식은 추론과 관련하여 두 가지 주요 한계에 직면해 있다:

공생 관계(Co-occurrences)에 대한 의존: 많은 방법론이 특정 텍스트 패턴(예: "wait"와 같은 토큰)이나 단기적 효과(예: 산술 연산)와의 상관관계만을 기반으로 구성 요소(예: 뉴런 또는 SAE 피처)를 식별한다. 이러한 접근 방식은 복잡하고 다단계적인 추론 행동을 인과적으로 구동하는 구성 요소를 분리해 내는 데 실패한다.
순차적 영향력(Sequential Influence)의 간과: 현재의 방법들은 주로 즉각적이고 단기적인 효과만을 포착하며, 최종 결과(예: 정답의 정확성)가 일련의 중간 결정들에 의존하는 다단계 추론 작업에 필요한 누적된 장기적(long-horizon) 영향력을 간과한다. 또한, 제어 벡터를 도출하기 위해 인간이 주석을 단 대조 쌍(contrastive pairs)에 의존하는 방식은 의도한 목표 상태가 실제로 유도되는지를 보장하기 어렵다.

따라서 결과 지향적(최종 추론 결과에 대한 기여도를 기준으로 구성 요소를 평가)이며 순차적 영향력을 인식하는(전체 추론 궤적 전체에 걸친 내부 구성 요소의 누적 영향을 고려) 프레임워크가 절실히 필요하다.

방법론: 통합 정책 경사 (Integrated Policy Gradient, IPG)

저자들은 IPG라는 새로운 훈련 불필요(training-free) 프레임워크를 제안한다. 이는 장기적 결과에 기반하여 내부 구성 요소에 행동을 귀속시킴으로써 LLM의 추론을 해석하고 제어하도록 설계되었다.

핵심 원칙

결과 지향적(Outcome-Oriented): 내부 구성 요소의 기여도는 최종 추론 결과(예: 정답의 정확성 또는 추론 체인의 길이)에 대해 평가된다.
순차적 영향력 인식(Sequential-Influence-Aware): 이 방법은 고립된 단계가 아니라 전체 생성 궤적 전체에 걸친 구성 요소의 누적된 영향력을 포착한다.

기술적 프레임워크

표상 공간 정책 경사(Representation Space Policy Gradients):
표준 정책 경사 방법이 모델 파라미터( $\theta$ )를 업데이트하는 것과 달리, IPG는 그 관점을 **표상 공간(representation space)**으로 확장한다. 이는 결과 기반 신호(예: 검증기에서 유도된 보상)를 내부 구성 요소( $h_t$ , 예: 뉴런 또는 희소 오토인코더(SAE) 피처)를 통해 추론 궤적을 따라 역방향으로 전파한다.
표상 공간에서의 정책 경사는 다음과 같이 공식화된다:
$\frac{\partial J}{\partial h} = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=1}^T \frac{\partial}{\partial h_t} \log \pi_\theta(a_t | s_t; h_t) \cdot A_\pi(s_t, a_t) \right]$
여기서 $J$ 는 신호 함수(예: 이진 정확도)이고, $\tau$ 는 추론 궤적이며, $A_\pi$ 는 토큰 선택의 장기적 이득을 추정하는 어드밴티지(advantage) 함수이다.
경로 적분 귀속(Path Integral Attribution, IPG):
가공되지 않은 경사(raw gradients)의 노이즈와 국소적 민감도 문제를 해결하기 위해, IPG는 경로 적분 방식을 채택한다. 이는 베이스라인(예: 영 벡터)에서 타겟 활성화 값까지 선형적으로 보간된 경로를 따라 정책 경사를 누적한다. 이를 통해 귀속 점수(attribution score)가 구성 요소의 전체 변화에 따른 글로벌 기여도를 고려하도록 하여 완결성(completeness) 속성을 만족시킨다.
$\text{IPG}(i; x) = \sum_{t=1}^T (h_{t,i} - h'_{t,i}) \int_0^1 \mathbb{E}_{\tau \sim \pi_\theta} \left[ \frac{\partial}{\partial h_{t,i}} \log \pi_\theta(a_t | s_t; h'_{t} + \alpha(h_t - h'_t)) \cdot A_\pi(s_t, a_t) \right] d\alpha$
구성 요소 선택 및 개입(Component Selection and Intervention):
- 식별(Identification): IPG는 데이터셋 전체에서 귀속 점수를 계산하고 이를 집계하여 가장 영향력이 큰 상위- $p$ 개의 구성 요소(뉴런 또는 SAE 피처)를 식별한다.
- 제어(Control): 식별된 후, 이 구성 요소들에 곱셈 스케일링 인자 $\gamma$ 를 적용하여 인과적 개입을 수행한다. $\gamma > 1$ 로 설정하면 구성 요소의 영향력을 강화하고, $0 \le \gamma < 1$ (또는 $\gamma=0$ )로 설정하면 억제한다. 이를 통해 추론 능력(정확도) 및 추론 강도(체인 길이)와 같은 추론 행동을 조절할 수 있다.

주요 기여

새로운 프레임워크 (IPG): 텍스트 패턴 상관관계 및 단기적 효과 분석의 한계를 극복하고, 장기적 결과에 기반하여 추론 행동을 내부 구성 요소에 직접 귀속시키는 훈련 불필요 프레임워크를 도입하였다.
해석 및 제어를 위한 통합 도구: 이 접근 방식은 개별 뉴런과 SAE 피처를 포함한 다양한 내부 단위로 확장되며, 서로 다른 모델 아키텍처와 규모에 걸쳐 추론 행동을 해석하고 조절할 수 있는 통합된 메커니즘을 제공한다.
효과성 및 전이 가능성 입증: 실증적 증거는 IPG가 베이스라인(예: Control Vectors, Reasoning Neurons)에 비해 우수한 제어 효과를 달로함을 보여준다. 결정적으로, 식별된 구성 요소는 강력한 전이성을 보여, 프롬프트로 유도된 모델에서 발견된 추론 메커니즘을 동일한 모델 제품군 내의 훈련 유도형(distilled) 변형 모델에 직접 적용할 수 있다.

실험 결과

저자들은 대표적인 오픈 소스 LLM(Qwen2.5-Math-1.5B-Instruct 및 Llama3.1-8B-Instruct)을 대상으로 다양한 추론 벤치마크(GSM8K, MATH-500, AIME-2024, GPQA-Diamond)에서 IPG를 평가하였다.

정밀한 국지화 및 제어: IPG는 추론 능력을 강화하거나 억제함에 있어 베이스라인보다 일관되게 높은 정확도를 달성했다. 예를 들어, Qwen2.5-Math-1.5B에서 IPG는 GSM8K 정확도를 84.61%(원래 82.41%)로 향상시킨 반면, 억제 시에는 10.69%로 감소시켜 정밀한 제어를 입증했다.
세밀한 조절(Fine-Grained Modulation): 이 방법은 서로 다른 추론 행동을 성공적으로 조절했다. 개입을 통해 다른 하나를 희생하지 않고도 추론 능력(정확도)을 강화하거나 추론 강도(시퀀스 길이)를 조정할 수 있었으며, 이는 특정 구성 요소에 별개의 행동이 인코딩되어 있음을 나타낸다.
교차 데이터셋 및 교차 모델 전이: 한 데이터셋(예: GSM8K)에서 식별된 구성 요소는 다른 데이터셋(예: MATH-500)으로 효과적으로 전이되었으며, 프롬프트 유도 모델에서 식별된 메커니즘은 추론 증류 모델(예: DeepSeek-R1-Distilled-Qwen-1.5B)의 성능을 향상시켰다.
세밀한 통찰력: 분석 결과, SAE 유도 피처가 뉴런보다 더 잘 분리(disentangled)되어 있어 단일 추론 측면(예: 계산 vs. 분해)에 영향을 미치는 경우가 많은 반면, 뉴한은 흔히 다의성(polysemanticity)을 보여 여러 차원에 동시에 영향을 미친다는 것을 밝혀냈다.

의의 및 주장

본 논문은 IPG가 표면적인 상관관계에서 인과적, 결과 중심적 귀속으로 초점을 전환함으로써 LLM 추론의 기계론적 해석 가능성에 있어 중요한 진전을 이루었다고 주장한다. 내부 구성 요소의 순차적 영향력을 효과적으로 포착함으로써, IPG는 재학습 없이도 추론 행동을 신뢰성 있게 조종할 수 있게 한다.

저자들은 IPG를 다음과 같은 경로를 제공하는 강력한 솔루션으로 제시한다:

추론 시스템의 진실성, 안전성 및 제어 가능성 개선.
모델 변형 간에 전이 가능한 추론 메커니즘을 활용하여 중복되는 해석 가능성 노력 감소.
LLM이 추론을 어떻게 인코딩하고 실행하는지에 대한 이론적 이해를 증진함으로써, 특정 추론 측면(예: 문제 이해, 작업 분해)에 대한 세밀한 통찰력 제공.

결론적으로, 현재의 방법들이 다단계 추론의 복잡성으로 인해 어려움을 겪는 반면, IPG는 정책 경사와 경로 적분을 결집하여 이러한 핵심적인 모델 행동을 해석하고 제어하기 위한 원칙적이고 효과적인 접근 방식을 제공한다.