💬 NLP

Beyond Uniform Credit: Causal Credit Assignment for Policy Optimization

이 논문은 언어 모델의 추론 과정에서 모든 토큰에 동일한 보상을 주는 기존 방식 대신, 특정 추론 구간을 마스킹했을 때 정답 확률의 변화를 측정하여 중요한 계산 단계에 더 높은 가중치를 부여하는 '반사실적 중요도 가중치(counterfactual importance weighting)' 기법을 제안하여 성능과 수렴 속도를 개선했습니다.

원저자: Mykola Khandoga, Rui Yuan, Vinay Kumar Sankarapu

게시일 2026-02-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mykola Khandoga, Rui Yuan, Vinay Kumar Sankarapu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 제목: "모든 말에 똑같은 점수를 주지 마세요: 인공지능의 '진짜 실력'을 찾아내는 법"

1. 문제 상황: "공부할 때 '음...', '어...'까지 다 외우고 있는 학생"

우리가 인공지능(AI)에게 수학 문제를 풀게 가르칠 때, AI는 단순히 정답만 내놓는 게 아니라 "음, 생각해보면...", "자, 이제 계산을 해볼까요?" 같은 말들을 섞어서 풀이 과정을 적습니다.

지금까지의 AI 학습 방식(GRPO, DAPO 등)은 마치 엄격하지만 눈치 없는 선생님과 같았습니다.

AI가 문제를 맞히면, 그 풀이 과정에 들어간 모든 단어에 똑같이 "잘했어!"라고 점수를 줍니다.
문제는, 정답을 맞히는 데 결정적인 역할을 한 **"23 + 45 = 68"**이라는 핵심 계산식과, 아무 의미 없는 **"자, 이제 시작해볼게요"**라는 미사여구에 똑같은 점수를 준다는 거예요.

이렇게 되면 AI는 "아, '자, 이제 시작해볼게요'라는 말을 많이 하면 수학을 잘하게 되는구나!"라고 착각해서, 쓸데없는 말만 늘어놓는 '말만 번지르르한 학생'이 될 위험이 있습니다.

2. 해결책: "만약 이 말이 없었다면? (Counterfactual Importance)"

이 논문의 저자들은 아주 똑똑한 방법을 제안했습니다. 바로 **'가정법(Counterfactual)'**을 사용하는 거예요. 선생님이 학생의 풀이 과정을 검사할 때 이렇게 해보는 거죠.

"만약 이 문장을 지워버린다면, 정답을 맞힐 확률이 얼마나 떨어질까?"

사례 A (핵심 계산식): "23 + 45 = 68"이라는 부분을 지워봤더니, 정답을 맞힐 확률이 뚝 떨어졌습니다. $\rightarrow$ "아하! 이 부분은 진짜 중요한 핵심이구나! 여기엔 엄청난 보너스 점수를 줘야지!"
사례 B (쓸데없는 말): "음, 잠시만요..."라는 부분을 지워봤더니, 정답 확률에 아무 변화가 없습니다. $\rightarrow$ "이건 그냥 추임새네. 점수를 아주 조금만 주거나 안 줘도 되겠어."

이렇게 **'지웠을 때의 영향력'**을 측정해서, 진짜 중요한 부분에만 집중적으로 학습 에너지를 쏟아붓는 방식입니다. 이것을 논문에서는 **'인과적 신용 할당(Causal Credit Assignment)'**이라고 부릅니다.

3. 실험 결과: "진짜 핵심을 짚어내다"

연구팀이 이 방법을 여러 AI 모델에 적용해봤더니 놀라운 결과가 나왔습니다.

성적이 올랐습니다: 기존 방식보다 수학 문제(GSM8K)를 더 정확하게 풀게 되었습니다.
학습 속도가 빨라졌습니다: 쓸데없는 말에 힘을 빼지 않으니, 훨씬 빨리 똑똑해졌습니다.
진짜를 찾아냈습니다: 분석해보니, AI가 계산식(곱셈, 나눗셈 등)을 쓸 때 점수를 훨씬 높게 받았고, 단순히 "단계 1:" 같은 제목을 붙이는 데는 점수를 짜게 주었습니다.

4. 한계점: "수학은 만점, 코딩은 글쎄?"

하지만 이 방법이 만능은 아닙니다.

수학은 정답이 딱 하나로 정해져 있어서 "이게 없으면 틀려!"라고 판단하기 쉽지만,
코딩은 코드가 길고 복잡해서 어느 한 줄을 지운다고 바로 틀리는 게 아니라 여러 부분이 얽혀 있습니다. 그래서 코딩 학습에는 아직 이 방법이 큰 효과를 보지 못했습니다.

💡 요약하자면!

이 논문은 AI에게 **"중요한 것과 중요하지 않은 것을 구분하는 법"**을 가르치는 새로운 학습법을 제안한 것입니다.

마치 시험 공부를 할 때, 교과서의 모든 글자를 다 외우는 게 아니라 "이 공식이 없으면 문제를 못 풀겠는데?" 싶은 핵심 개념에 집중해서 공부하는 효율적인 학습 전략을 AI에게 알려준 것이라고 할 수 있습니다!

[기술 요약] 균등한 크레딧을 넘어: 정책 최적화를 위한 인과적 크레딧 할당

1. 문제 정의 (Problem Statement)

현재 GRPO(Group Relative Policy Optimization)나 DAPO와 같은 최신 언어 모델 강화학습(RL) 알고리즘은 '균등한 크레딧 할당(Uniform Credit Assignment)' 문제를 안고 있습니다.

문제점: 모델이 생성한 추론 과정(Reasoning Trace) 내의 모든 토큰에 동일한 보상 신호를 부여합니다. 예를 들어, 정답을 도출하는 데 결정적인 역할을 한 "23 + 45 = 68"이라는 계산식과, 단순히 문장을 이어주는 "Let me think"와 같은 채우기 문구(Filler phrase)가 동일한 가중치로 업데이트됩니다.
결과: 불필요한 스캐폴딩(Scaffolding) 텍스트나 중복된 표현에 학습 신호가 희석(Dilution)되어, 모델이 핵심적인 추론 단계에 집중하지 못하고 학습 효율이 떨어지는 현상이 발생합니다.

2. 제안 방법론 (Methodology)

본 논문은 외부 모델(PRM 등)이나 추가적인 데이터 라벨링 없이, 모델 스스로의 확률 변화를 이용해 중요도를 측정하는 '반사실적 중요도 가중치(Counterfactual Importance Weighting)' 방식을 제안합니다.

핵심 메커니즘: 반사실적 중요도 추정 (Counterfactual Importance Estimation)

스팬 마스킹 (Span Masking): 추론 과정에서 특정 구간(Span, 예: 계산식)을 식별하여 이를 고정된 플레이스홀더(Placeholder)로 대체합니다.
인과적 영향력 측정: 해당 구간을 마스킹했을 때, 최종 정답(Answer)이 나올 확률이 얼마나 떨어지는지( $\Delta \log P$ $Δ lo g P$ )를 측정합니다.
- 중요 구간: 마스킹 시 정답 확률이 크게 감소함 $\rightarrow$ 높은 중요도 부여.
- 방해 구간(Distractor): 마스킹 시 오히려 정답 확률이 상승함 $\rightarrow$ 낮은 중요도 부여.
가중치 적용 (Importance-Weighted Policy Gradient): 측정된 중요도를 기반으로 토큰별 가중치( $w_t$ )를 계산하여, DAPO 손실 함수에 곱해줍니다. 이를 통해 핵심 계산 단계에는 더 큰 그래디언트(Gradient)를, 불필요한 문구에는 더 작은 그래디언트를 할당합니다.

3. 주요 기여 (Key Contributions)

비매개변수적 방법론: 별도의 프로세스 보상 모델(PRM) 학습 없이, 정책 모델(Policy Model)의 자체 확률값만을 사용하여 토큰 수준의 중요도를 계산하는 효율적인 프레임워크를 제시했습니다.
그래디언트 집중화: 실험을 통해 제안 방법이 고중요도 토큰에 그래디언트 질량을 약 1.6배 집중시켜 학습의 질을 높임을 증명했습니다.
추론 구조의 정량적 분석: 추론 과정에서 계산 체인(Calculation chains)이 일반 문구보다 11배 더 중요하게 작용하며, 약 3.5%의 구간은 오히려 성능을 해치는 '방해 요소'임을 밝혀냈습니다.

4. 실험 결과 (Results)

GSM8K(수학 추론 데이터셋)를 대상으로 Qwen 및 Llama 계열 모델에서 실험을 진행했습니다.

성능 향상: 모든 모델에서 기존 DAPO(Baseline) 대비 0.8~1.1%p의 정확도 향상을 보였습니다.
학습 효율성: 동일한 정확도에 도달하는 속도가 훨씬 빨라졌습니다(Sample Efficiency 개선).
인과성 검증 (Ablation Study): 중요도를 반대로 적용(Inverted)했을 때 성능이 오히려 하락하는 것을 확인하여, 이 방법이 단순한 정규화가 아니라 실제 **인과적 구조(Causal Structure)**를 포착하고 있음을 입증했습니다.
한계점 발견 (Negative Result): 코드 생성(MBPP+) 작업에서는 효과가 미미했습니다. 이는 수학처럼 정답이 하나로 수렴하는 'Answer Sink' 구조가 아닌, 코드처럼 여러 구조적 요소가 동시에 맞아야 하는 분산된 정답 구조에서는 스팬 단위의 개입이 어렵기 때문인 것으로 분석되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 연구는 강화학습에서 **"어떤 토큰이 결과에 실질적으로 기여했는가?"**라는 근본적인 질문에 대해, 모델 내부의 확률적 변화를 이용한 인과적 접근법으로 해답을 제시했습니다.

학습 패러다임의 전환: 모든 토큰을 동일하게 취급하던 기존 방식에서 벗어나, 인과 관계에 기반한 '선택적 학습'의 가능성을 열었습니다.
실용적 가치: 추가적인 모델 학습 비용 없이 구현 가능하며, 모델이 스스로 무엇이 중요하고 무엇이 노이즈인지를 구분하게 함으로써 더 정교한 추론 능력을 갖추게 합니다.
향후 과제: 코드 생성과 같이 복잡한 구조를 가진 도메인에 적용하기 위해서는 단순한 정규식 기반 스팬 탐지를 넘어선, 더 정교한 구조적 개입 방법이 필요함을 시사합니다.