🤖 machine learning

Kalman Meets Curriculum: Efficient Dynamic Prompt Selection for Adaptive RL Finetuning

이 논문은 칼만 필터(Kalman filter)를 사용하여 프롬프트 난이도를 동적 상태 추정 문제로 모델링함으로써 RL 미세 조정(finetuning)을 위한 최적의 프롬프트를 적응적으로 선택하고, 추가적인 롤아웃(rollout) 없이도 훈련 효율성과 최종 모델 성능을 크게 향상시키는 효율적인 방법인 칼만 가이드 프롬프트 선택(Kalman-Guided Prompt Selection, KGPS)을 소개한다.

원저자: Haodong Zhu, Yangyang Ren, Yanjing Li, Sheng Xu, Haiguang Liu, Linlin Yang, Baochang Zhang

게시일 2026-07-31

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haodong Zhu, Yangyang Ren, Yanjing Li, Sheng Xu, Haiguang Liu, Linlin Yang, Baochang Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 약간은 고집스러운 천재 로봇에게 복잡한 퍼즐을 푸는 법을 가르치려 한다고 상상해 보십시오. 당신에게는 "그림 속에서 고양이 찾기"부터 "아인슈타인을 당황하게 했던 물리 문제 풀기"까지 방대한 퍼즐 라이브러리가 있습니다. 만약 당신이 로봇에게 이미 천 번이나 풀어본 퍼즐을 준다면, 로봇는 지루함을 느끼고 아무것도 배우지 못할 것입니다. 반대로, 도저히 불가능할 정도로 어려운 퍼즐을 건네준다면, 로봇는 좌절하여 포기하게 되고 이 역시 학습에 도움이 되지 않습니다. 최적의 지점(Sweet spot)은 로봇이 생각하게 만들 만큼 충분히 어렵지만, 결국에는 해결할 수 있을 만큼 적당히 쉬운 퍼즐입니다. 이것이 대규모 언어 모델(LLM)을 위한 **강화 학습(Reinforcement Learning, RL)**의 핵심 과제입니다. 즉, 로봇의 현재 기술 수준에 딱 맞는 '골디락스(Goldilocks)' 난이도를 찾는 것입니다.

문제는 로봇이 배우는 동안 당신이 가르치고 있다는 점입니다. 어제의 어려운 퍼즐이 오늘은 쉬워질 수도 있고, 어제의 쉬웠던 퍼즐이 너무 단순해질 수도 있습니다. 전통적인 방식의 퍼즐 선택은 정적인 지도(static map)를 사용하는 것과 같습니다. 난이도를 한 번 예측하고 그대로 고수하거나(이는 금방 시대에 뒤처지게 됩니다), 혹은 모든 퍼즐을 테스트하여 난이도를 확인하는 방식(이는 시간이 너무 오래 걸리고 낭비가 심합니다) 중 하나를 택해야 합니다. 이 논문은 로봇의 시간을 단 1초도 낭비하지 않고 몰입도를 유지할 수 있는 더 똑똑하고 새로운 방법을 소개합니다.

문제: 움직이는 목표물

AI를 훈련시키는 것을 축구 팀을 코칭하는 것에 비유해 보십시오. 시즌 초반에 선수들의 페널티킥 실력은 형편없을 것입니다. 이때는 골대를 가까이 두어 연습시켜야 합니다. 하지만 선수들이 실력이 좋아짐에 따라, 가까이 있는 골대는 너무 쉬워집니다. 계속 그곳에 둔다면 성장은 멈출 것입니다. 그렇다고 갑자기 골대를 경기장 반대편으로 옮겨버린다면, 선수들은 모든 슛을 놓치고 의욕을 잃게 될 것입니다.

코치(연구자들)는 팀이 지금 당장 어떻게 하고 있는지에 따라 골대의 거리를 끊임없이 조절할 수 있는 방법이 필요합니다. 어떤 코치들은 매 경기 전에 선수들에게 연습 슛을 쏘게 하여 개별 선수의 실력을 측정하려고 시도합니다(이를 "평가 기반(evaluation-based)" 선택이라고 합니다). 이는 정확하지만, 실제 경기를 하는 데 드는 시간을 너무 많이 잡아먹습니다. 다른 코치들은 직감이나 간단한 공식에 의존해 실력을 추측합니다(이것이 "예측 기반(prediction-based)" 방식입니다). 이는 빠르지만, 선수들이 매일 실제로 실력이 향상되고 있음에도 불구하고 선수들의 실력이 그대로라고 가정하기 때문에 예측이 틀리는 경우가 많습니다.

해결책: 칼만 코치(The Kalman Coach)

Haodong Zhu와 동료들이 이끄는 이 논문의 저자들은 KGPS(Kalman-Guided Prompt Selection)라는 새로운 방법을 제안합니다. 각 퍼즐의 난이도를 끊임없이 변화하는 움직이는 목표물로 취급하는 것입니다.

그들은 **칼만 필터(Kalman Filter)**라는 수학적 도구를 사용합니다. 이를 이해하기 위해, 안개 낀 숲속을 날아다니는 새를 추적한다고 상상해 보십시오. 새를 완벽하게 볼 수는 없지만, 새가 보통 얼마나 빨리 나는지, 그리고 얼마나 자주 방향을 꺾는지 알고 있습니다.

예측(The Prediction): 새를 보기 전, 이전 위치를 바탕으로 새가 어디에 있을지 추측합니다.
업데이트(The Update): 마침 새를 포착했을 때(테스트 실행 또는 "롤아웃"), 당신의 추측을 수정합니다.
불확실성(The Uncertainty): 여기서 영리한 부분이 나옵니다. 만약 새가 갑자기 격렬하게 움직인다면(AI의 뇌 구조가 빠르게 변할 때 발생하는 현상), 당신의 추측은 불확실해집니다. 당신은 "와, 새가 정말 예측 불가능하게 움직이고 있구나!"라고 깨닫게 됩니다. 그래서 검색 범위를 넓힙니다.

AI의 세계에서 "새"는 특정 프롬프트(질문이나 과제)의 난이도입니다. "격렬한 움직임"은 AI 모델이 새로운 것을 배워서 내부적인 뇌 구조가 변할 때 발생합니다. KGPS는 AI가 무언가를 새로 배웠을 때, 질문의 난이도에 대한 우리의 기존 추측이 틀릴 수 있다는 점을 인지합니다. 따라서 자동으로 해당 질문에 "불확실성"을 추가합니다.

실제 적용 방식

시스템은 라이브러리의 모든 질문에 대해 "믿음(belief)"을 유지합니다. 이 믿음은 단순히 하나의 숫자(예: "난이도가 50%임")가 아니라, 가능성의 구름(cloud of possibilities) 형태입니다.

AI가 한동안 질문을 접하지 않았다면: 불확실성의 구름이 커집니다. 시스템은 이렇게 생각합니다. "이 질문을 확인한 지 꽤 되었고, 그동안 AI가 많이 변했어. 아마 이 질문이 지금 AI에게 딱 맞는 난이도일지도 몰라!" 이는 자연스럽게 잊혔던 오래된 질문들을 다시 훈련 과정에 불러옵니다.
AI가 방금 질문을 해결했다면: 구름이 작아집니다. 시스템은 현재 버전의 AI에게 이 질문이 얼마나 어려운지 정확히 알게 됩니다.
선택(The Selection): 시스템은 "구름"이 AI가 새로운 것을 배울 가능성이 가장 높다고 시사하는 질문들, 즉 대개 난이도의 중간 지점에 있는 질문들을 선택합니다.

결과: 더 빠르고 더 똑똑하게

연구진은 수학 문제, 계획 과제(숫자 카운트다운 등), 기하학 퍼즐을 포함한 매우 까다로운 도전 과제들로 이 방법을 테스트했습니다. 그들은 KGPS를 "모든 것을 테스트하는" 코치 및 "추측하는" 코치들과 비교했습니다.

결과는 인상적이었습니다. DeepSeek-R1-Distill-7B 모델을 사용한 특정 수학 벤치마크에서, KGPS는 "모든 것을 테스트하는" 방식과 동일하거나 심지어 약간 더 나은 최종 성능을 달면서도, **83% 적은 롤아웃(rollouts)**만 사용했습니다. 쉽게 말해, AI는 훨씬 적은 작업량만으로도 똑같이 잘 학습했습니다.

또한, 이 논문은 KGPS가 이전의 "추측하는" 방식들보다 질문의 난이도를 훨씬 더 잘 예측한다는 것을 보여줍니다. 다른 방식들은 예측 오류율이 약 0.40에 달했던 반면, KGPS는 예측을 훨씬 더 정교하게 유지하여 약 0.15의 오류율을 기록했습니다. 이는 AI가 너무 쉽거나 너무 어려운 것에 시간을 낭비하지 않고, 일관되게 적절한 난이도로 연습하고 있었음을 의미합니다.

이것이 중요한 이유

이 논문은 AI에게 다음에 무엇을 가르칠지 결정하기 위해 막대한 양의 컴퓨터 자원을 낭비할 필요가 없다는 것을 시사합니다. KGPS는 과제의 난이도를 AI의 학습과 함께 변화하는 역동적인 상태로 취급함으로써 매우 효율적인 코치 역할을 수행합니다. KGPS는 언제 AI를 밀어붙여야 할지, 언제 물러나야 할지, 그리고 언제 예전 주제를 다시 다뤄야 할지를 추가적인 테스트 없이도 알아냅니다. 이는 AI 훈련이라는 혼란스러운 과정을 매끄럽고 적응 가능한 여정으로 바꾸며, 약간의 스마트한 수학이 AI를 더 똑똑하고, 빠르고, 효율적으로 만드는 데 얼마나 큰 도움이 될 수 있는지를 증명합니다.

기술 요약: 적응형 RL 파인튜닝을 위한 칼만 가이드 프롬프트 선택 (KGPS)

1. 문제 정의

강화 학습(RL) 파인튜닝은 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시키지만, 그 효능은 현재 정책(policy)에 적절한 난이도의 훈련 프롬프트를 선택하는 데 크게 의존합니다. 이 분야의 핵심 과제는 **비정상성(non-stationarity)**입니다: 정책이 개선됨에 따라 프롬프트의 난이도 또한 진화합니다. 이전에 유익했던 프롬프트가 이제는 너무 쉬워질 수 있고, 한때 너무 어려웠던 프롬프트가 학습 가능한 수준이 될 수도 있습니다.

기존의 온라인 프롬프트 선택 방식들은 다음과 같은 트레이드오프에 직면해 있습니다:

평가 기반 접근 방식(예: Dynamic Sampling)은 정확하지만, 프롬프트 성공률을 추정하기 위해 방대한 추가 롤아웃(rollout)을 필요로 하여 계산 비용이 매우 높으며, 이는 표준 훈련 대비 7배의 추론 오버헤드를 초과하는 결과를 초래하곤 합니다.
예측 기반 접근 방식(예: MoPPS, GRESO)은 효율적이지만, 일반적으로 프롬프트 난이도를 **정적인 잠재 파라미터(stationary latent parameter)**로 모델링합니다. 이들은 비정상성을 처리하기 위해 휴리스틱한 감쇠 계수(decay factors)에 의존하는데, 이는 지속적인 정책 업데이트로 인해 발생하는 변화하는 난이도 지형을 정확하게 추적하지 못하여 지속적으로 높은 추정 오차를 발생시킵니다.

본 논문은 효율적인 추론 비용을 들이지 않으면서도 진화하는 정책과 정렬 상태를 유지하기 위해서는 정적 파라미터 추정에서 **동적 상태 추정(dynamic state estimation)**으로의 원칙적인 전환이 필요하다고 주장합니다.

2. 방법론: 칼만 가이드 프롬프트 선택 (KGPS)

KGPS는 프롬프트 선택을 동적 상태 추정 문제로 재정의합니다. 프롬프트의 성공률을 고정된 파라미터로 취급하는 대신, KGPS는 이를 선형 가우시안 상태 공간 모델(linear-Gaussian state-space model, SSM) 내의 시변 잠재 상태(time-varying latent state)로 모델링합니다.

핵심 구성 요소:

로짓 공간에서의 상태 공간 공식화:
- 프롬프트 $\tau$ 의 잠재 성공률 $\phi^t_\tau$ 는 로짓 공간으로 변환됩니다: $\psi^t_\tau = \text{logit}(\phi^t_\tau)$ .
- 상태 진화: 잠재 상태는 랜덤 워크(random walk)를 따릅니다: $\psi^t_\tau = \psi^{t-1}_\tau + w^t_\tau$ . 여기서 프로세스 노이즈 분산 $Q_t$ 는 정책 업데이트의 크기에 명시적으로 결합됩니다: $Q_t = \gamma \cdot \|\theta^t - \theta^{t-1}\|^2$ . 이는 정책이 크게 변할 때 불확실성이 증가하도록 보장하며, 이는 프롬프트 난이도의 변화 가능성을 반영합니다.
- 관측 모델: 프롬프트가 선택되어 $k$ 번의 롤아웃이 수행되면, 경험적 성공률은 델타 방법(delta method)을 통해 로짓 공간에서의 가우시안 관측값으로 근사됩니다.
사후 분포 유지를 위한 칼만 필터:
- KGPS는 모든 프롬프트에 대한 가우시안 사후 분포 $N(\hat{\psi}^t_\tau, P^t_\tau)$ 를 유지하기 위해 칼만 필터를 사용합니다.
- 예측 단계(Prediction Step): 매 훈련 단계마다, 선택 여부와 관계없이 모든 프롬프트의 분산 $P^t_\tau$ 는 $Q_t$ 에 의해 팽창됩니다. 이 메커니즘은 최근에 평가되지 않은 프롬프트의 불확실성 점수를 자연스럽게 높여, 해당 프롬프트들이 영구적으로 무시되는 것을 방지합니다.
- 업데이트 단계(Update Step): 이전 단계에서 선택된 프롬프트의 경우, 필터는 새로운 롤아웃 관측값을 통합하여 평균과 분산을 업데이트합니다.
사후 기대 효용 선택 (Posterior-Expected Utility Selection):
- KGPS는 난이도의 점 추정치(point estimate)를 기준으로 프롬프트를 선택하는 대신, 사후 기대 훈련 효용을 최대화하는 프롬프트를 선택합니다: $\tilde{A}(\tau, t) = \mathbb{E}_{\psi \sim N(\hat{\psi}^t_\tau, P^t_\tau)}[h(\psi)]$ , 여기서 $h(\psi) = \sigma(\psi)(1-\sigma(\psi))$ 는 중간 난이도에서 정점을 찍습니다.
- 이 기댓값은 전체 사후 분포에 대한 적분을 수행합니다. 결과적으로, 높은 불확실성(큰 $P^t_\tau$ )을 가진 프롬프트는 자연스럽게 더 높은 점수를 받게 되어, 현재의 추정치를 활용하는 것(exploitation)과 불확실한 프롬프트를 탐색하는 것(exploration) 사이의 균형을 맞춥니다.
- 이 기댓값은 가우스-에르미트 구적법(Gauss–Hermite quadrature)을 사용하여 효율적으로 계산되며, 확률적 샘플링을 요구하지 않습니다.

핵심 효율성 특징: KGPS는 표준 정책 훈련을 위해 이미 생성된 롤아웃 결과만을 사용하여 작동합니다. 선택 과정 자체를 위한 추가적인 롤아웃이나 LLM 추론을 필요로 하지 않습니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 식별합니다:

난이도 추적의 재정의: 저자들은 프롬프트 난이도를 정적인 파라미터로 취급하는 대신, 프로세스 노이즈가 정책 업데이트 크기에 결합된 선형 가우시안 SSM을 사용하는 동적 상태 추정 문제로 모델링할 것을 제안합니다.
칼만 필터 유도 및 효용 점수: 저자들은 온라인 난이도 추적을 위한 칼만 필터를 유도하고, 수동으로 조정된 감쇠 스케줄 없이 탐색과 활용의 균형을 맞추는 사후 기대 효용 점수를 도입했습니다.
실험적 검증: 광범에한 실험을 통해 KGPS가 수학, 계획(planning), 기하학적 추론 작업 전반에서 기존 베이스라인보다 최종 정확도와 롤아웃 효율성 측면에서 일관되게 우수한 성능을 보임을 입증했습니다.

4. 실험 결과

저자들은 다양한 모델 규모(Qwen3-0.6B ~ DeepSeek-R1-Distill-7B)와 RL 알고리즘(GRPO, PPO, Reinforce++)을 사용하여 세 가지 추론 벤치마크(수학, 계획/카운트다운, 시각 기하학)에서 KGPS를 평가했습니다.

성능 대비 롤아웃 비용: DeepSeek-R1-Distill-7B 모델에서 KGPS는 평가 기반 오라클(Dynamic Sampling)과 대등하거나 약간 우수한 성능을 보이면서도, 83% 적은 롤아웃을 사용했습니다. 예측 기반 베이스라인인 MoPPS와 비교했을 때, KGPS는 동일한 롤아웃 예산 내에서 6개 수학 벤치마크 전반에 걸쳐 평균 성능을 0.12 포인트 향상시켰습니다.
정확도 향상: 모든 모델 규모와 작업에 대해, KGPS는 온라인 선택 방법 중 가장 높은 테스트 정확도를 일관되적으로 달성했으며, 종종 막대한 계산 비용을 초래하는 오라클(DS)을 능가하기도 했습니다.
추정 정확도: KGPS는 MoPPS(MAE ≈ 0.40)에 비해 현저히 낮은 평균 절대 오차(MAE ≈ 0.15)를 유지하며, 예측된 성공률과 실제 성공률 사이의 차이를 효과적으로 추적함을 보여주었습니다.
절제 연구(Ablation Studies):
- 사후 기댓값을 제거했을 경우(점 추정치 사용), 성능이 약 1.09 포인트 감소했습니다.
- 프로세스 노이즈를 정책 업데이트 크기와 분리했을 경우(고정 노이즈 사용), 성능이 약 1.21 포인트 감소하여 적응형 불확실성의 중요성을 확인했습니다.
- 웜업 초기화를 제거하면 성능이 약간 하락하여, 안정적인 초기 사후 분포의 필요성을 입증했습니다.

5. 의의 및 주장

본 논문은 KGPS가 RL 파인튜닝을 위한 온라인 프롬프트 선택의 새로운 SOTA(State-of-the-Art)를 확립한다고 주장합니다. 그 의의는 효율성과 적응성 사이의 긴장을 해결했다는 데 있습니다:

KGPS는 추가적인 계산 오버헤드 없이 평가 기반 방식의 정확도를 달s합니다.
정적인 예측 기반 방식의 한계를 극어서, 비정상적인 RL 훈련 역학을 엄격하게 모델링함으로써 이를 극복합니다.
난이도를 정적 파라미터가 아닌 동적 상태로 취급함으로써, KGPS는 소외된 프롬프트를 자연스럽게 다시 검토하도록 하는 원칙적인 불확실성 관리 메커즘을 제공하여 훈련 커리큘럼이 모델의 진화하는 역량과 정렬되도록 보장합니다.

저자들은 동적 상태 추정이 적응형 RL 파인튜닝을 위한 정적 난이도 근사보다 실용적이고 우월한 대안이라고 결론짓습니다.