💬 NLP

GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning

이 논문은 신뢰할 수 있는 검증 세트를 활용하여 정책 경사(policy gradients)가 정렬된 훈련 문제의 우선순위를 정함으로써, 도전적인 데이터 환경 전반에서 대규모 언어 모델(LLM) 강화 학습의 안정성과 성능을 크게 향상시키는 적응형 커리큘럼을 구축하는 경사 정렬 데이터 선택 방법인 GradAlign을 소개한다.

원저자: Ningyuan Yang, Weihua Du, Weiwei Sun, Sean Welleck, Yiming Yang

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ningyuan Yang, Weihua Du, Weiwei Sun, Sean Welleck, Yiming Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하지만 제멋대로인 로봇에게 복잡한 퍼즐을 푸는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇의 옆에서 빨간 펜을 들고 지켜보는 선생님 역할을 하는 대신, 로봇이 직접 시도하게 두고, 정답을 맞혔는지에 따라 단순히 "엄지 척" 혹은 "엄지 아래"라는 신호만 줍니다. 이것을 **강화 학습(Reinforcement Learning, RL)**이라고 부릅니다. 이는 강아지를 간식으로 훈련시키는 것과 비슷하지만, 그 강아지는 거대한 컴퓨터 프로그램이고, 간식은 디지털 보상입니다. 문제는 로봇이 추측하고 확인하는 방식으로 학습하기 때문에, 때로는 틀린 답을 맞혀서 운 좋게 점수를 얻거나 함정 질문에 혼란을 느낄 수도 있다는 점입니다. 만약 너무 혼란스럽거나 쓸모없는 퍼즐을 너무 많이 주면, 로봇은 시스템을 "속이는" 법을 배우거나 실제 과제 수행 능력이 오히려 떨어질 수도 있습니다.

이를 해결하기 위해, 연구자들은 보통 로봇이 보기 전에 나쁜 퍼즐들을 걸러내려고 노력합니다. 그들은 "로봇이 정답을 약 절반 정도 맞히는 퍼즐만 보여주자"라고 말하며, 그것이 완벽한 학습 순간이라고 생각할 수도 있습니다. 하지만 이것은 표지만 보고 책을 판단하는 것과 같습니다. 어떤 퍼즐은 서류상으로는 "딱 적당해" 보일지 몰라도, 실제로는 로봇에게 잘못된 교훈을 줄 수 있습니다. 이 논문은 단순히 점수만을 보는 것이 아니라, 그보다 더 깊이 있게 들여다보는 새로운 방식의 퍼즐 선택법을 소개합니다.

문제점: 로봇의 혼란스러운 놀이터

대규모 언어 모델(LLM)은 오늘날 많은 챗봇과 코딩 어시스턴트 뒤에 있는 초지능형 AI 두뇌입니다. 이들을 더욱 똑똑하게 만들고 어려운 문제를 해결하게 하기 위해, 과학자들은 강화 학습을 사용합니다. 이 과정에서 AI는 답을 생성하고, 정답이면 보상(예: 점수)을 받으며, 다음번에 더 많은 점수를 얻기 위해 자신의 두뇌를 업데이트합니다.

하지만 이 과정은 연습하는 문제의 품질에 매우 민감합니다. 체스를 배우려고 하는데, 그랜드마스터, 갓난아기, 그리고 규칙도 모르는 사람들이 뒤섞인 환경에서 대국한다고 상상해 보세요. 만약 갓난아기들과 너무 많이 대국한다면, 당신은 나쁜 습관을 배울지도 모릅니다. 만약 속임수를 쓰는 사람들과 대국한다면, 당신도 속임수를 배우게 될 것입니다.

현실 세계에서 이러한 "퍼즐"(학습 데이터)은 종종 매우 지저날 수 있습니다. 인터넷에서 가져온 데이터들은 노이즈, 오류, 오해의 소지가 있는 정보로 가득 차 있습니다. 기존의 방법들은 "AI가 정답을 50% 확률로 맞히는 문제만 골라내자"와 같은 단순한 규칙을 사용하여 이를 정화하려고 했습니다. 이 논문의 저자들은 이것이 결함이 있는 전략이라고 주장합니다. 문제가 "중간 난이도"라고 해서 반드시 AI가 배우기에 "좋은" 문제는 아니기 때문입니다. 그것은 AI를 혼란스럽게 만드는 함정 질문이거나, 보상 체계가 고장 나서 틀린 답에 "엄지 척"을 주는 문제일 수도 있습니다.

해결책: GradAlign (나침반)

연구자들은 GradAlign이라는 새로운 방법을 제안합니다. GradAlign은 어떤 문제가 좋은지 결정하기 위해 최종 점수(정확도)를 보는 대신, AI가 그 문제를 풀 때 두뇌가 움직이는 방향을 살펴봅니다.

AI의 학습 과정을 산 정상(더 나은 AI가 되는 목표)을 향해 가려는 등산가에 비유해 봅시다.

기존 방식 (정확도): 등산가는 지도를 보고 말합니다. "가장 흥미로워 보이거나 숲 한가운데에 있는 길 쪽으로 걸어가야겠어." 이는 위험합니다. 그 길이 절벽으로 이어질 수도 있기 때문입니다.
GradAlign: 등산가는 작고 신뢰할 수 있는 나침반(검증 세트)을 가지고 있습니다. 이 나침반은 진정한 정상의 방향을 가리킵니다. 새로운 미지의 경로(학습 문제)를 가기 전에, GradAlign은 다음과 같이 묻습니다. "내가 이 길로 한 발짝 내디딘다면, 내 나침반이 가리키는 방향과 일치하는가?"

만약 그 길이 정상을 향하고 있다면, 그것은 좋은 문제입니다. 만약 그 길이 이상한 방향, 옆방향, 혹은 역방향을 가리킨다면, 설령 그것이 "중간 난이도"처럼 보일지라도 그것은 나쁜 문제입니다.

작동 원리: 그래디언트 나침반

기술적인 용어로, 이 "방향"을 **그래디언트(gradient)**라고 합니다. 이것은 AI에게 "더 나아지려면 네 두뇌 파라미터를 이쪽 방향으로 움직여라"라고 알려주는 수학적 화살표입니다.

GradAlign은 다음과 같은 루프를 통해 작동합니다:

나침반 확인: AI는 작은 규모의 신뢰할 수 있는 문제 세트(검증 세트)를 빠르게 살펴보고, 어떤 방향이 성공으로 이어지는지 확인합니다. 이를 통해 "목표 방향(Target Direction)"을 생성합니다.
후보 테스트: AI는 거대한 잠재적 학습 문제 더미를 살펴봅니다. 각 문제에 대해, AI는 특정 문제를 통해 학습했을 때 움직이게 될 방향인 "그래디언트 화살표"를 계산합니다.
정렬 및 선택: 후보의 화살표와 목표 방향 사이의 각도를 측정합니다. 만약 두 화살표가 같은 방향을 가리키고 있다면(높은 정렬도), 그 문제는 선택됩니다. 만약 서로 다른 방향을 가리키고 있다면(낮은 정렬도), 그 문제는 무시됩니다.
반복: AI가 똑똑해짐에 따라 "목표 방향"도 미세하게 변하므로, GradAlign은 지속적으로 나침반을 재확인하고 더 나은 문제들을 골라냅니다.

연구 결과: 더 나은 학습, 더 적은 노이즈

연구진은 기존 방식들이 주로 실패하는 세 가지 까다로운 상황에서 GradAlign을 테스트했습니다.

노이즈가 섞인 보상: 선생님이 술에 취해 틀린 답에도 50% 확률로 "엄지 척"을 주는 상황을 상상해 보세요. 기존 방식은 "점수"가 괜찮아 보이기 때문에 혼란에 빠집니다. 그러나 GradAlign은 "틀린" 답들이 AI를 잘못된 방향으로 밀어낸다는 것을 감지하고 이를 걸러냈습니다. 테스트 결과, 기존 방식들이 노이즈 속에서 길을 잃는 동안 GradAlign은 AI를 올바른 궤도에 머물게 했습니다.
불균형한 데이터: 요리책 10,000권과 양자 역학 책 100권이 있는 도서관에서 양자 역학을 배우고 싶어 하는 상황을 상상해 보세요. 기존 방식은 어디에나 널려 있는 쉬운 요리 책들에 갇힐 수 있습니다. GradAlign은 양자 역학 책들의 "방향"을 살펴보고, 비록 더 흔하더라도 요리 책들은 무시했습니다.
낮은 효용성을 가진 데이터: 때때로 문제는 쉽고 정답이지만, 새로운 것을 전혀 가르쳐주지 못할 때가 있습니다 (예를 들어, 미적분을 배워야 하는데 1+1 더하기를 계속 연습하는 경우). GradAlign은 이러한 "지루한" 문제들이 AI의 두뇌를 유용한 방향으로 움직이지 못한다는 점을 포ر 포착하여 건너뛰었습니다.

이 모든 경우에서 GradAlign은 일관되게 표준 방식들보다 우수한 성능을 보였습니다. 단순히 조금 더 좋아진 것이 아니라, AI가 나쁜 습관을 배우는 것을 방지하고 더 높은 성능 수준에 더 빠르게 도달하도록 도왔습니다.

주의할 점: 약간의 노력이 더 필요함

트레이드오프(절충안)가 존재합니다. 이러한 "방향 화살표"를 모든 문제에 대해 계산하는 것은 추가적인 컴퓨팅 자원을 소모합니다. 저자들은 이것이 문제를 무작위로 뽑는 것에 비해 약 65% 더 많은 작업량을 요구한다고 추정합니다. 하지만 그들은 이것이 쓸모없거나 해로운 데이터에 시간을 낭비하는 것을 막아주기 때문에 충분히 가치 있는 일이라고 주장합니다. 이는 마치 목적 없이 헤매는 대신 GPS를 사용하는 비용을 지불하는 것과 같습니다. GPS는 배터리를 조금 더 쓰지만, 훨씬 더 빠르고 길을 잃지 않고 목적지에 도달하게 해줍니다.

결론

이 논문은 스마트한 AI를 훈련할 때, 단순히 AI가 무엇을 맞히고 틀리는지만 봐서는 안 된다고 제 제안합니다. 우리는 AI가 어떻게 배우려고 시도하는지를 보아야 합니다. 작고 신뢰할 수 있는 문제 세트를 나침반으로 삼아 학습 데이터를 선택함으로써, 우리는 더 똑똑하고 안정적인 학습 과정을 구축할 수 있습니다. GradAlign은 단순히 나쁜 사과를 걸러내는 것을 넘어, 안개가 끼고 주의를 분산시키는 것들이 가득한 길에서도 AI가 항상 올바른 방향으로 걷도록 보장합니다.

기술 요약: GradAlign

문제 정의

강화 학습(RL)은 특히 복잡한 추론 및 에이전트 작업에서 대규모 언어 모델(LLM)을 향상시키기 위한 핵심적인 패러다임으로 부상했습니다. 그러나 RL의 효능은 훈련 데이터의 품질에 매우 민다면적입니다. 궤적이 고정된 지도 미세 조정(SFT)과 달리, RL은 진화하는 정책(policy)에 의해 생성되는 비정상성(non-stationary) 궤적을 포함합니다. 이러한 동적인 특성으로 인해, 대규모로 자동 수집된 코퍼스에서 흔히 발견되는 저품질, 사소하거나 오해의 소지가 있는 인스턴스로부터 훈련 신호가 오염될 가능성이 큽니다.

LLM RL을 위한 기존의 데이터 선택 전략은 중간 정확도(예: 통과율 약 50%인 문제를 선택)나 스칼라 난이도 신호와 같은 단순하고 정적인 휴리스틱에 크게 의존합니다. 이러한 방법들은 특정 훈련 업데이트가 실제로 다운스트림 성능 향상을 향해 정책을 이동시키는지 여부를 고려하지 못합니다. 결과적으로, 이들은 보상 해킹(reward hacking), 불안정성 또는 하위 최적 수렴(suboptimal convergence)을 유발할 수 있는 데이터를 의도치 않게 선택할 수 있으며, 특히 신뢰할 수 없는 보상 신호, 분포 불일치 또는 유용성이 낮은 훈련 데이터가 특징인 도전적인 환경에서 그러합니다.

방법론: GradAlign

저자들은 다운스트림 성능 향상과 일치하는 훈련 문제를 우선시하도록 설계된 자동화된 그래디언트 정보 기반(gradient-informed) 데이터 선택 방법인 GradAlign을 제안합니다.

핵심 통찰

GradAlign은 훈련 문제가 신뢰할 수 있는 작은 검증 세트( $P_v$ )에서의 성능을 개선할 때 가치가 있다는 원리에 따라 작동합니다. 모든 후보의 유용성을 전체 RL 업데이트를 통해 직접 평가하는 것은 계산적으로 불가능하므로, GradAlign은 **정책 그래디언트(policy gradient)**를 사용하여 검증 성능의 기대 개선량을 근사하는 1차 대리물(first-order surrogate)로 사용합니다.

알고리즘 프레임워크

목표 방향 추정: 각 훈련 라운드에서 GradAlign은 작고 신뢰할 수 있는 검증 세트( $P_v$ )에 대한 평균 정책 그래디언트를 계산합니다. 이 집계된 그래디언트 $G_v$ 는 다운스트림 성능을 위한 원하는 업데이트를 나타내는 "목표 방향" 역할을 합니다.
후보 점수 산정: 대규모 풀( $P_r$ ) 내의 각 후보 훈련 문제에 대해, 이 방법은 샘플링된 롤아웃을 사용하여 정책 그래디언트( $g_{r,i}$ )를 추정합니다.
정렬 지표: 이 방법은 개별 그래디언트( $g_{r,i}$ )와 목표 검증 그래디언트( $G_v$ ) 사이의 **코사인 유사도(cosine similarity)**를 기반으로 각 후보에 대한 정렬 점수를 계산합니다.
적응형 커리큘럼: 후보들은 이 정렬 점수에 따라 순위가 매겨지며, 상위 비율이 현재 라운드의 훈련 커리큘럼을 형성하도록 선택됩니다. 결정적으로, 검증 그래디언트는 진화하는 정책에 적응하기 위해 매 선택 라운드 시작 시 재계산되어, 오래된 롤아웃(stale rollouts)에 의해 발생하는 편향을 완화합니다.

이론적 토대

본 논문은 정책 그래디언트를 정확도 개선의 대리물로 사용하는 것에 대한 이론적 정당성을 제공합니다:

정리 4.1: 온폴리시(on-policy) 샘플링 및 이진 보상 하에서, 정책 그래디언트 추정량은 기대 정확도의 그래디언트에 대한 불편 추정량(unbiased estimator)입니다.
정리 4.2: 그룹별 어드밴티지 정규화(GRPO에서 흔히 사용됨)를 사용하더라도, 기대 정확도가 0과 1 사이에 엄격히 존재한다면 정규화된 그래디언트의 기대 방향은 기대 정확도 그래디언트와 일치된 상태를 유지합니다. 이는 그래디언트 크기가 정규화되더라도 코사인 유사도가 유효한 정렬 지표임을 보장합니다.

이 방법은 **그룹 상대적 정책 최적화(GRPO)**를 사용하여 구현되었으나, 다른 온폴리시 RL 목적 함수와도 호환되도록 설계되었습니다.

주요 기여

GradAlign 알고리즘: 정적인 휴리스틱이 아닌, 정책 업데이트의 다운스트림 성능 향상과의 정렬을 기준으로 훈련 샘플을 선택하는 온라인 RL 데이터 선택법을 제안했습니다.
도전적인 환경 식별: 저자들은 기존 방법들이 실패하는 세 가지 구체적인 데이터 환경을 정의하고 실험적으로 검증했습니다:
- 신뢰할 수 없는 보상 신호: 불완{벽한 판사 모델(judge model)로부터 발생하는 노이즈 등으로 인해 정확도가 실제 유용성과 분리되는 시나리오.
- 분포 불균형: 훈련 코퍼스가 이질적이며, 타겟 도메인이 소수만을 차지하는 시나리오.
- 저유용성 훈련 데이터: 유효한 보상은 제공하지만 학습 신호는 거의 없는, 온-디스트리뷰션(on-distribution) 상의 사소한 문제들을 다수 포함하는 대규모 웹 마이닝 데이터셋.
실험적 검증: GradAlign이 이러한 도전적인 환경 전반에서 기존 베이스라인(Random, Accuracy-Greedy, LearnAlign)을 일관되적으로 능가하여 더 안정적인 훈련과 우수한 최종 성능을 달와냄을 종합적인 실험을 통해 입증했습니다.

실험 결과

저자들은 Qwen 모델(1.5B–8B)을 사용하여 세 가지 시나리오에서 GradAlign을 평가했습니다:

시나리오 1: 노이즈가 섞인 보상 (구별 가능성 테스트):
- 설정: 훈련 데이터의 50%가 무작위 베르누이 보상( $p=0.5$ )으로 오염되었으며, 이는 복잡한 문제처럼 보이지만 실제로는 정보가 없는 상황을 모사합니다.
- 결과: GradAlign은 다운스트림 벤치마크(AMC, AIME)에서 베이스라인을 크게 앞질렀습니다. 결정적으로, Accuracy-Greedy가 노이즈로 인해 중간 정확도 점수가 생성됨에 따라 80% 이상의 오염된 데이터를 선택한 반면, GradAlign은 오염된 데이터의 비율을 매우 낮게(~100 스텝에서 17.8%) 유지했습니다.
시나리오 2: 불균형한 데이터셋:
- 설정: 타겟 도메인(Countdown Game)이 전체 풀의 약 12%만을 차지하는 이질적인 문제 혼합 구성.
- 결과: GradAlign은 타겟 도메인의 검증 및 테스트 세트 모두에서 최고 성능을 달성하며 관련 없는 데이터를 성공적으로 필터링했습니다. Accuracy-Greedy는 낮은 초기 정확도로 인해 타겟 도메인 문제를 선택하는 데 실패한 반면, GradAlign의 그래디언트 정렬은 이를 효과적으로 식별했습니다.
시나리오 3: 저유용성 훈련 데이터:
- 설정: 특정 추론 작업(SuperGPQA, TheoremQA, MMLU-Pro)에 초점을 맞춘 대규모 비정제 웹 데이터셋(WebInstruct)에서의 훈련.
- 결과: GradAlign은 모든 타겟 도메인에서 가장 높은 평균 성능을 달성했습니다. 노이즈 침식으로 인해 120 스텝 이후 성능이 저하된 Random 방식과 달리, GradAlign은 안정적인 개선을 유지하며 더 높은 최종 성능에 도달했습니다.

의의 및 주장

본 논문은 정책 그래디언트 방향이 RL 데이터 속성(attribution) 및 커리큘럼 학습을 위한 신뢰할 수 있는 신호라고 주장합니다. 검증 세트를 직접적인 스코어링 신호가 아닌 방향성 프로브(directional probe)로 취급함으로써, GradAlign은 스칼라 기반 휴리스틱보다 RL 훈련의 비정상성을 더 효과적으로 헤쳐 나갑니다.

저자들은 GradAlign이 (그래디언트 추정으로 인해) 필터링되지 않은 훈련 대비 약 65%의 추가 계산 비용을 발생시키지만, 이 비용은 다음의 이유로 정당화된다고 강조합니다:

작은 검증 세트의 그래디언트 계산 비용이 매우 미미함.
정확도 기반 필터링과 비교했을 때 후보 그래디언트 계산의 오버헤드는 상수 배 수준임.
샘elle 효율성과 최종 성능의 상당한 이득이 비효적인 업데이트에 소요되는 총 횟수를 줄여줌.

이 연구는 방향성 그래디언트 신호가 RL 훈련을 안정화하고 최종 모델 역량을 향상시키는 데 필수적임을 시사하며, LLM 강화 학습에서의 데이터 선택에 광범위하게 적용 가능한 접근 방식을 제공합니다. 저자들은 이 방법이 검증 세트가 다운스트림 작업과 대표성을 가져야 한다는 점을 언급하며, 태스크 불가지론적(task-agnostic) 선택을 위해 설계된 것이 아니라는 한계를 인정했습니다.