💬 NLP

Enhanced LLM Reasoning by Optimizing Reward Functions with Search-Driven Reinforcement Learning

본 논문은 자동 생성, 검증 및 GRPO 기반 선별을 통해 보상 함수 명세를 반복적으로 최적화하는 검색 기반 강화 학습 프레임워크를 제안하며, 정적 또는 무작위 보상 앙상블에 비해 GSM8K 에서 수학적 추론 성능을 크게 향상시키는 순위 기반 피드백 루프를 입증합니다.

원저자: Arash Ahmadi (Mike), Sarah Sharif (Mike), Yaser (Mike), Banad

게시일 2026-05-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Arash Ahmadi (Mike), Sarah Sharif (Mike), Yaser (Mike), Banad

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 똑똑한 학생 (대형 언어 모델) 이 있는데, 말하기는 뛰어나지만 수학 문제 풀이에는 때때로 어려움을 겪습니다. 여러분은 그 학생이 수학 문제를 더 잘 풀 수 있도록 가르치고 싶어 합니다. 보통은 숙제를 채점할 교사를 고용하겠죠. 하지만 이 논문에서 저자들은 다른 질문을 던집니다. "만약 숙지를 완벽하게 채점하는 방법을 정확히 알지 못한다면 어떨까요? 만약 AI 가 최고의 채점 규칙을 발명하도록 돕는다면 어떨까요?"

이들이 어떻게 했는지 간단히 설명해 드리겠습니다.

1. 문제: "채점 기준표"의 미스터리

AI 세계에서는 모델이 더 잘 생각하도록 가르치기 위해 **강화 학습 (Reinforcement Learning)**이라는 시스템을 사용합니다. 이는 개를 훈련시키는 것과 비슷합니다.

개: AI 모델.
간식: "보상" (긍정적인 점수).
재주: 수학 문제를 올바르게 푸는 것.

문제는 "간식" (보상 함수) 을 설계하는 것이 어렵다는 점입니다. AI 에게 "정답을 맞추면 잘했다"고 말하면, 실제로 생각하지 않고 추측하거나 패턴을 복사하는 식으로 속일 수 있습니다. 만약 AI 가 취하는 단계에 보상을 주려 한다면 복잡한 규칙을 작성해야 하며, 그 규칙들에서 실수하기 쉽습니다.

2. 해결책: "채점 규칙 공장"

저자들은 채점 규칙 자체를 최적화할 대상으로 삼는 시스템을 구축했습니다. 그들은 규칙을 직접 작성하지 않았고, 대신 AI(김미 K2 라는 이름의 '최전선' 모델) 가 규칙 발명가로 활동하는 공장을 세웠습니다.

다음은 공장이 작동하는 방식입니다.

1 라운드: 규칙 발명가 AI 에게 수학 문제 20 개가 주어지고 이를 채점하는 새로운 방법 10 가지를 작성하라고 요청받습니다. 이 규칙들은 간단한 컴퓨터 코드 (요리법과 같은) 로 작성됩니다.
안전 점검: 이러한 규칙들이 사용되기 전에, 위험하거나 고장 난 것이 아닌지 확인하기 위해 "보안 스캐너"를 통과합니다.
테스트 주행: 연구자들은 작은 수학 학생 (30 억 파라미터 AI 모델) 을 데려와 이 새로운 규칙 중 하나를 사용하여 짧은 시간 (500 단계) 동안 문제 풀이를 연습하게 합니다.
성적표: 연구자들은 학생이 시험에서 얼마나 잘 수행했는지 확인합니다. 새로운 규칙이 학생의 점수 향상에 도움이 되었다면 그 규칙은 높은 순위를 매깁니다. 규칙이 학생을 혼란스럽게 했다면 낮은 순위를 매깁니다.
피드백 루프: 최상위 성능을 보인 규칙들을 요약하여 규칙 발명가 AI 에게 다시 전달합니다. AI 에게 "이봐, 생각의 단계 수를 세는 규칙은 잘 작동했어. 단순히 최종 답안만 본 규칙은 그렇게 잘 작동하지 않았어. 이를 바탕으로 새로운 규칙을 발명해 봐"라고 알려줍니다.

이 사이클을 5 번 반복하여 50 개의 다양한 후보 규칙을 생성했습니다.

3. 결과: "황금 규칙" 찾기

5 라운드 후, 그들은 몇몇 승자들을 찾았습니다.

최고의 단일 규칙: thinking_steps_count 라는 이름의 한 규칙이 챔피언이었습니다. 이 규칙은 AI 가 적어도 세 개의 서로 다른 줄에 생각 과정을 적어내면 추가 점수를 주었습니다. 정답이 맞는지 확인한 것은 아닙니다 (기초 시스템이 그 일을 했습니다); 그저 AI 가 자신의 풀이 과정을 보여 주도록 장려한 것입니다.
팀워크의 힘 (앙상블): 그들은 하나의 규칙만으로는 부족하다는 것을 깨달았습니다. 그래서 최고의 규칙 5 개를 가져와 "슈퍼 채점 팀"으로 결합했습니다.
- 결과: 이 규칙 팀은 AI 가 기본 규칙만 사용했을 때의 60% 성공률에서 79.5% 성공률로 점프하도록 도왔습니다.
- "마법" 확인: 단순히 운이나 규칙의 sheer 수 때문이 아님을 증명하기 위해, 더미에서 무작위로 선택한 5 개의 규칙으로 구성된 "무작위 팀"을 시도해 보았습니다. 그 무작위 팀은 실패하여 AI 가 거의 모든 것을 틀렸습니다. 이는 피드백 루프 (어떤 규칙이 작동하는지 학습하고 그 정보를 발명가에게 되돌려 주는 것) 가 단순히 규칙을 더 많이 가진 것이 아니라 비밀 소스였음을 증명했습니다.

4. AI 가 속였을까요? ("보상 해킹" 감사)

"생각하는 줄을 더 많이 써 달라"고 AI 에게 말하면, 점수를 얻기 위해 페이지를 뜬구름 잡는 말로 채울 것이라는 일반적인 두려움이 있습니다.

감사: 저자들은 AI 의 답안을 확인했습니다. 그들은 AI 가 정답을 맞췄을 때, 틀렸을 때보다 실제로 더 많은 줄을 쓰고 더 많은 수학 기호를 사용했다는 사실을 발견했습니다.
결론: AI 는 빈 공간을 채워 속이지 않았습니다. 규칙이 그렇게 하도록 장려했기 때문에 진정으로 더 열심히 생각한 것입니다.

5. 왜 이것이 중요한가

접근성: 슈퍼컴퓨터가 필요하지 않습니다. 그들은 이 전체 실험을 게이머들이 사용하는 것과 같은 단일 고성능 소비자용 그래픽 카드에서 약 40 시간 만에 실행했습니다.
자동화: 인간 전문가가 완벽한 채점 기준표가 어떻게 생겼는지 추측하는 데 몇 주를 보내는 대신, 이 시스템이 이러한 규칙들을 자동으로 발견합니다.
투명성: 규칙들은 블랙박스가 아닙니다. 인간이 읽고, 이해하고, 수정할 수 있는 간단한 파이썬 코드입니다.

한 마디로 요약하면: 이 논문은 AI 가 다른 AI 를 위한 채점 시스템을 설계하도록 돕고, 학생의 수행 정도에 따라 그 규칙들을 지속적으로 정제한다면, 정적이며 인간이 작성한 규칙 세트만 주는 것보다 학생이 훨씬 더 잘 생각하도록 가르칠 수 있음을 보여줍니다.

기술 요약: 탐색 기반 강화 학습을 통한 보상 함수 최적화로 향상된 LLM 추론

문제 제기

수학적 추론은 유창한 텍스트 생성뿐만 아니라 중간 단계의 일관성, 숫자 처리, 그리고 정확한 최종 답변을 요구하는 대규모 언어 모델 (LLM) 의 핵심 벤치마크 역할을 합니다. 강화 학습 (RL) 은 LLM 을 원하는 행동과 정렬시키기 위한 표준 사후 학습 메커니즘으로 부상했으나, 그 효과는 보상 함수의 설계에 매우 민감합니다. 현재의 접근 방식은 종종 수동적이고 전문가 주도적인 보상 명세를 의존하는데, 이는 오류 발생 가능성이 높고 상당한 시행착오를 요구하며, 부수적으로 '보상 해킹 (reward hacking)'이나 취약한 행동을 유발할 수 있습니다. 더 나아가 기존 문헌은 보상 함수를 고정된 인프라 (예: 수동 제작 규칙 또는 훈련된 보상 모델) 로 주로 다루지, 최적화의 대상 자체로 간주하지는 않았습니다. 본 논문은 RL 사후 학습 과정에서 사용되는 보상 명세를 체계적으로 탐색하고 개선할 수 있는지, 특히 베이스 모델은 고정된 채 보상 함수가 주요 설계 변수가 되는 설정에서 이를 다룹니다.

방법론

저자들은 보상 함수 명세를 반복적 최적화 문제로 간주하는 탐색 기반 프레임워크를 제안합니다. 이 파이프라인은 고정된 베이스 모델과 프론티어 LLM 을 생성기로 사용하여 5 라운드에 걸쳐 작동하며, 후보 보상 함수들을 생성하고 평가합니다.

핵심 구성 요소

베이스 모델 및 학습 설정:
- 모델: Meta 의 Llama-3.2-3B-Instruct 를 랭크 32 의 저랭크 적응 (LoRA) 을 사용하여 미세 조정했습니다.
- 알고리즘: 그룹 상대 정책 최적화 (GRPO) 를 적용했습니다. 이는 PPO 의 별도 비평가 네트워크를 샘플링된 출력의 그룹 상대 정규화로 대체하여 메모리 오버헤드를 줄이고 수학적 추론 능력을 향상시킵니다.
- 데이터셋: GSM8K (학습 예시 7,473 개, 테스트 예시 1,319 개).
- 출력 형식: 추론과 최종 답변을 분리하기 위해 <thinking> 및 <solution> 태그가 포함된 구조화된 출력.
고정 베이스 보상:
모든 학습 실행에는 세 가지 보호된 베이스 보상이 포함되며, 생성된 후보들에 의해 재정의될 수 없습니다:
- match_format_exactly: <thinking> 및 <solution> 태그의 정확한 짝짓기를 보상합니다.
- match_format_approximately: 태그의 유무에 대해 단계별 신호를 제공합니다.
- check_answer: 정답 추출된 숫자 답변을 지상 진실 (ground truth) 과 비교하여 평가하며, 단계별 점수 (정확 일치, 정규화, 비율 확인) 를 적용합니다.
탐색 기반 생성 루프:
- 생성기: 프론티어 LLM(Kimi K2) 이 라운드당 10 개의 후보 보상 함수를 생성합니다 (5 라운드 총 50 개).
- 프롬프팅: 생성기는 20 개의 무작위 GSM8K 예시, 서명 명세, 그리고 이전 라운드들의 성능에 대한 순위 요약 정보를 받아 생성을 안내하고 의미적 중복을 피합니다.
- 검증: 후보들은 안전성과 실행 가능성을 보장하기 위해 4 단계 샌드박스 검증 (AST 임포트 확인, 잠금 실행, 제한된 네임스페이스, 프로브 호출) 을 거칩니다.
- 선별: 유효한 후보들은 세 가지 베이스 보상과 함께 GSM8K 학습 분할에서 500 단계의 GRPO 로 학습됩니다.
- 순위 매기기: 모델들은 F1 점수 (정밀도와 재현율의 조화 평균) 를 주요 순위 지표로 사용하여 GSM8K 테스트 세트에서 평가됩니다. 순위 요약은 다음 생성 라운드로 피드백됩니다.
앙상블 구성:
탐색 후, 최상위 성능을 보이는 보상들은 앙상블로 결합됩니다. 7 가지 구성이 테스트되었으며, 크기 (3 개에서 10 개의 발견된 보상) 와 선택 전략 (최상위 순위 대 라운드 간 다양성 기반) 이 다양했습니다. 앙상블 보상은 세 가지 베이스 보상과 선택된 발견된 보상들의 요소별 합입니다.

주요 기여

보상 탐색의 공식화: 본 논문은 LLM 추론을 위한 보상 명세를 실행 가능한 Python 코드를 통한 반복적 생성–검증–학습–순위 매기기 루프로 공식화하여, 보상 자체를 탐색 대상으로 다룹니다.
GRPO 통합: 이 프레임워크는 계산 효율적이고 추론 관련성이 높은 정책 최적화기인 GRPO 하에서 구체적으로 이 탐색 루프를 적용하여, 매개변수 효율적 미세 조정 제약 내에서 보상 발견이 가능함을 입증합니다.
앙상블 분석: 연구는 여러 발견된 보상을 결합하는 것이 개별 보상보다 더 강력한 신호를 제공하는지 조사했으며, 5 개 이상의 보상으로 구성된 앙상블이 단일 보상 또는 베이스만 있는 구성보다 현저히 우수함을 발견했습니다.
실증적 엄밀성: 본 논문은 부트스트랩 신뢰 구간, 보너페로니 보정을 적용한 쌍별 맥네마르 검정, 그리고 보상 해킹 (예: 줄 채우기) 과 형식 준수를 위한 특정 감사를 포함한 포괄적인 분석을 제공합니다.

결과

탐색 궤적: 5 라운드에 걸쳐 생성된 보상들의 평균 F1 점수는 1 라운드 0.596 에서 5 라운드 0.632 로 증가했습니다. 최상위 개별 보상 (thinking_steps_count) 은 0.787 의 F1 을 달성했습니다.
앙상블 성능: 최상 앙상블 구성 (ens_diverse_rounds, 3 개 베이스 보상 + 5 개의 다양한 발견된 보상 결합) 은 0.795의 F1 과 0.660의 정확도 (95% CI [0.635, 0.686]) 를 달성했습니다.
통계적 유의성: 보너페로니 보정을 적용한 쌍별 맥네마르 검정 ( $\alpha \approx 0.0024$ ) 은 5 개 이상의 발견된 보상을 가진 모든 앙상블이 서로 통계적으로 구별되지 않지만, 베이스만 있는 기준선 (F1 = 0.609) 과 더 작은 앙상블들보다 유의하게 우수함을 보여주었습니다.
대조 실험:
- 무작위 기준선: 무작위로 추출된 5 개 보상 앙상블은 F1 0.047 로 붕괴되었으며, 이는 성취가 단순히 더 많은 보상을 가진다는 가산적 신호가 아니라 순위 피드백 루프에 의해 주도됨을 입증했습니다.
- 시드 강건성: 세 가지 다른 시드로 최상 앙상블을 재학습한 결과 F1 점수가 $0.785 \pm 0.013$ 으로 나타나, 결과의 질적 순서가 학습 변동성에 강건함을 확인했습니다.
보상 해킹 감사: 최상 구조적 보상 (thinking_steps_count) 에 대한 분석은 올바른 응답들이 잘못된 응답들보다 자연스럽게 더 많은 추론 줄과 더 높은 산술 밀도를 포함함을 보여주었으며, 이는 모델이 빈 줄 채우기를 통해 보상을 악용하지 않았음을 시사합니다.
기준선 비교: GRPO 로 학습된 Llama-3.2-3B 모델은 엄격한 정확도와 F1 모두에서 2B~4B 매개변수 범위의 다섯 가지 오프더셸 모델 (Qwen 및 Phi 변형 포함) 을 능가했습니다.

중요성 및 주장

본 논문은 RL 사후 학습에서의 보상 명세를 인간 직관에 의존하는 과정을 자동화할 수 있는 신뢰할 수 있는 탐색 대상으로 간주할 수 있다고 주장합니다.

접근성: 전체 파이프라인은 단일 소비자 등급 GPU(NVIDIA RTX 5090) 에서 약 40 시간 내에 실행되어, 자동화된 보상 발견을 학술 및 소규모 산업 예산에서도 접근 가능하게 합니다.
감사 가능성: 블랙박스 보상 모델과 달리, 발견된 보상들은 실무자가 감사, 수정, 결합할 수 있는 가독성 있는 Python 코드입니다.
일반화 가능성: GSM8K 에서 평가되었지만, 저자들은 이 '레시피'가 코드 생성, 과학적 문제 해결 등 다른 추론 영역으로 이전 가능하며, 고비용 보상 모델 훈련에 대한 실용적인 대안을 제공한다고 주장합니다.
겸손함: 저자들은 명시적으로 이 기여가 GSM8K 자체의 새로운 최첨단 성능을 주장하는 것이 아니라 방법론적임을 밝힙니다. 주요 증거는 파이프라인 내부에 있습니다: 보상의 반복적 개선, 무작위 대조군의 붕괴, 그리고 시드 간 앙상블 순서의 강건성입니다. 본 논문은 발견된 보상들이 보편적으로 최적임을 주장하는 것이 아니라, 탐색 과정이 고정된 베이스 모델을 위해 고성능 구조적 신호를 효과적으로 식별한다는 점에 초점을 맞춥니다.