기술 요약: RIDE – 문항 반응 이론을 이용한 수학적 추론을 위한 난이도 진화형 섭동(Perturbation)

1. 문제 정의

대규모 언어 모델(LLM)은 수학적 추론 벤치마크에서 높은 성능을 보여주었습니다. 그러나 저자들은 이러한 결과가 진정한 추론 능력보다는 데이터 오염(훈련 데이터의 암기) 또는 표면적인 패턴 매칭에 의해 부풀려졌을 수 있다고 주장합니다. 기존의 적대적 평가 방법, 특히 규칙 기반 섭동 기술(예: 수치 치환)은 다음과 같은 두 가지 결정적인 한계를 가집니다:

1. 부적절한 질문(Ill-posed Questions): 이들은 종종 해결 불가능하거나 정답이 여러 개인 질문을 생성하여, 신뢰할 수 있는 벤치마크로서의 타당성을 저해합니다.
2. 정적인 난이도(Static Difficulty): 이들은 체계적으로 질문의 난이도를 진화시키지 못하며, 종종 동일한 난이도 수준에 머물거나 견고한 추론을 테스트하는 데 필요한 내재적 복잡성을 포착하지 못합니다.

본 논문은 수학적 질문의 잘 정의된(well-posed) 형태이면서도 본질적으로 더 도전적인 변형을 생성하여, 진정한 추론 강건성을 엄격하게 측정할 수 있는 적대적 프레임워크의 필요성을 식별했습니다.

2. 방법론: RIDE 프레임워크

저자들은 벤치마크 섭동 재작성 프레임워크인 RIDE(RIDE: Difficulty Evolving Perturbation with Item Response Theory)를 제안합니다. 핵심 혁신은 **문항 반응 이론(IRT)**을 사용하여 질문의 난이도를 측정하고, 질문 재작성을 위한 강화 학습(RL) 과정을 가이드하는 데 있습니다.

2.1. IRT 기반 난이도 추정

수학적 질문의 난이도를 인간의 인지적 복잡성이 아닌 모델 중심의 관점에서 정량화하기 위해, 저자들은 35개의 최첨단 LLM을 "학생"으로 취급했습니다.

• 데이터 구축: 고난도 DeepMath 데이터셋에서 2,000개의 질문을 샘플링하고 35개의 LLM이 이를 풀게 하여, 이진 응답 행렬($Y \in \{0, 1\}^{M \times N}$)을 생성했습니다.
• 파라미터 추정: Rasch 모델(1-파라미터 IRT 모델)을 사용하여, 변분 추론(Variational Inference, VI)을 통해 각 모델의 잠재 능력($\theta$)과 각 질문의 난이도($d$)를 추정했습니다. 정답 확률은 $P(y=1|\theta, d) = \sigma(\theta - d)$로 모델링됩니다.
• 난이도 순위 지정기(Difficulty Ranker): 임베딩으로부터 직접 난이도 점수를 회귀하는 방식(심볼릭 수학에서는 신뢰도가 낮을 수 있음) 대신, **쌍체 순위 지정기(pairwise difficulty ranker)**를 훈련시켰습니다. 이 모델은 두 질문의 임베딩을 입력받아, IRT로 추정된 난이도 레이블을 바탕으로 어느 하나가 다른 하나보다 더 어려운 질문일 확률을 예측합니다. 이 순위 지정기는 재작성 모델을 위한 보상 신호 역할을 합니다.

2.2. 난이도 진화를 위한 강화 학습

저자들은 Qwen3-8B를 기반으로 한 질문 재작성 모델을 2단계 프로세스를 통해 훈련시킵니다.

1. 지도 미세 조정(Supervised Fine-Tuning, SFT): 모델이 형식과 기본적인 재작성 능력을 학습할 수 있도록 GPT-5-mini로부터 추출된 2,000개의 고품질 재작성 질문으로 초기화합니다.
2. 강화 학습(Reinforcement Learning, RL): 모델은 **GSPO(Group Sequence Policy Optimization)**를 사용하여 추가 최적화됩니다. 보상 함수는 두 가지 구성 요소로 이루어집니다.
   • 난이도 보상 ($R_{diff}$): 쌍체 순위 지정기에 의해 계산됩니다. 이는 재작성된 질문($q'$)이 원래 질문($q$)보다 더 어려울 확률을 측정합니다. $R_{diff} = p(q', q) - p(q, q')$.
   • 정확성 보상 ($R_{cor}$): 교사 모델(GPT-5-mini)이 재작성된 질문이 유일하고 올바른 해를 갖는지 검증합니다. 이는 섭동된 질문이 여전히 잘 정의된 상태를 유지하도록 보장합니다.

최종 모델인 RIDE-8B는 논리적 일관성을 유지하면서 난이도를 높이는 질문을 적응적으로 생성하도록 설계되었습니다.

3. 주요 기여

1. 새로운 프레임워크: 수학적 추론을 위한 적대적, 난이도 진화형 섭동을 생성하기 위해 IRT와 강화 학습을 결적합한 RIDE 프레임워크를 제안했습니다.
2. IRT 기반 난이도 순위 지정기: IRT로 추정된 난이도로 훈련된 쌍체 순위 모델을 개발하여, RL 기반 질문 재작성을 가이드하는 강력한 보상 신호를 제공합니다.
3. 리소스: 다음의 결과물을 공개합니다:
   • RIDE-8B: 훈련된 질문 재작성 모델.
   • RIDE-AIME & RIDE-AMC: 경시대회 수준의 벤치마크(AIME-24 및 AMC-23)를 섭동시킨 버전.
   • RIDE-DeepMath: 훈련 및 데이터 증강을 위한 10,000개 이상의 재작성된 질문 데이터셋.

4. 실험 결과

저자들은 26개의 LLM(GPT-5, Grok-4와 같은 독점 모델 및 DeepSeek-V3.1, Llama 시리즈와 같은 오픈 소스 모델 포함)을 대상으로 원본 및 섭동된 벤치마크 전반에 걸쳐 RIDE를 평가했습니다.

• 성능 저하: 섭동된 벤치마크는 테스트된 모든 모델에서 평균 **21.73%**의 상당한 성능 하락을 유발했습니다. GPT-5 및 DeepSeek-V3.1-Thinking과 같은 최첨단 모델에서도 성능 저하가 나타나, 이 평가 방법의 강건함을 확인했습니다.
• 베이스라인과의 비교: RIDE는 "승률(win rate)"(완전성, 명확성 및 구조적 섭동 측면에서의 재작성 품질) 측면에서 규칙 기반 방법(예: GSM-PLUS) 및 대조 프롬프팅 전략을 크게 능가했습니다.
• 절제 연구(Ablation Studies):
  • 난이도 보상($R_{diff}$) 또는 정확성 보상($R_{cor}$)을 제거하면 재작성 품질이 낮아지고 효과가 감소했습니다.
  • RL로 튜닝된 모델은 SFT 전용 베이스라인에 비해 더 높은 난이도 점수와 정확성을 달もので했습니다.
• 데이터 증강: RIDE를 훈련 데이터 증강에 사용할 경우, RIDE가 생성한 샘플은 작은 모델(예: Qwen3-0.6B 및 Gemma3-4B)의 수학적 추론 성능을 향상시켰으며, 일부 증강된 모델은 GPT-4o와 같은 더 큰 베이스 모델을 능가하기도 했습니다.

5. 의의 및 주장

본 논문은 RIDE가 표면적인 패턴 매칭을 넘어 수학적 추론에 대한 강력한 평가 관점을 제공한다고 주장합니다. 단순한 노이즈 주입이 아닌 "난이도 진화"에 집중함으로써, RIDE는 LLM의 내재된 취약성을 드러냅니다.

저자들은 관찰된 성능 저하가 인간이 인지하는 난이도의 변화가 아니라 모델의 **비강건성(non-robustness)**에 의해 발생한다는 점을 강조합니다. 통계적 분석(McNemar's test)을 통해, 모델들이 원본과 의미론적 유사성을 유지함에도 불구하고 재작성된 질문에서는 실패하는 유의미한 비대칭성을 확인했습니다.

또한, 본 논문은 RIDE를 단순한 평가 도구가 아니라 LLM의 수학적 추론 능력을 향상시킬 수 있는 고품질의 도전적인 훈련 데이터를 생성할 수 있는 데이터 증강 전략으로도 포지셔닝합니다. 이 연구는 현재의 벤치마크가 추론 능력을 과대평가할 수 있으며, 모델의 능력을 보다 정확하게 평가하기 위해서는 적대적이고 난이도가 진화하는 섭동이 필요함을 시사합니다.