Model Capability Dominates: Inference-Time Optimization Lessons from AIMO 3

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 수학 경시대회 (IMO 수준) 와 같은 복잡한 추론 작업에서 대규모 언어 모델 (LLM) 의 성능을 높이기 위해 '다수결 투표 (Majority Voting)' 기법이 널리 사용됩니다. 이는 여러 번의 추론 시도 (Inference attempts) 를 통해 정답을 도출하는 방식입니다.
• 핵심 문제: 다수결 투표의 효과는 각 시도의 오류가 서로 **독립적 (Independent)**일 때만 극대화됩니다. 하지만 실제론 동일한 모델과 프롬프트를 사용할 경우, 무작위 시드 (Random seed) 가 달라도 모델은 동일한 체계적 오류 (Systematic errors) 를 반복합니다. 이로 인해 **오류 상관관계 (Error Correlation, $\rho$)**가 발생하여 유효 샘플 크기가 감소합니다.
• 가설: 서로 다른 추론 전략 (예: "작은 경우부터 시작하기", "역으로 추론하기" 등) 을 가진 다양한 프롬프트를 사용하여 오류 상관관계를 낮추고 (Decorrelate), 다수결 투표의 정확도를 높일 수 있을까?
• 목표: 이 가설을 검증하기 위해 저자는 AIMO 3 (AI Mathematical Olympiad Progress Prize 3) 대회에 참여하여, 단일 모델 내에서 다양한 프롬프트 전략을 혼합하는 **'다양한 프롬프트 믹서 (Diverse Prompt Mixer)'**를 제안하고 실험했습니다.

2. 방법론 (Methodology)

• 실험 환경:
  • 하드웨어: 단일 NVIDIA H100 80GB GPU (Kaggle 환경, 5 시간 제한).
  • 모델: gpt-oss-120b (총 116.8B 파라미터, MoE 구조로 활성 파라미터 5.1B). FP8 양자화 및 vLLM 을 통해 로컬 서빙.
  • 파이프라인: 50 개의 IMO 수준 문제 해결을 위해 8 개의 병렬 추론 스레드 실행, Python 코드 실행 (Tool-integrated reasoning), 엔트로피 가중 다수결 투표.
• 주요 실험 설계 (Diverse Prompt Mixer):
  • 전략: 4 가지 서로 다른 시스템 프롬프트를 정의했습니다.
    1. Original: 표준 단계별 추론 (계획, 실행, 검증).
    2. Small Cases First: 작은 경우 ($n=1,2,3...$) 나열 후 패턴 발견 및 증명.
    3. Work Backwards: 제약 조건 나열 후 역으로 답 도출.
    4. Classify Then Solve: 문제 유형 분류 후 표준 기법 적용.
  • 구성: 이 전략들을 다양한 비율로 혼합 (예: 5:1:1:1, 2:2:2:2 등) 하여 8 개의 병렬 시도 (N=8) 에 할당했습니다.
  • 비교 대상: 단일 프롬프트 (Baseline), 온도 (Temperature) 조절, 다른 모델 (Qwen3.5-35B, Nemotron-Super-120B) 비교.
• 제약 조건: 50 문제를 5 시간 내에 해결해야 하므로, 시간 예산 관리와 병렬 처리 효율성이 핵심이었습니다.

3. 주요 결과 (Key Results)

• 다양성 믹서의 실패:
  • 프롬프트 다양성을 높일수록 (Original 프롬프트를 다른 전략으로 대체할수록) 성능은 일관되게 하락했습니다.
  • Baseline (Original 프롬프트 8 개): 평균 점수 39.7/50.
  • 균등 혼합 (Equal Mix): 평균 점수 38/50.
  • Code-first 전략: 한 번의 실험에서 41 점을 기록했으나, 확인 실험 (Confirmation runs) 에서 38, 34 점으로 떨어지며 평균 37.7 점으로 Baseline 보다 낮았습니다.
• 모델 능력의 지배적 영향:
  • 성능 격차: gpt-oss-120b (성능 39.7) 와 차기 모델들 (Qwen3.5, Nemotron 등, 성능 23~26) 사이에는 약 17 점의 격차가 존재했습니다.
  • 추론 최적화의 한계: 프롬프트 엔지니어링, 온도 조절, 전략 혼합 등 모든 추론 시간 최적화 (Inference-time optimization) 시도는 이 능력 격차 (17 점) 에 비해 미미한 효과 (±2 점 이내) 만 보였습니다.
  • 결론: 모델의 기본 능력 (Model Capability) 이 추론 시간 최적화보다 10 배 이상 (Order of magnitude) 중요한 요소로 작용했습니다.
• 상관관계 분석:
  • 높은 온도 (T=1.0) 에서 이미 모델은 충분히 다양한 추론 경로를 탐색하여 오류 상관관계 ($\rho$) 가 이미 0 에 가깝거나 음수 (-0.113 ~ -0.258) 였습니다.
  • 즉, **고온 샘플링 (High-temperature sampling) 만으로도 오류가 충분히 비연관화 (Decorrelated)**되어 있어, 추가적인 프롬프트 다양성은 불필요하거나 오히려 정확도를 떨어뜨리는 요인이 되었습니다.

4. 핵심 기여 및 통찰 (Key Contributions & Insights)

1. 추론 시간 최적화의 한계 증명: IMO 수준과 같이 모델의 능력 한계 (Capability Frontier) 에 근접한 난이도에서는, 프롬프트 다양성이나 전략 혼합과 같은 추론 시간 최적화 기법이 성능 향상에 거의 기여하지 않음을 실증했습니다.
2. 고온 샘플링의 충분성: T=1.0 정도의 높은 온도 설정만으로도 모델 내부에서 충분한 다양성이 생성되므로, 의도적인 프롬프트 변경은 중복되거나 해가 될 수 있음을 보였습니다.
3. 모델 능력의 우위성: 제한된 하드웨어 환경 (단일 H100) 에서도 가장 큰 모델 (gpt-oss-120b) 을 사용하는 것이, 작은 모델을 여러 번 실행하거나 복잡한 프롬프트를 사용하는 것보다 훨씬 효과적입니다.
4. 경쟁 전략의 변화: AIMO 1 (N=48, 브루트 포스) 에서 AIMO 2 (커스텀 학습) 를 거쳐 AIMO 3 에서는 고성능 오프 - 더 - 쉘 (Off-the-shelf) 모델 + 고온 샘플링 + 다수결이 최선의 전략임을 시사합니다.

5. 의의 및 시사점 (Significance)

• 실용적 가이드: 수학 경시대회나 복잡한 추론이 필요한 태스크에서, "더 똑똑한 모델"을 찾는 것이 "더 복잡한 프롬프트"를 만드는 것보다 훨씬 중요함을 강조합니다.
• 자원 할당: 제한된 컴퓨팅 자원 (시간, GPU) 이 있을 경우, 프롬프트 엔지니어링에 시간을 투자하기보다는 가능한 가장 큰 모델을 선택하고, 제출 횟수 (Lottery tickets) 를 늘리는 것이 최적의 전략입니다.
• 미래 연구 방향: 프롬프트 다양성이 효과적이려면 모델이 다양한 지시 형식 (Instruction formats) 에 대해 강건 (Robust) 해야 합니다. 현재 대부분의 수학 모델은 특정 포맷 (CoT, TIR 등) 으로만 훈련되어 있어, 다른 전략 프롬프트를 주면 정확도가 떨어집니다. 따라서 추론 시간 최적화보다는 **훈련 데이터의 다양성 (Mixture of Formats)**을 높이는 것이 근본적인 해결책일 수 있습니다.

요약

이 논문은 "다양한 프롬프트를 섞어 오류 상관관계를 줄이면 성능이 좋아질 것이다"라는 직관을 실험적으로 반박했습니다. 고온 샘플링만으로도 오류가 충분히 무작위화되며, 프롬프트를 다양화하면 오히려 모델의 기본 추론 능력을 저하시켜 성능이 떨어진다는 것을 발견했습니다. 결론적으로, 모델의 기본 능력 (Model Capability) 이 추론 시간 최적화 전략보다 압도적으로 중요하며, 제한된 환경에서는 가장 큰 모델을 사용하는 것이 최선임을 증명했습니다.