Less Is More: Cognitive Load and the Single-Prompt Ceiling in LLM Mathematical Reasoning

논문 개요

이 논문은 SAIR Equational Theories Stage 1 대회 (대수적 구조인 '모노이드 (magma)'에 대한 방정식 함의 관계 판단) 를 배경으로, 대형 언어 모델 (LLM) 의 형식적 수학 추론에서 프롬프트 엔지니어링의 한계를 체계적으로 실증 분석한 연구입니다. 저자는 복잡한 프롬프트가 오히려 성능을 저하시키거나 특정 분포에만 과적합되는 현상을 발견하고, 이를 '단일 프롬프트 천장 (Single-Prompt Ceiling)' 또는 **'실증적 포화 영역 (Empirical Saturation Region)'**이라고 명명했습니다.

1. 연구 문제 (Problem)

• 작업 정의: 두 개의 방정식 $E_1, E_2$가 주어졌을 때, 모든 모노이드 (단항 연산을 가진 대수적 구조) 에서 $E_1 \Rightarrow E_2$가 성립하는지 (True) 또는 반례가 존재하는지 (False) 판단하는 문제.
• 본질적 비대칭성:
  • False 판정: 유한한 크기의 반례 (counterexample) 를 하나만 찾으면 증명 가능 (결정 가능).
  • True 판정: 무한한 대수적 구조를 포함한 모든 경우에서 반례가 없음을 증명해야 하므로, 일반적으로 결정 불가능 (undecidable).
• LLM 의 한계: LLM 은 외부 기호 도구가 없이 단일 생성 과정에서 이 두 가지 상반된 추론 (유한 탐색 vs. 보편적 증명) 을 모두 수행해야 하며, 이는 고정된 프롬프트로 해결하기 어려운 인지적 부하를 유발합니다.

2. 방법론 (Methodology)

• 실험 기간 및 규모: 5 주간의 체계적 실험 기간 동안 40 개 이상의 프롬프트 변형 (AN 시리즈) 을 설계 및 테스트.
• 데이터셋: 4 개의 분할 (Split) 사용.
  • hard1: False 비율이 높은 불균형 분포 (35% True).
  • hard2, hard3: 균형 잡힌 분포 (50% True). hard3($n=400$) 을 주요 평가 세트로 사용.
• 평가 모델:
  • gpt-oss-120b: 주요 평가 모델 (OpenRouter/DeepInfra 경유).
  • Llama 3.3 70B, Gemma 4 31B: 교차 검증용 모델.
• 프롬프트 설계 변수:
  • 반례 테이블 (CE table) 의 내용과 크기 (4,878 바이트까지).
  • 단일 요소 강제 규칙 (Singleton-forcing rules).
  • 블록 규칙 (Block rules) 및 지시어 순서 (Trivial-magma check 순서).
• 평가 지표: 정확도 (Accuracy), True 재현율 (Recall), False 재현율.

3. 주요 기여 (Key Contributions)

1. 단일 프롬프트 천장 (Single-Prompt Ceiling) 발견:
   • 프롬프트를 아무리 복잡하게 만들어도 gpt-oss-120b 의 균형 잡힌 하드 문제 정확도는 60~79% 구간에서 포화됨을 증명.
   • 이는 모델이 내부적으로 수학 지식을 갖지 않은 한, 프롬프트로 가르칠 수 있는 한계가 있음을 시사.
2. 분포 불일치 실패 모드 (Distribution Mismatch Failure Mode):
   • False 비율이 높은 데이터 (hard1) 에서 최적화된 프롬프트가 균형 잡힌 데이터 (hard2) 에서는 치명적인 성능 저하를 보임.
   • 예: AN3c 프롬프트는 hard1 에서 78.3% 정확도를 보였으나, hard2 에서는 60% 로 하락 (True 문제를 False 로 잘못 분류).
3. 모델 간 일반화 분석:
   • 복잡한 프롬프트는 약한 모델 (Llama 70B) 에서 인지 부하로 인해 성능이 붕괴 (True 재현율 0%) 함.
   • 반면, 간결한 프롬프트 (AN19c, 289 바이트) 는 여러 모델에서 일관된 성능을 유지.
4. 순서 효과 (Ordering Effect):
   • AN45c: '자명한 모노이드 (trivial-magma) 체크'를 '반례 테이블'보다 앞서 배치.
   • AN38: 반례 테이블을 먼저 배치.
   • 결과: AN45c 가 AN38 보다 약 7.5%p 더 높은 정확도 (로컬 평가 기준) 를 기록. 이는 모델의 주의 (attention) 메커니즘이 프롬프트의 순서에 민감하게 반응함을 보여줌.
5. 크로스-분포 트레이드오프 (Cross-Distribution Trade-off Surface):
   • 로컬 환경에서 높은 성능을 낸 프롬프트가 공식 벤치마크 (다른 분포) 에서는 기저선 (baseline) 보다도 낮은 성능을 보이는 현상 확인.

4. 주요 결과 (Results)

• 최고 성능 (로컬 기준):
  • AN45c (2,252 바이트): gpt-oss-120b 기준 hard3 에서 79.25% 정확도 (95% CI: [75.0%, 82.9%]).
  • True 재현율 95.9%, False 재현율 63.4% 로, 기저선 (59.75%) 대비 True 재현율과 False 재현율 모두 개선.
  • 핵심 인사이트: 새로운 내용을 추가한 것이 아니라, 기존 구성 요소의 순서 (Trivial-magma check 우선) 를 변경한 것이 성능 향상의 주원인.
• 모델별 특성:
  • gpt-oss-120b: True 편향 (기저선 True 재현율 82.6% vs False 38.0%) 을 프롬프트로 부분적으로 교정 가능.
  • Llama 3.3 70B: 프롬프트 길이가 약 2KB 를 초과하면 인지 부하로 인해 True 재현율이 0% 로 붕괴.
  • Gemma 4 31B: 토큰 한계 (Token Cap) 문제. 2,048 토큰 이하에서는 추론이 끊겨 항상 True 를 출력했으나, 8,192 토큰 설정 시 85% 정확도 달성.
• 공식 벤치마크 검증 (Post-submission):
  • AN45c 는 로컬에서 79.25% 였으나, 공식 벤치마크 (SAIR) 에서는 55.5% (기저선 56.3% 보다 낮음) 로 하락.
  • 반면, 덜 복잡한 AN38은 공식 벤치마크에서 +5.6%p 개선 (65.3%) 을 보이며 더 견고한 일반화 성능을 입증.
  • 이는 **"로컬에서의 성능 향상이 분포 이동 (Distribution Shift) 에 취약함"**을 의미.

5. 의의 및 결론 (Significance & Conclusion)

• Less is More: 형식적 수학 추론에서 복잡한 규칙이나 긴 프롬프트는 모델의 추론 능력을 방해할 수 있음. 오히려 **간결하고 구조화된 지시 (Minimal, well-ordered instructions)**가 모델이 이미 알고 있는 지식을 더 효과적으로 활용하게 함.
• 루터링 가설 (Router Hypothesis): LLM 은 이 작업에서 심볼릭 증명기 (Theorem Prover) 가 아니라, **구조적 패턴에 기반한 휴리스틱 분류기 (Heuristic Classifier)**로 동작함. 프롬프트는 모델이 어떤 추론 전략 (True 전략 vs False 전략) 을 선택할지 결정하는 '라우터' 역할을 해야 함.
• 실무적 시사점:
  • 단일 프롬프트로 모든 분포를 커버하는 것은 불가능에 가까움 (Pareto Frontier).
  • 외부 라우팅 (문제 유형에 따라 다른 프롬프트 사용), 파인튜닝, 또는 LLM 과 기호 검증기 (Symbolic Verifier) 의 하이브리드 아키텍처가 천장을 돌파할 수 있는 유일한 방법일 수 있음.
• 핵심 교훈: 모델에 새로운 수학을 가르치는 것이 아니라, 모델이 이미 알고 있는 수학을 적용하는 순서를 통제하는 것이 성능 향상의 열쇠였다.

이 연구는 LLM 의 형식적 추론 능력에 대한 과도한 기대를 경계하고, 프롬프트 엔지니어링의 한계와 분포 의존성을 정량적으로 규명한 중요한 실증 연구로 평가됩니다.