기술 요약: 수학적 추론을 위한 지식 적응형 컨텍스트 엔지니어링 (KACE)

문제 정의

컨텍스트 엔지니어링은 모델의 가중치를 업데이트하지 않고도 고정된 대규모 언어 모델(LLM)의 성능을 향ance 시키는 유효한 전략으로 부상했습니다. 그러나 복잡한 수학적 추론의 경우, 기존 방식들은 **단일 구조의 컨텍스트 축적(monolithic context accumulation)**이라는 결정적인 병목 현상에 직면합니다. 피드백과 학습된 교훈이 하나의 커지는 프롬프트로 통합될 때, 두 가지 문제가 발생합니다:

1. 컨텍스트 비대화(Context Bloat): 무관한 가이드가 결국 유용한 정보를 밀어내어 성능을 저하시킵니다.
2. 지식 저장소의 한계(Knowledge-Store Ceiling): 재사용 가능한 지식 베이스가 활성 프롬프트의 크기에 의해 엄격하게 제한됩니다.

현재의 방법들(예: ACE, GEPA)은 종종 저장(실행 전반에 걸쳐 학습된 것)과 사용(특정 문제를 위해 프롬프트에 포함되는 것)을 혼동합니다. 결과적으로, 모든 문제는 해당 작업의 특정 난이도나 도메인과 관련이 있는지 여부와 관계없이 축적된 전체 지식 저장소를 읽어야 합니다. 또한, 적응형 연산 할당(난이도에 따라 추론 노력을 가변적으로 조절)은 알려진 효과적인 전략임에도 불구하고, 구조화되고 난이도를 고려한 지식 검색과 결합되는 경우는 드뭅니다.

방법론: KACE 프레임워크

KACE는 지식을 **에피스테믹 트리(Epistemic Tree, 인식론적 트리)**로 구조화하고, 경험적 난이도 신호에 따라 조건부로 이를 검색함으로써 지식의 저장과 사용을 분리하는 프레임워크를 도입합니다.

1. 에피스테믹 트리 (저장)

KACE는 단일 프롬프트 대신, 타입화된 카드(예: 보조정리, 불변량, 분해 패턴, 검증 규칙)로 구성된 지속적인 지식 베이스 $K$를 구축합니다. 이 트리는 두 가지 축을 따라 계층화됩니다:

• 난이도 티어 ($T$): 쉬움(ES), 중간(MS), 어려움(HS).
• 에피스테믹 도메인 ($D$): 수학적 도메인(예: 기하학, 조합론).

트리는 블록 구조의 객체 $K = \{K_b\}_{b \in B}$이며, 각 블록 $b = (t, d)$는 해당 특정 난이도 티어와 도메인에서만 가시적인 카드들을 포함합니다. 범용 카드는 별도로 저장되어 모든 티어에서 가시적입니다.

2. 잠금형 티어별 자기 일관성 (분류기 및 솔버)

KACE는 문제를 해결하는 동시에 난이도를 분류하는 이중 목적을 수행하는 잠금형 티어별 자기 일관성 파이프라인을 채택합니다. 파이프라인은 다음과 같이 단계적으로 진행됩니다:

• 쉬운 솔버 (ES): 2회 시도. 2/2 만장일치 합의 시 종료. 학습된 카드를 읽지 않음.
• 중간 솔버 (MS): 3회 시도. 2/3 과반수 합의 시 종료. $(MS, d)$ 노드의 카드를 읽음.
• 어려운 솔버 (HS): 5회 시도. 2/5 다수결 합의 시 종료. $(HS, d)$ 노드의 카드를 읽음.
• 폴백 (Fallback): 어떤 티어도 종료되지 않을 경우, 10회의 시도 풀을 사용함.

시스템이 종료되는 티어가 경험적 난이도 신호를 제공합니다. 이 신호는 거친 도메인 분류기와 결합되어 문제를 에피스테믹 트리의 특정 블록으로 투영합니다. 결정적으로, 쉬운 문제는 카드 없이 종료되는 반면, 단계가 격상된 문제는 트리의 매칭되는 브랜치만을 검색하여 컨텍스트 비대화를 방지합니다.

3. 오프라인 구축 (학습)

에피스테믹 트리는 훈련 트레이스(training traces)로부터 두 단계의 과정을 거쳐 오프라인으로 구축됩니다:

• 단계 1 (ADD): 블록 로컬 학습 루프. 각 블록 $(t, d)$에 대해, 시스템은 솔버가 해당 티어에서 종료된 실패 트레이스를 분석합니다. 교사 모델(teacher model)은 "잔차(residuals)"(누락된 지식)를 추출하여 새로운 카드로 증류하며, 이 카드들은 해당 블록에 추가됩니다. 이는 글로벌 재최적화 없이 트리의 국소적 조각들을 최적화하는 블록 좌표 최소화 접근 방식을 따릅니다.
• 단계 2 (REFINE): 큐레이터는 업데이트된 정책의 유도된 분포(induced distribution) 하에서 잠정적인 트리를 평가합니다. 큐레이터는 카드가 실제 솔버에 의해 사용될 때 유용하고 중복되지 않도록 카드를 편집, 재배치 또는 폐기합니다. 이는 반복적 학습에서 흔히 발생하는 분포 변화 문제를 해결합니다.

주요 기여

1. 난이도 및 도메인 계층화된 에피스테믹 트리: KACE는 학습된 수학적 추론 지식을 활성 프롬프트 외부의 타입화된 카드로 저장하며, 이를 난이도와 도메인에 따라 조직합니다. 이는 내구성이 있는 지식 본체와 솔버가 읽는 작은 컨텍스트 슬라이스를 분리합니다.
2. 난이도 분류기로서의 잠금형 티어별 자기 일관성: 티어형 파이프라인은 고정된 Best-of-N 자기 일관성(세 가지 벤치마크에서 Best-of-5와 대등하거나 이를 능가함)의 연산 등가 대안 역할을 하는 동시에, 보정된 경험적 난이도 신호를 제공합니다. 이 신호는 별도의 훈련된 난이도 분류기 없이도 78%의 AIME 2025 쌍과 80%의 MATH-HARD 쌍에서 모델 자체의 해결률 순위를 보존합니다.
3. 어려운 추론에 대한 실험적 증거: 논문은 조건부 검색을 통해 저장과 사용을 분리하는 것이 단일 구조의 컨텍스트 축적보다 성능이 크게 우수함을 입증합니다.

실험 결과

실험은 세 가지 도전적인 벤치마크인 AIME 2025, MATH-HARD (Level 4–5), OlymMATH-EN (검증 가능한 부분 집합)에서 수행되었습니다.

• 성능 향상: AIME 2025에서 KACE는 62.2% 정확도를 달로했습니다. 이는 고정된 Best-of-5 자기 일관성(51.8%) 대비 10.4% 포인트의 절대적 향상이며, 가장 강력한 학습된 컨텍스트 베이스라인인 Tiered + GEPA(56.6%) 대비 5.6% 포인트의 향상입니다.
• 연산 효율성: KACE는 Best-of-5와 유사한 솔버 호출 예산으로 이러한 성과를 달성합니다. 티어형 접근 방식은 쉬운 문제에서 조기에 종료되므로 평균 호출 횟수를 5회 근처로 유지합니다.
• 절제 연구 (Ablation Studies):
  • 도메인 축을 제거하면(난이도만으로 평탄화) 정확도가 62.2%에서 54.4%로 떨어졌습니다.
  • 난이도 축을 제거하면(단일 구조 컨텍스트) 정확도가 51.6%로 떨어졌습니다.
  • 증류된 카드를 원본 솔버 성찰(raw solver reflections)로 교체하면 정확도가 59.3%로 감소하여, 교사 모델에 의해 증류된 압축된 지식의 가치를 입증했습니다.
  • 고정된 트리 투영을 일반적인 검색(LLM 라우터 또는 임베딩)으로 교체하면 더 낮은 성능(~56%)을 보였으며, 이는 구조화된 난이도-도메인 투영이 일반적인 검색보다 이 작업에 더 우수함을 시사합니다.

의의 및 주장

논문은 어려운 수학적 추론을 위한 컨텍스트 엔지니어링의 주요 병목 현상이 지식의 양이 아니라, 그 지식의 적절한 부분을 적절한 시점에 노출하는 능력이라고 주장합니다.

• 구조적 분리: KACE는 학습된 컨텍스트를 난이도와 도메인에 따라 조건부로 읽히는 구조화된 자원으로 취급하는 것이 단일 구조의 플레이북보다 더 효과적임을 보여줍니다.
• 훈련 없는 보정: 티어별 자기 일관성 종료 경로는 별도의 훈련 데이터나 분류기가 필요 없는 강력한 모델 유도 난이도 신호 역할을 하며, 실제 해결률과 밀접하게 일치합니다.
• 감사 가능성: 지식을 난이도와 도메인별로 정리된 자연어 카드로 저장함으로써, 시스템의 "학습된" 동작은 검사 및 감사가 가능하며, 이는 가중치가 업데이트된 모델에서는 볼 수 없는 특성입니다.

저자들은 학습을 위한 반복 가능한 오류 패턴에 대한 의존성, 자동화된 교차 벤치마크 전이의 부재, 그리고 더 강력한 검증기 없이는 "상상"(imagination)을 통한 지식 베이스 확장이 오버피팅으로 이어진다는 관찰을 포함한 한계점을 언급했습니다. 이 연구는 KACE를 정적인 텍스트 축적이 아닌, 구조화되고 조건부로 읽히는 자원으로 컨텍스트를 연구하기 위한 템플릿으로 포지셔닝합니다.