기술적 요약: HEAVYSKILL – 에이전트 하네스 내의 내재적 기술로서의 중대한 사고

문제 제기

최근 에이전트 하네스 (agentic harness) 의 발전은 메모리, 기술, 도구 사용을 갖춘 다중 에이전트를 조율함으로써 복잡한 추론 작업에서 성공을 거두었습니다. 그러나 이러한 성능을 주도하는 근본적인 메커니즘은 복잡한 시스템 설계로 인해 여전히 obscured(모호하게) 남아 있습니다. 현재의 접근 방식은 종종 결과를 요약하기 위해 병렬로 하위 에이전트를 활성화하는 외부 조율 루프에 의존하거나, 병렬 추론을 유도하기 위해 특수한 아키텍처 수정 및 사후 학습 레시피를 사용합니다. 본 논문은 추론 능력에 대한 탐구가 계산 자원을 증폭시키는 테스트 시간 확장 (TTS) 전략에 크게 초점을 맞추고 있지만, 모델의 매개변수 내에서 내재화 가능한 기술로서의 "중대한 사고 (heavy thinking)"의 구체적인 기여도는 아직 충분히 탐구되지 않았다고 주장합니다. 또한, 기존 방법들은 종종 특정 인프라와 분리되어 대규모 언어 모델 (LLM) 의 고유한 능력으로 기능할 수 있는 통합적이고 이식 가능한 프레임워크가 부족합니다.

방법론

저자들은 HEAVYSKILL을 제안합니다. 이는 "중대한 사고"를 단순히 조율 하네스 내의 실행 단위가 아닌, 모델 내부에 내재화된 **내재적 기술 (inner skill)**로 취급하는 관점과 프레임워크입니다. 이 기술은 병렬 추론 followed by 순차적 숙고라는 두 단계 파이프라인으로 정의됩니다.

1. 중대한 사고 프레임워크

추론 파이프라인은 두 가지 명확한 단계로 분해됩니다:

• 병렬 추론: 문제 $q$가 주어지면, 모델은 $K$개의 독립적인 추론 궤적 ($T_{\pi_\theta}(q, K) = \{y_1, \dots, y_K\}$) 을 생성합니다. 이러한 궤적들은 상호 간섭을 방지하여 다양성을 보장하기 위해 서로의 출력에 접근하지 않고 생성됩니다.
• 순차적 숙고: 두 번째 모델 (또는 동일한 모델) 이 생성된 궤적들을 집계합니다. 이 단계는 모델이 추론 경로를 비판적으로 평가하고 오류를 식별하며 최종 답안을 종합하는 "요약" 과정을 포함합니다.
• 직렬화된 메모리 캐시: 이러한 단계를 연결하기 위해 프레임워크는 메모리 캐시 메커니즘을 도입합니다. 전체 궤적이 종종 컨텍스트 한계를 초과하므로, 위치 편향을 방지하기 위해 잘라내고 (pruned), 셔플한 후 숙고 단계를 위한 컨텍스트 ($C(x_c)$) 로 직렬화됩니다.
• 반복적 숙고 (선택 사항): 프레임워크는 숙고 단계의 출력을 메모리 캐시에 새로운 입력으로 피드백하여 후속 분석 라운드를 수행하는 반복적 정제를 지원합니다.

2. 가독성 있는 기술로서의 HEAVYSKILL

주요 혁신 중 하나는 이 워크플로우를 가독성 있는 기술 파일 (예: HeavySkill.md) 로 증류하는 것입니다. API 호출과 상태를 관리하기 위해 외부 파이썬 파이프라인에 의존하는 전통적인 워크플로우와 달리, HEAVYSKILL은 인간이 읽을 수 있고 모델이 해석 가능한 문서입니다.

• 구조: 기술 파일은 네 가지 구성 요소를 포함합니다:
  1. 활성화 조건: 중대한 사고를 언제 트리거할지에 대한 선언적 규칙 (예: 복잡한 추론 대 단순한 쿼리).
  2. 병렬 추론 프로토콜: 다양한 전략을 가진 $K$개의 독립적인 에이전트를 생성하라는 지시.
  3. 숙고 프롬프트: 모델이 단순히 투표하는 것이 아니라 궤적을 비판적으로 평가하도록 지시하는 핵심 템플릿. 이는 피상적인 연결을 명시적으로 금지하고 진정한 종합을 요구합니다.
  4. 출력 제약: 최종 답안 포맷팅 규칙 (예: 수학 문제의 경우 \boxed{}).
• 이식성: 일반 텍스트 문서이므로 기술 로딩을 지원하는 모든 에이전트 하네스 (예: Claude Code, CodeX, Hermes) 에 주입될 수 있어, 오케스트레이터가 코드 수정 없이 프로토콜을 자율적으로 실행할 수 있게 합니다.

3. RLVR 를 통한 최적화

본 논문은 검증 가능한 보상 (Verifiable Rewards) 을 통한 강화 학습 (RLVR) 을 중대한 사고에 적용하여 최적화하는 방안을 탐구합니다. 가설은 RLVR 이 병렬 생성을 통한 추론의 폭 (breadth) 과 숙고를 통한 깊이 (depth) 를 동시에 개선하여, 모델이 고유한 단일 궤적 제약을 넘어설 수 있게 한다는 것입니다.

주요 기여

1. 프레임워크 제안: 병렬 추론과 순차적 숙고를 통해 중대한 사고를 재현하기 위한 간단하고 학습이 불필요한 프레임워크 도입.
2. 포괄적인 실증 연구: 다양한 모델 규모 (7B 에서 최첨단 모델까지) 와 작업 도메인 (STEM, 코딩, 일반 추론) 에 걸쳐 중대한 사고를 체계적으로 평가한 최초의 연구.
3. 기술 증류: 특정 조율 인프라로부터 추론 능력을 분리하는 이식 가능하고 가독성 있는 "내재적 기술"로서의 중대한 사고 개념화.
4. 체계적 분석: 궤적 다양성, 숙고를 위한 모델 선택, 반복적 정제의 효과 등 프레임워크 구성 요소 간의 상호작용에 대한 상세한 통찰.

실험 결과

STEM 작업에서의 성능

AIME25, BeyondAIME, HMMT25-Feb, GPQA-Diamond 를 포함한 벤치마크에서 평가:

• 일관된 우위: 중대한 사고 (Heavy-Mean@4 또는 HM@4 로 측정) 는 단일 궤적 시도 (Mean@K) 와 다수결 투표 (Vote@K) 와 같은 전통적인 Best-of-N 전략보다 일관되게 우수한 성능을 보입니다.
• 확장 법칙: 병렬 궤적 수 ($K$) 를 늘리고 순차적 숙고를 적용하면 성능이 지속적으로 향상되어, 중대한 사고가 테스트 시간 확장 (Test-Time Scaling) 의 실질적 구현임을 검증합니다.
• 이론적 한계 접근: 강력한 모델들 (예: DeepSeek V3.2, GPT-5 Thinking) 은 중대한 사고 하에서 이론적 Pass@K 상한선에 접근합니다. 일부 경우, 숙고 과정 (Heavy-Pass@K) 이 원시 Pass@K 를 초과하여, 모델이 단일 원시 궤적에 존재하지 않는 올바른 해결책을 종합할 수 있음을 시사합니다.
• 위계: 일관된 성능 위계가 관찰되었습니다: Heavy-Pass@k ≥ Heavy-Mean@K ≥ Vote@K ≥ Mean@K.

일반 추론 작업에서의 성능

• 객관적 대 주관적: 프레임워크는 객관적이고 검증 가능한 작업 (예: LiveCodeBench, IFEval) 에서 상당한 향상을 보입니다. 그러나 주관적이고 선호도 기반의 작업 (예: Arena-Hard) 에서는 향상이 미미하거나 때로는 부정적일 수 있으며, 이는 순차적 숙고가 "정확성 지향" 작업에는 뛰어나지만 "선호도 지향" 뉘앙스에는 어려움을 겪을 수 있음을 나타냅니다.
• 모델 선택: 숙고 단계는 반드시 고유한 추론 능력이 뛰어난 모델을 필요로 하지 않습니다. 문제를 독립적으로 해결하는 데는 약할지라도 더 크고 지시 따르기 (instruction-following) 능력이 뛰어난 모델 (예: Qwen2.5-32B) 을 숙고자로 사용하면 성능을 크게 향상시킬 수 있으며, 이는 두 번째 단계에서 원시 추론 능력보다 종합 능력의 중요성을 강조합니다.

반복적 숙고 및 도구 사용

• 반복: 일반적으로 반복 횟수를 늘리면 정확도가 향상되지만, 이전 단계의 누적 노이즈나 편향으로 인해 Heavy-Pass@K 가 저하될 수 있는 트레이드오프가 발생합니다.
• 도구 통합: 프레임워크는 외부 도구 (예: 파이썬 인터프리터) 와 성공적으로 통합됩니다. 중대한 사고는 도구 교차 (tool-interleaved) 시나리오에서 투표 베이스라인보다 우수한 성능을 발휘하여 실행 피드백을 효과적으로 활용하여 궤적을 정제합니다.

RLVR 적응

예비 RLVR 실험에 따르면, 중대한 사고 궤적에 강화 학습을 적용하면 Heavy-Mean@4 를 약 10% 추가로 향상시킬 수 있습니다. 그러나 시퀀스 길이 제한으로 인해 더 큰 궤적 수 ($K=16$) 에서 안정성 문제가 관찰되어 신중한 구성이 필요함을 시사합니다.

의의 및 주장

본 논문은 HEAVYSKILL 이 취약한 조율 레이어에 의존하지 않고 복잡한 추론을 내재화하는 자가 진화 LLM 을 향한 유망한 길을 제시한다고 주장합니다. 에이전트 하네스를 고유한 "중대한 사고" 능력으로 추상화함으로써, 저자들은 다음을 입증합니다:

1. 추론은 내재적 기술이다: 복잡한 추론은 어떤 에이전트 하네스 아래서도 작동하는 이전 가능한 기술로 증류될 수 있다.
2. 숙고가 핵심이다: 순차적 숙고는 여러 추론 경로에서 올바른 답안을 종합하는 데 단순한 통계적 합의 (투표) 보다 효과적이다.
3. 확장성: 중대한 사고의 깊이와 폭은 강화 학습을 통해 학습 가능하고 확장 가능하며, 이는 LLM 을 현재의 추론 경계 너머로 밀어붙일 수 있는 메커니즘을 제공한다.

저자들은 겸손한 입장을 유지하며, 중대한 사고가 전통적인 전략보다 크게 우월하지만 모든 작업 유형 (특히 주관적 선호도) 에 만능 해결책은 아니며, 이 맥락에서의 RLVR 역학은 더 많은 탐구가 필요하다고 지적합니다. 이 연구는 차세대 에이전트 시스템의 기초 구성 요소로서 중대한 사고의 효과성과 한계를 주로 확립합니다.