기술 요약: 더 많은 숙고(Deliberation)가 도움이 되는가?

문제 정의

Chain-of-Thought(CoT) 프롬프팅과 그 개선 기법들(zero-shot CoT, few-shot CoT, self-consistency, tree-of-thought)은 프런티어급 폐쇄형 가중치 대규모 언어 모델(LLM)에서 상당한 추론 능력 향상을 입증해 왔으나, 소형(3.8~8B 파라미터) 오픈 가중치 지시 조정(instruction-tuned) 모델에 대한 이들의 효용성에 관한 통제된 실증적 근거는 부족한 실정이다. 실무자들은 비용, 지연 시간, 개인정보 보호를 이유로 이러한 소형 모델을 점점 더 많이 배포하고 있지만, 복잡한 탐색 기반의 숙고 전략(self-consistency 및 tree-of-thought와 같은)이 이 특정 모델 클래스에서도 단순한 프롬프팅 방식보다 우위를 유지하는지는 여전히 불분명하다. 본 논문은 "더 많은 숙고" 패러다임이 초등학교 수준의 산술 추론 작업에서 통계적으로 유의미한 정확도 이득으로 이어지는지를 결정함으로써 이 간극을 다룬다.

방법론

본 연구는 세 가지 널리 사용되는 오픈 가중치 지시 조정 모델(Mistral-7B-Instruct-v0.2, Phi-3-mini-4k-instruct, Meta-Llama-3-8B-Instruct)을 대상으로 네 가지 프롬프팅 전략에 대한 통제된 헤드 투 헤드(head-to-head) 비교를 수행하였다.

• 데이터셋: GSM8K 벤치마크(초등학교 산술 문장제 문제)에서 무작위로 추출한 고정된 100개의 질문 서브셋을 사용하였다. 모든 모델-전략 조합에 대해 동일한 100개 항목을 사용하여 쌍을 이룬 결과(paired outcomes)를 보장하였다.
• 프롬프팅 전략:
  1. Zero-shot CoT: 예시 없이 "Let's think step by step"이라는 문구로 트리거되는 단일 그리디 완료(greedy completion).
  2. Few-shot CoT: 단계별 풀이가 포함된 고정된 수동 작성 예시들이 선행되는 단일 그리디 완료.
  3. Self-Consistency: few-shot 프롬프트를 사용하되, 0이 아닌 온도(temperature)에서 샘플링된 $k=3$개의 독립적인 추론 체인을 생성하고, 최종 답안은 다수결로 결정함.

4. Tree-of-Thought (ToT): 문제를 중간 단계로 분해하여 $k=3$개의 후보 추론 브랜치를 생성하고, 이를 검색 구조를 모방하여 다수결로 집계함.

• 평가 프로토콜:
  • 채점: GSM8K의 정답과 수치적으로 정확히 일치하는지 확인.
  • 통계 분석: 정확도는 95% 신뢰 구간(Wald 근사법)과 함께 보고되었다. 쌍별 차이는 각 모델의 불일치 결과(discordant outcomes)에 대한 2x2 테이블에 **McNemar의 정확 검정(McNemar's exact test)**을 적용하여 테스트하였으며, 이는 동일한 질문 세트에 대해 전략을 비교하는 데 적합하다.
  • 유의성 임계값: $\alpha = 0.05$ (다중 비교를 위해 교정되지 않았으나, 보수적인 Bonferroni 교정이 한계점으로 언급됨).

주요 기여

1. 체계적 비교: 소형(3.8~8B) 오픈 가중치 지시 조정 모델을 대상으로 zero-shot CoT, few-shot CoT, self-consistency, ToT를 통제되고 통계적으로 검증된 방식으로 비교한 첫 사례를 제공한다.
2. 통계적 엄밀성: 단일 점 추정 정확도를 넘어 95% 신뢰 구간을 계산하고 McNemar의 정확 검정을 적용하여 쌍별 차이를 검증함으로써, 단일 모델 평가나 비쌍체 검정(unpaired tests)에 의존했던 기존 연구의 한계를 해결하였다.
3. 비용-정확도 트레이드오프 분석: 짧은 단일 경로 산술 문제의 맥락에서, 확률적 전략(self-consistency 및 ToT)의 증가된 추론 비용이 단순한 베이스라인 모델보다 통계적으로 신뢰할 수 있는 정확도 이득을 제공하는지 명시적으로 평가한다.

결과

연구는 총 1,200개의 모델 출력(3개 모델 $\times$ 4개 전략 $\times$ 100개 질문)을 평가하였다.

• Few-Shot vs. Zero-Shot: Few-shot CoT는 세 모델 모두에서 zero-shot CoT를 유의미하게 능가하였으며, 정확도 향상 폭은 12~39 퍼센트 포인트였다 (모두 $p < 0.05$). 예를 들어, Phi-3-mini는 46.0%(zero-shot)에서 85.0%(few-shot)로 향상되었다.
• Self-Consistency vs. Few-Shot: $k=3$의 경로를 샘플링한 self-consistency는 어떤 모델에서도 단일 샘플 few-shot CoT에 비해 통계적으로 유의미한 개선을 제공하지 못했다 (모두 $p \geq 0.83$). 정확도 이득은 미미했다 (예: Phi-3-mini의 경우 85.0% vs 86.0%).
• Tree-of-Thought 성능: ToT는 두 모델(Phi-3-mini, Llama-3-8B, $p < 0.0001$)에서 few-shot CoT보다 유의미하게 낮은 성능을 보였으며, 세 모델 모두에서 훨씬 저렴한 zero-shot 베이스라인과 통계적으로 구별할 수 없는 수준이었다. ToT 정확도(47.0%–54.0%)는 일관되게 zero-shot CoT에 가까웠으며 few-shot CoT에는 미치지 못했다.
• 모델 변동성: Phi-3-mini-4k-instruct는 Llama-3-8B나 Mistral-7B와 같은 더 큰 모델보다 높은 절대 정확도(few-shot/self-consistency 기준 85.0~86.0%)를 달성하였으며, 이는 이 크기 범위에서는 파라미터 수보다 지시 조정의 품질과 데이터 큐레이션이 더 중요할 수 있음을 시사한다.

의의 및 주장

본 논문은 소형 오픈 가중치 모델의 짧은 단일 경로 산술 추론 작업에 대해 다음과 같이 결론짓는다:

1. 예시(Exemplars)의 지배력: 작업된 예시의 존재(few-shot CoT)가 정확도 향상의 핵심 동력이다. "단계별로 생각하기"만 제공하는 것(zero-shot)의 이점은 예시를 제공하는 것보다 현저히 낮다.
2. 숙고 비용이 이득을 상회함: 탐색 기반의 숙고 전략(ToT)과 낮은 샘플 수의 self-consistency($k=3$)는 (답변당 여러 번의 생성을 요구하므로) 대응하는 통계적으로 신뢰할 수 있는 정확도 이득을 제공하지 못한 채 추론 비용만 증가시킨다.
3. 과업-전략 불일치: ToT의 실패는 구조화된 탐색 및 백트래킹 메커니즘이 대안적인 솔루션 브랜치를 탐색할 필요가 없는 선형적 산술 문제에는 부적합함을 시사한다.

저자는 실무자들이 단순한 추론 작업에 4~8B 파라미터 모델을 배포할 때, self-consistency나 tree-of-thought와 같은 복잡한 디코딩 타임 메커니즘을 구현하는 것보다 고품질의 few-shot 예시를 구축하는 데 투자하는 것이 정확도 대비 비용 측면에서 더 우수한 트레이드오프를 제공한다고 주장한다.

한계점

저자는 다음과 같은 제약 사항을 인정한다:

• 표본 크기: 100개의 항목 사용으로 인해 신뢰 구간이 넓고, 특히 Mistral-7B 모델의 경우 작은 효과 크기를 감지하기 위한 통계적 검정력이 낮을 수 있다.
• 샘플 수: self-consistency 및 ToT 실험에 사용된 $k=3$은 보고된 이득을 얻기 위해 문헌에서 통상적으로 사용되는 10~40개의 경로보다 적다. 따라서 self-consistency의 귀무 가설 결과는 이러한 완만한 샘플링 예산에 국한된 결과이다.
• 도메인 특수성: 본 연구 결과는 GSM8K 산술 문제로 제한된다. ToT는 진정한 탐색이나 백트래킹이 필요한 도메인(예: 계획 수립, 조합 퍼즐)에서는 여전히 유리할 수 있다.
• 비용 산정: 본 연구는 정확도를 보고하지만 토큰 수준의 비용이나 지연 시간을 정량화하지는 않았다. 다만, 확률적 전략이 본질적으로 더 비용이 많이 든다는 점은 언급하였다.