기술 요약: 준지도 체인 오브 쏘트 학습 (Semi-supervised Chain-of-Thought Learning, Semi-CoT)

1. 문제 정의

본 논문은 현재의 체인 오브 쏘트(Chain-of-Thought, CoT) 적용 방식에 존재하는 격차를 다룹니다. CoT는 추론 과정에서 대규모 언어 모델(LLM)의 추론 능력을 이끌어내는 데 효과적임이 입증되었으나, 기존 방식들은 일반적으로 추론 체인을 최종 답변을 생성한 후 폐기되는 일시적인 프롬프트로 취급합니다. 결과적으로, 수학 및 논리 분야에서 가용한 방대한 양의 레이블이 없는 데이터(unlabeled data)는 고품질의 CoT 주석(annotation)을 수동으로 생성하는 비용이 많이 들기 때문에 충분히 활용되지 못하고 있습니다.

저자들은 **준지도 체인 오브 쏘트 학습(Semi-supervised Chain-of-Thought Learning)**이라는 새로운 문제 설정을 정의합니다. 목표는 소수의 레이블된 질문 세트와 대규모의 레이블이 없는 질문 세트를 활용하여 **의사 추론 감독(pseudo reasoning supervision)**을 구축하는 것입니다. 일반적인 준지도 학습이 의사 레이블(최종 답변만 생성)을 생성하는 것과 달리, 이 설정은 각 레이블 없는 질문($x_u$)에 대해 의사 추론 체인($\hat{r}_u$)과 의사 답변($\hat{y}_u$)으로 구성된 완전한 의사 감독 쌍을 생성할 것을 요구합니다:
$$x_u \rightarrow (\hat{r}_u, \hat{y}_u)$$

핵심 과제는 생성된 추론 체인의 신뢰성을 보장하는 것입니다. 모델은 잘못된 유도 과정을 거쳐 정답을 낼 수도 있고, 그럴듯해 보이는 체인을 통해 오답을 낼 수도 있습니다. 따라서 생성된 의사 CoT를 감독 또는 데모(demonstration)로 사용하기 전에 이를 걸러낼 수 있는 메커니즘이 필요합니다.

2. 방법론: Semi-CoT 프레임워크

저자들은 모델 파라미터를 미세 조정(fine-tuning)하지 않고 작동하는 최소한의 프레임워크인 Semi-CoT를 제안합니다. 이는 레이블 없는 질문이 신뢰할 수 있는 추론 신호를 제공할 수 있는지 테스트하기 위해 설계된 프롬프트 수준의 준지도 학습 방법입니다. 과정은 세 가지 주요 단계로 구성됩니다.

A. 의사 CoT 생성 (Pseudo-CoT Generation)

각 레이블 없는 질문에 대해, LLM은 표준 트리거(예: "Let's think step by step")를 사용하여 $K$개의 서로 다른 추론 경로(CoT 출력)를 샘플링합니다. 각 출력은 추론 궤적(trace)과 최종 답변을 생성합니다.

B. 시맨틱 엔트로피 신뢰성 게이트 (Semantic Entropy Reliability Gate)

신뢰할 수 없는 생성을 필터링하기 위해, 프레임워크는 **시맨틱 엔트로피(semantic entropy)**를 선택 신호로 사용합니다.

1. 정규화(Normalization): 추출된 답변을 정규화합니다 (예: 수치형 답변의 경우 포맷 기호 제거).
2. 클러스터링(Clustering): 답변들을 시맨틱 클러스터로 그룹화합니다.
3. 엔트로피 계산: 이러한 클러스터들의 분포를 기반으로 정규화된 시맨틱 엔트로피 $H_{sem}(x_u)$를 계산합니다.
   • 낮은 엔트로피는 $K$개의 샘플링된 경로 간의 높은 일치도를 나타냅니다.
   • 높은 엔트로피는 불일치와 불확실성을 나타냅니다.
4. 선택: 의사 CoT는 $H_{sem}(x_u) \leq \delta$ (여기서 $\delta$는 사전 정의된 임계값)를 만족하는 경우에만 수용됩니다. 수용된 의사 답변은 다수결(majority vote)이며, 의사 추론 체인은 해당 다수 답변으로 이어지는 경로 중에서 선택됩니다.

C. 의사 추론 뱅크 및 추론 (Pseudo Reasoning Bank and Inference)

수용된 의사 CoT는 각각 신뢰도 가중치($w_u = 1 - H_{sem}(x_u)$)가 태깅되어 의사 추론 뱅크 $\mathcal{B}$에 저장됩니다. 테스트 질문에 대한 추론 시:

• 시스템은 $\mathcal{B}$에서 $M$개의 데모를 검색합니다.
• 두 가지 검색 전략이 테스트됩니다: 무작위 선택(Random Selection) 및 TF-IDF 검색(TF-IDF Retrieval) (어휘적 유사성 기반).
• 검색된 데모는 테스트 질문에 프롬프트로 추가되며, LLM은 최종 추론과 답변을 생성합니다.

3. 주요 기여

본 논문은 다음과 같은 구체적인 기여를 합니다:

• 문제 공식화: CoT를 단순한 추론 시 기술에서 준지도 학습 신호의 원천으로 관점을 전환하는 준지도 체인 오브 쏘트 학습을 정의했습니다.
• 프레임워크 제안: 여러 개의 의사 CoT를 생성하고, 시맨틱 엔트로피를 사용하여 필터링하며, 신뢰도가 높은 결과를 추론 데모로 활용하는 파이프라인인 Semi-CoT를 도입했습니다.
• 경험적 증거: 엔트로피 기반 선택이 여러 산술 추론 데이터셋에서 고정밀도의 의사 CoT를 생성한다는 파일럿 증거를 제공합니다.
• 한계 식별: 의사 CoT 신뢰성(엔트로피에 의해 보장됨)과 데모 관련성(검색에 의해 보장됨)이 서로 별개의 과제임을 식별했습니다. 데모가 테스트 질문과 무관하다면 높은 정밀도만으로는 성능 향상을 보장할 수 없습니다.

4. 실험 결과

저자들은 네 가지 산술 추론 벤치마크인 AQuA, SVAMP, GSM8K, MultiArith에 대해 파일럿 실험을 수행했습니다.

의사 CoT 신뢰성

시맨틱 엔트로피 게이트는 고품질의 의사 CoT를 성공적으로 선택했습니다. 의사 답변 정밀도(숨겨진 골드 레이블에 대한 선택된 의사 답변의 정확도)는 다음과 같습니다:

• MultiArith: 100%
• AQuA: 97.14%
• SVAMP: 96.30%
• GSM8K: 91.36%

작업 성능

최종 작업 정확도에 미치는 영향은 완만했으며 데이터셋마다 달랐습니다:

• SVAMP: Zero-shot CoT 대비 +2% 향상.
• GSM8K: Zero-shot CoT 대비 +1% 향상.
• AQuA: 높은 의사 답변 정밀도에도 불구하고 완만한 부정적 전이(negative transfer)(Zero-shot CoT 대비 성능 저하)를 보였습니다.
• MultiArith: 모든 방법이 100% 정확도에 도달하여, 파일럿 설정에서의 천장 효과(ceiling effect)를 나타냈습니다.

검색 전략

데모 선택을 위한 무작위 선택과 TF-IDF 검색을 비교했을 때 파일럿 서브셋에서 유의미한 차이가 없었습니다. 이는 단순한 어휘적 유사성이 테스트 질문에 대한 의사 CoT의 관련성을 보장하기에는 불충분함을 시사합니다.

5. 의의 및 주장

본 논문은 확정적인 해결책이라기보다 새로운 문제 설정을 확립하는 기술 보고서로서 자신을 포지셔닝합니다. 그 의의는 다음과 같습니다:

1. 개념적 전환: CoT를 모델 생성 추론이 의사 감독 역할을 할 수 있는 셀프 트레이닝의 한 형태로 재구성하여, 추론 시 프롬프팅과 준지도 학습 사이의 간극을 메웁니다.
2. 신호의 검증: 시맨틱 엔트로피가 인간의 주석 없이도 레이블 없는 데이터로부터 신뢰할 수 있는 추론 체인을 필터링하는 데 있어 유효하고 모델에 독립적인(model-agnostic) 신호임을 입증했습니다.
3. 보수적인 결론: 저자들은 레이블 없는 질문이 신뢰할 수 있는 의사 추론 신호를 제공할 수 있지만, 신뢰할 수 있는 선택이 일관된 성능 향상을 위한 충분조건은 아님을 완곡하게 결론지었습니다. 현재의 구현은 데모 관련성이 핵심적이고 아직 해결되지 않은 과제임을 강조합니다. 향-후 연구는 Semi-CoT의 잠재력을 완전히 실현하기 위해 더 강력한 검색 메커니즘, 추론 패턴 매칭 또는 파라미터 기반 학생 학습(parametric student training)을 다루어야 합니다.

저자들은 관찰된 이득이 작고 부정적 전이의 위험이 여전히 존재함을 언급하며, 현재의 프롬프트 수준 구현이 최첨단(SOTA) 솔론이라고 주장하는 것을 명시적으로 피했습니다.