1. 연구 배경 및 문제 정의 (Problem)

• 기존 CoT (Chain-of-Thought) 의 한계: 기존 CoT 프롬핑은 수동으로 설계된 프롬프트와 예시를 통해 모델의 추론 능력을 유도하지만, 작업별 및 출력 형식별로 재조정 (Retuning) 이 필요하며 편향이 존재합니다.
• CoT-Decoding 의 제한점: 최근 제안된 'CoT-Decoding'은 프롬프트 없이 모델의 디코딩 과정 자체를 변형하여 CoT 추론 경로를 생성합니다. 그러나 이 방법은 **고정된 정답 집합 (Fixed Answer Set)**이 있는 작업 (예: 수학 문제) 에만 효과적입니다.
  • 정답 스펜 (Span) 의존성: CoT-Decoding 은 정답을 특정 텍스트 스펜으로 추출하여 신뢰도를 계산하는데, 자유 형식 (Free-form) 질문에서는 정답이 다양한 표현으로 존재하거나 정확한 스펜 매칭이 불가능하여 실패합니다.
  • 탐색 전략의 비효율성: 기존 방법은 첫 디코딩 단계의 상위 $k$개 시드만 탐색하는데, 초기 고확률 시드들이 종종 유사하지만 잘못된 추론 클러스터를 형성하여 올바른 답이 숨겨진 깊은 경로를 놓치는 경우가 많습니다.

2. 제안 방법: GCoT-Decoding (Methodology)

저자들은 고정된 정답 형식에 의존하지 않는 범용적인 디코딩 전략인 GCoT-Decoding을 제안합니다. 이는 세 가지 계층 (Layer) 으로 구성된 모듈식 프레임워크입니다.

가. 탐색 계층 (Exploration Layer): 2 단계 분기 전략

모델이 초기 단계에서 잘못된 추론에 갇히는 것을 방지하고 다양한 경로를 탐색하기 위해 두 단계의 분기를 수행합니다.

1. 피보나시 시딩 (Fibonacci Seeding): 첫 디코딩 단계에서 상위 $k$개 토큰을 연속적으로 선택하는 대신, 피보나치 수열 ($F_n = F_{n-1} + F_{n-2}$) 인덱스를 사용하여 순위가 낮은 후보들까지 로그 간격 (Log-spaced) 으로 샘플링합니다. 이는 초기 고확률 오답 클러스터를 피하고 더 다양한 추론 방향을 확보합니다.
2. 국소 최소값 백트래킹 (Local-minima Backtracking): 생성된 각 경로에서 토큰 수준의 신뢰도 (Confidence) 가 급격히 떨어지는 '국소 최소값'을 감지합니다. 신뢰도가 임계값 ($\delta$) 이하로 떨어지는 지점에서 경로를 되돌려 (Backtrack) 새로운 분기를 생성합니다. 이는 초기 오류가 고정되기 전에 수정하는 역할을 합니다.

나. 신뢰도 계층 (Confidence Layer): 길이 인식 로짓 갭 점수

정답 스펜에 의존하지 않는 새로운 신뢰도 점수 산출 방식을 도입합니다.

• 추론과 정답 분리: 각 경로를 '추론 구간 (Reasoning Span)'과 '정답 구간 (Answer Span)'으로 나눕니다.
• 길이 인식 점수: 정답 구간의 Top-1 과 Top-2 로짓 차이의 평균에, 추론 구간의 길이를 고려한 정규화 인자를 곱하여 점수를 매깁니다. 이는 더 깊은 추론을 가진 경로를 장려합니다.
• SpanAlign (선택적): 자유 형식 텍스트에서 토큰화 노이즈를 줄이기 위해 LCS(최장 공통 부분 수열) 를 기반으로 추론과 정답 구간의 정렬된 부분만 점수화하는 변형도 제공합니다.

다. 집계 계층 (Aggregation Layer): 탐욕적 의미 클러스터링

자유 형식 답변의 경우 단순 다수결 (Majority Voting) 이 불가능하므로 의미적 유사성을 기반으로 집계합니다.

• 의미 클러스터링: 생성된 모든 정답을 문장 임베딩 (Sentence Embedding) 을 사용하여 유사도 임계값 ($\tau$) 이상인 경우 동일한 클러스터로 묶습니다.
• 대표자 선택: 각 클러스터 내 경로의 신뢰도 점수를 누적하고, 누적 점수가 가장 높은 클러스터의 **가장 먼저 생성된 경로 (First-in-Cluster)**를 최종 정답으로 선택합니다. (클러스터 중심점보다 계산 효율성이 높고 성능이 유사함)

3. 주요 기여 (Key Contributions)

1. 범용 디코딩 전략 제안: 특정 정답 스펜이나 프롬프트에 의존하지 않는 GCoT-Decoding 을 제안하여 고정형 및 자유형 QA 작업 모두에 적용 가능한 범용성을 확보했습니다.
2. 효율적인 분기 전략 최적화: 피보나시 샘플링과 국소 최소값 백트래킹을 결합하여, 초기 고확률 오답 클러스터를 피하고 모델의 깊은 층에 숨겨진 올바른 추론 경로를 효율적으로 발견합니다.
3. 효율적인 경로 집계 방법: 고정된 형식이 없는 자유형 답변을 처리하기 위해 의미적 유사성 기반 클러스터링과 '클러스터 내 첫 번째 경로' 선택 방식을 도입하여, 계산 비용을 낮추면서도 안정적인 성능을 달성했습니다.

4. 실험 결과 (Results)

저자들은 고정형 (GSM8K, MultiArith, Sports Understanding) 과 자유형 (SQuAD, BARQA, Auto Categorization) QA 데이터셋을 포함한 6 개 데이터셋에서 실험을 수행했습니다.

• 고정형 QA (Fixed QA): 기존 CoT-Decoding 과 유사하거나 약간 더 나은 성능을 보이며, 단일 경로 디코딩 (Greedy, Sampling) 및 다른 다중 경로 방법 (Self-consistency, Beam Search) 보다 우수한 성능을 기록했습니다.
• 자유형 QA (Free QA): 기존 CoT-Decoding 이 정답 스펜 추출 실패로 인해 성능이 급격히 떨어지는 반면, GCoT-Decoding 은 BLEU 및 MATCH 점수에서 모든 모델 (Mistral, Gemma, Llama, Qwen) 에서 압도적인 성능 향상을 보였습니다.
• 프롬핑과의 호환성: GCoT-Decoding 은 Few-shot CoT 프롬핑과 결합 시 추가적인 성능 향상 (10~50% 개선) 을 보여주어 상호 보완적임을 입증했습니다.
• Ablation Study:
  • 피보나시 샘플링이 단순 Top-k 샘플링보다 훨씬 효과적입니다.
  • 국소 최소값 백트래킹은 약 28% 의 질문에서 발생하지만, 발생 시 오류 수정 성공률이 36.5% 에 달해 성능 향상에 기여합니다.
  • 의미 클러스터링은 MaxPath(최고 신뢰도 단일 경로 선택) 대비 성능을 크게 향상시키며, LLM 기반 집계보다 계산 비용이 훨씬 낮습니다.

5. 의의 및 결론 (Significance)

• 모델의 내재적 추론 능력 극대화: 외부 프롬프트나 수동 설계 없이, 모델의 디코딩 기하학적 구조 (Geometry) 만을 활용하여 복잡한 추론 경로를 탐색하고 선택할 수 있음을 입증했습니다.
• 실용적 확장성: 고정된 정답 형식이 필요한 수학 문제뿐만 아니라, 개방형 질문, 요약, 분류 등 다양한 자연어 처리 작업에 적용 가능한 범용적인 프레임워크를 제공합니다.
• 효율성과 성능의 균형: 추가적인 계산 비용 (여러 경로 생성) 이 발생하지만, 단순한 다중 샘플링보다 지능적인 탐색 (피보나시, 백트래킹) 과 효율적인 집계 방식을 통해 제한된 예산 내에서 최적의 성능을 달성합니다.

이 연구는 LLM 의 추론 능력을 향상시키기 위해 프롬프트 엔지니어링에 의존하는 패러다임에서 벗어나, 디코딩 시간 (Decoding-time) 알고리즘을 통해 보다 강력하고 유연한 추론 시스템을 구축할 수 있음을 보여줍니다.