Inclusion-of-Thoughts: Mitigating Preference Instability via Purifying the Decision Space

1. 연구 배경 및 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 다중 선택형 질문 (MCQ) 평가에서 널리 사용되지만, **유사한 오답 (plausible distractors)**이 존재할 때 모델의 선호도가 불안정해지는 취약점을 보입니다.

• 선호도 불안정성 (Preference Instability): 모델이 정답을 높은 확신으로 식별하고 있음에도 불구하고, 여러 개의 그럴듯한 오답이 존재하면 모델의 주의가 분산되어 정답과 오답 사이에서 진동하게 됩니다. 이는 지식 부족이나 추론 단계의 부재가 아니라, 선택지 간의 비교 모호성으로 인한 내부 추론의 불안정성에서 기인합니다.
• 기존 방법의 한계: 기존 테스트 시간 확장 (Test-time scaling) 기법들 (예: Self-Consistency, Tree-of-Thought 등) 은 다중 샘플링이나 복잡한 탐색 전략을 사용하여 성능을 높이지만, 계산 비용이 매우 높고 복잡한 구조를 요구합니다.

2. 제안 방법: Inclusion-of-Thoughts (IoT)

저자들은 **Inclusion-of-Thoughts (IoT)**라는 새로운 프롬프트 전략을 제안합니다. 이는 모델의 추론 공간을 확장하는 것이 아니라, **불필요한 오답을 제거하여 결정 공간 (Decision Space) 을 정제 (Purify)**함으로써 모델이 가장 유력한 후보들 간의 비교에 집중하도록 유도하는 점진적 자기 필터링 (Progressive Self-filtering) 전략입니다.

IoT 는 3 단계 파이프라인으로 구성됩니다:

1. 1 단계: 초기 선호도 유도 (Initial Preference Elicitation)
   • 기존 CoT(Chain-of-Thought) 프롬프트를 사용하여 모델이 모든 선택지 중에서 가장 확신하는 정답 후보 ($o^*_1$) 를 도출합니다.
2. 2 단계: 두 번째 타당성 평가 (Second Plausibility Assessment)
   • 1 단계에서 선택된 후보 ($o^*_1$) 를 제거하고, 대신 "none of the options (선택지 없음)"이라는 중립적 플레이스홀더로 대체하여 수정된 MCQ 를 다시 모델에 입력합니다.
   • 모델이 여전히 $o^*_1$을 지지한다면 "none of the options"을 선택할 것입니다. 만약 모델이 다른 유력한 오답 ($o^*_2$) 을 선택한다면, 이는 $o^*_1$에 대한 선호도가 불안정함을 의미합니다.
   • 조기 종료 (Early Stopping): 만약 2 단계에서 모델이 "none of the options"을 선택하여 초기 선택이 확고함을 증명하면, 3 단계로 진행하지 않고 바로 종료합니다.
3. 3 단계: 제한된 최종 추론 (Confined Final Inference)
   • 1 단계와 2 단계에서 도출된 가장 유력한 두 후보 ($o^*_1$과 $o^*_2$) 만으로 구성된 축소된 MCQ 를 생성합니다.
   • 모델은 이 방해 요소가 제거된 (distractor-free) 환경에서 두 후보 간의 최종 비교 추론을 수행하여 정답을 결정합니다.

3. 주요 기여 (Key Contributions)

1. 가벼운 제로샷 (Zero-shot) 프레임워크: 추가 학습이나 인간 주석이 필요 없으며, 사전 학습된 LLM 에 바로 적용 가능합니다. 샘플링이나 복잡한 탐색 없이 모델의 상위 후보를 격리하여 비교함으로써 성능을 향상시킵니다.
2. 선호도 불안정성에 대한 새로운 관점: MCQ 오류의 주요 원인이 지식 부족이 아니라, 유력한 오답들 간의 선호도 불안정성임을 규명하고 이를 해결하는 접근법을 제시했습니다.
3. 전이 기반 분석 (Transition-based Analysis): 모델의 예측이 3 단계에 걸쳐 어떻게 변화하는지 (예: TTT, FTT, TFF 등) 분석하여 오류의 원인을 진단할 수 있는 도구를 제공합니다. 이를 통해 데이터셋의 라벨 오류나 질문의 모호성을 식별할 수 있습니다.
4. 높은 효율성과 성능: 복잡한 계산 없이 CoT 대비 상당한 정확도 향상을 달성했습니다.

4. 실험 결과 (Results)

저자들은 Olmo-2, Llama-3.3, GPT-4o-mini 등 다양한 크기의 4 가지 모델과 7 가지 벤치마크 (상식 추론, 교육, 수학) 에서 IoT 를 평가했습니다.

• 성능 향상: IoT 는 모든 모델과 태스크에서 CoT 및 Self-Consistency (SC) 와 같은 기존 베이스라인을 능가하거나 경쟁하는 성능을 보였습니다.
  • 특히 Olmo-2-7B 모델에서 상식 추론 (OBQA, CSQA) 및 수학 (GSM8K-MC) 태스크에서 새로운 최첨단 (SOTA) 성능을 기록했습니다 (예: GSM8K-MC 에서 +3.95% 향상).
  • 평균 정확도 측면에서도 Olmo-2-7B 기준 72.91% 를 기록하여 경쟁자보다 약 1.64% 높았습니다.
• 계산 효율성:
  • IoT 는 CoT 대비 약 2.2 배의 토큰만 생성하는 반면, Self-Consistency (SC) 는 약 4.6 배의 토큰을 생성합니다.
  • 조기 종료 메커니즘을 통해 불필요한 추론 단계를 생략하여 계산 비용을 최소화했습니다.
• 강건성 (Robustness): 선택지의 순서를 무작위로 섞었을 때 IoT 는 CoT 대비 성능 변동성이 훨씬 작아, 모델이 선택지 순서와 같은 표면적 특징에 덜 의존하고 의미적 이해에 기반한 안정적인 선호도를 보임을 입증했습니다.
• 진단적 가치: TFF(정답을 중간에 찾았으나 최종 답을 틀림) 및 FTF 패턴 분석을 통해, 일부 오류가 데이터셋의 라벨 오류나 질문의 모호성에서 비롯되었음을 발견하고 이를 보정할 가능성을 제시했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 추론 능력을 향상시키는 데 있어 **계산 자원을 무작정 늘리는 것 (Scaling compute)**뿐만 아니라, **모델의 내부 의사결정 과정을 정제 (Purifying)**하는 접근법의 중요성을 강조합니다.

• 비용 대비 효과: 복잡한 검색 알고리즘이나 다중 샘플링 없이도, 선택지 간의 불필요한 간섭을 제거함으로써 모델이 본질적인 추론에 집중하게 하여 성능을 극대화합니다.
• 해석 가능성: 모델이 왜 특정 오답에 흔들렸는지, 그리고 어떻게 최종 정답에 도달했는지에 대한 투명한 과정 (Filtering Process) 을 제공하여 모델의 의사결정 메커니즘에 대한 이해를 높입니다.
• 미래 방향: IoT 는 MCQ 태스크에 특화되어 있지만, 모델의 선호도 불안정성을 해결한다는 관점은 다양한 추론 태스크에서 LLM 의 신뢰성과 안정성을 높이기 위한 새로운 연구 방향을 제시합니다.

요약하자면, Inclusion-of-Thoughts는 모델이 "모든 선택지를 고려하는 것"에서 "가장 유력한 두 선택지만을 집중적으로 비교하는 것"으로 사고의 초점을 전환시킴으로써, 방해 요소로 인한 인지 부하를 줄이고 추론의 안정성을 획기적으로 개선한 혁신적인 방법론입니다.