Large Language Models are Contrastive Reasoners

이 논문은 정답과 오답을 모두 생성하도록 유도하는 '대조적 프롬프팅 (Contrastive Prompting)' 기법이 별도의 예시 없이도 LLM 의 추론 능력을 획기적으로 향상시켜 기존 최첨단 방법들을 능가함을 보여줍니다.

핵심

"거울을 보는 AI": 대조적 추론 (Contrastive Prompting) 이란 무엇일까요?

이 논문은 인공지능 (LLM) 이 더 똑똑하게 생각하게 만드는 아주 간단하지만 혁신적인 방법을 소개합니다. 바로 **"정답과 오답을 동시에 만들어보게 하는 것"**입니다.

이 방법을 쉽게 이해할 수 있도록 일상생활에 비유해 설명해 드릴게요.

---

1. 기존 방식의 문제점: "혼자서 고민하는 학생"

기존에 AI 에게 문제를 풀게 할 때는 보통 **"단계별로 생각해보자 (Let's think step by step)"**라고 말해줬습니다.

• 비유: 시험을 치는 학생이 혼자서 문제를 풀고 있습니다. "자, 하나씩 차근차근 풀어보자!"라고 스스로 독려하지만, 실수할 가능성이 여전히 높습니다. 특히 수학 문제나 상식 문제에서 한 번 실수하면 그 실수가 그대로 정답으로 제출되어 틀리게 됩니다.

2. 새로운 방법 (이 논문의 핵심): "스승과 제자, 혹은 변호사와 검사"

이 논문은 AI 에게 **"자, 이제 정답 하나와 틀린 답 하나를 동시에 만들어봐!"**라고 지시합니다. 이를 **대조적 추론 (Contrastive Prompting)**이라고 부릅니다.

• 비유 1: 거울을 보는 것
  AI 가 문제를 풀 때, 마치 거울을 보는 것처럼 자신의 생각을 두 가지 버전으로 나눕니다.

  • 버전 A (정답): "나는 이렇게 계산했어. 5 곱하기 6 은 30 이고, 10 년이면 300 이야."
  • 버전 B (오답): "아, 잠깐. 10 년을 20 년으로 착각했네? 그럼 600 이 되겠지. (하지만 이건 틀렸어! 10 년은 10 년이니까.)"

  AI 는 이 두 가지를 비교하면서 **"아! 내가 여기서 실수할 수 있구나. 오답을 만들어보니 왜 틀린지 알겠다"**라고 스스로 깨닫게 됩니다. 마치 거울을 통해 자신의 실수를 바로잡는 것과 같습니다.

• 비유 2: 변호사와 검사의 토론
  AI 는 스스로 두 명의 인격을 연기합니다.

  • 변호사: "이게 정답입니다!"라고 논리적으로 설명합니다.
  • 검사: "아니, 그건 오해의 소지가 있습니다. 만약 이렇게 생각하면 틀리게 됩니다!"라고 반박합니다.

  이 두 목소리가 싸우는 과정에서 AI 는 가장 논리적이고 확실한 결론 (정답) 에 도달하게 됩니다.

3. 왜 이렇게 하면 더 잘 풀까요?

이 방법은 AI 가 가진 방대한 지식 (인터넷의 수많은 글, 책, 토론 등) 을 활용하는 방식입니다.

• 인터넷의 경험: 인터넷에는 "정답"과 "틀린 답"이 섞여 있습니다. AI 는 이걸 학습하면서 "어떤 답이 맞고 어떤 답이 틀린지"를 이미 알고 있습니다.
• 실수로부터 배우기: 인간도 실수를 통해 더 많이 배웁니다. AI 도 "틀린 답"을 직접 만들어보면서, "아, 내가 여기서 함정에 빠질 수 있구나"라고 스스로 경계하게 됩니다.
• 확신 증가: AI 가 정답을 말할 때, "틀린 답"을 먼저 만들어보면서 그 오답이 왜 틀린지 확인했기 때문에, 정답을 말할 때 훨씬 더 확신 있게 (높은 확률로) 답을 내놓습니다.

4. 실제 효과는 어떨까요?

논문에서는 이 방법을 적용했을 때 놀라운 결과를 보였습니다.

• 수학 문제 (GSM8K): 기존에 35.9% 만 맞췄던 AI 가, 이 방법을 쓰니 **88.8%**까지 정답률이 뛴 것입니다. (GPT-4 기준)
• 상식 문제: "왜 이 상황이 일어날까?" 같은 복잡한 상식 문제에서도 훨씬 더 똑똑하게 답변했습니다.
• 간단함: 별도의 복잡한 학습이나 사람이 직접 예시를 만들어줄 필요가 없습니다. 그냥 **"정답과 오답을 하나씩 줘봐"**라고 말하면 됩니다.

5. 요약: 한 줄로 정리하면?

"AI 에게 "정답만 말해"라고 하기보다, "정답과 틀린 답을 비교해보면서 스스로 실수를 고쳐봐"라고 시키면, AI 는 훨씬 더 똑똑하고 정확하게 문제를 푼다."

이 방법은 마치 우리가 시험을 볼 때, "이게 왜 틀렸지?"라고 오답 노트를 작성하며 공부하는 것과 같은 원리입니다. AI 도 이제 스스로의 실수를 분석하고 교정하는 능력을 가진 '대조적 추론가'가 된 것입니다.

기술 요약

논문 요약: Large Language Models are Contrastive Reasoners

1. 문제 제기 (Problem)

최근 대형 언어 모델 (LLM) 은 체인 오브 씽킹 (Chain-of-Thought, CoT) 프롬프팅 기법을 통해 복잡한 추론 능력을 보여주었습니다. 그러나 기존 CoT 방식은 다음과 같은 두 가지 주요 한계를 가지고 있습니다.

• 정확한 추론 과정의 부재: Zero-shot CoT ("단계별로 생각해보자"와 같은 지시) 는 추론 단계를 생성하지만, 그 단계가 항상 정확하지는 않으며 특히 상식 추론이나 산술 문제에서 오류를 범할 수 있습니다.
• 수동 레이블링의 의존성: Few-shot CoT 는 정확한 추론 과정이 포함된 예시 (human-labeled examples) 가 필요하며, 이는 각 작업마다 수집 비용이 많이 듭니다.

따라서 인간 개입 (수동 레이블링) 없이도 LLM 이 더 정확한 추론 과정을 생성할 수 있는 방법이 필요합니다.

2. 방법론 (Methodology)

저자들은 **대비적 프롬프팅 (Contrastive Prompting, CP)**이라는 새로운 기법을 제안합니다. 이 방법은 LLM 이 스스로 올바른 답과 잘못된 답을 모두 생성하도록 유도하여, 오류를 식별하고 올바른 답을 도출하는 능력을 강화합니다.

• 핵심 아이디어: 인간이 실수와 정답을 비교하며 학습하는 방식을 모방합니다. LLM 에게 "올바른 답과 잘못된 답을 모두 제시해보자 (Let's give a correct and a wrong answer)"는 프롬프트를 입력하여, 모델이 잠재적인 오류를 스스로 인식하고 배제하도록 합니다.
• 구현 단계 (2 단계 프롬프팅):
  1. 추론 추출 (Reasoning Extraction): 입력 질문에 "Let's give a correct and a wrong answer."라는 트리거 문구를 추가하여 LLM 에게 올바른 답과 잘못된 답에 대한 추론 과정을 동시에 생성하게 합니다.
  2. 답변 추출 (Answer Extraction): 생성된 텍스트 (올바른 답과 잘못된 답의 설명) 를 바탕으로, 최종적으로 올바른 답을 추출하는 두 번째 프롬프트를 사용합니다.
• 유연한 통합: CP 는 Zero-shot, Few-shot, CoT 등 기존 프롬프팅 기법과 결합하여 X-CP 형태로 적용할 수 있습니다. 예를 들어, Zero-shot-CoT-CP는 "단계별로 생각하며 올바른 답과 잘못된 답을 제시하자"는 프롬프트를 사용합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프롬프팅 패러다임: 인간 레이블 없이 LLM 이 스스로 오류를 생성하고 이를 통해 정답을 도출하는 '대비적 추론' 능력을首次로 체계화했습니다.
2. 간단하고 효과적인 트리거: 복잡한 예시나 추가 학습 없이, 단순히 "Let's give a correct and a wrong answer."라는 문구 하나만으로 성능을 획기적으로 개선합니다.
3. 범용성: 산술, 상식, 기호, 논리 추론 등 다양한 작업에 적용 가능하며, 기존 CoT 나 Few-shot 방법과 결합 시 시너지 효과를 냅니다.
4. 오픈 소스: 코드와 프롬프트를 공개하여 재현성을 보장합니다.

4. 실험 결과 (Results)

GPT-3.5, GPT-4 및 다양한 오픈 소스 모델 (LLaMA3, ChatGLM, Qwen 등) 을 사용하여 12 개의 데이터셋에서 실험을 수행했습니다.

• 성능 향상:
  • GSM8K (수학 추론): GPT-4 기준 Zero-shot(35.9%) 에서 Zero-shot-CP(88.8%) 로 정확도가 비약적으로 상승했습니다.
  • AQUA-RAT: 41.3% 에서 62.2% 로 향상되었습니다.
  • 전반적 성과: 12 개 데이터셋 중 9 개에서 Zero-shot 보다 우월한 성능을 보였으며, 대부분의 산술 및 상식 추론 작업에서 Zero-shot-CoT 와 Few-shot-CoT 를 능가했습니다.
• 모델 크기와의 관계: GPT-4 뿐만 아니라 LLaMA3-8B, 70B, ChatGLM3-6B 등 다양한 크기의 오픈 소스 모델에서도 일관된 성능 향상을 보였습니다.
• Qualitative 분석:
  • Zero-shot 이 잘못된 답을 낼 때, CP 는 그 오류를 "잘못된 답"으로 명시적으로 생성하고 올바른 답을 선택하는 과정을 보여주었습니다.
  • 잘못된 답을 생성하는 과정에서 모델이 정답에 대한 확신 (Log probability) 을 높이는 것을 확인했습니다 (Figure 4 참조).
• 비교: 기존 Contrastive CoT(Chia et al., 2023) 는 인간이 주석한 예시에서 잘못된 추론을 생성해야 하지만, 본 방법은 LLM 이 스스로 오류를 생성하므로 더 자연스럽고 효율적입니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 이 단순히 정답을 나열하는 것을 넘어, **자신의 오류를 인식하고 대비하는 능력 (Self-awareness of errors)**을 프롬프팅을 통해 활성화할 수 있음을 증명했습니다.

• 학습 데이터의 활용: LLM 의 사전 학습 데이터에는 수많은 정답과 오답이 포함되어 있으며, CP 는 이러한 패턴을 활용하여 모델이 "왜 이것이 틀린지"를 이해하도록 돕습니다.
• 비용 효율성: 수동으로 추론 예시를 작성할 필요가 없어, 다양한 도메인에 대한 추론 능력을 저비용으로 확장할 수 있습니다.
• 미래 방향: CP 는 X-of-thought(트리, 그래프 등) 나 자기 반성 (Self-reflection) 기법과 결합하여 더욱 정교한 추론 시스템으로 발전할 잠재력을 가지고 있습니다.

결론적으로, Contrastive Prompting은 LLM 의 추론 능력을 극대화하기 위한 강력하고 간결한 도구로서, 복잡한 문제 해결에서 인간의 개입을 최소화하면서도 높은 정확도를 달성할 수 있는 새로운 방향을 제시합니다.