Improving Chain-of-Thought Reasoning via Quasi-Symbolic Abstractions

1. 연구 배경 및 문제 정의 (Problem)

• Chain-of-Thought (CoT) 의 한계: 대규모 언어 모델 (LLM) 이 복잡한 추론 작업을 수행할 때 중간 추론 단계를 거치는 CoT 전략은 널리 사용되지만, 생성된 설명이 콘텐츠 편향 (content biases) 에 취약하다는 문제가 있습니다. 이는 모델의 견고성 (robustness) 과 충실도 (faithfulness) 를 저하시킵니다.
• 기존 기법의 문제점: 이러한 한계를 극복하기 위해 논리 형식 (logical formalisms) 과 외부 기호 솔버 (symbolic solvers) 를 결합한 연구들이 시도되었습니다. 그러나 완전한 기호화 (fully symbolic) 접근법은 자연어를 형식 언어로 완전히 번역해야 하므로, 효율성과 유연성이 떨어지고 병목 현상을 초래합니다.
• 핵심 과제: 자연어 설명의 유연성과 기호 추론의 견고성 사이의 균형을 맞추면서, 완전한 형식화 없이도 내용 (content) 과 논리적 추론 (logical reasoning) 을 분리할 수 있는 방법이 필요합니다.

2. 제안 방법론: QuaSAR (Methodology)

이 논문은 QuaSAR (Quasi-Symbolic Abstract Reasoning) 이라는 새로운 CoT 변형 프레임워크를 제안합니다. QuaSAR 는 LLM 이 자연어와 기호 요소가 공존하는 '준-기호적 (quasi-symbolic)' 추론 체인을 통해 추론하도록 유도합니다.

2.1 QuaSAR 의 4 단계 추론 프로세스

QuaSAR 는 문제를 해결하기 위해 다음 4 가지 구조화된 단계를 따릅니다:

1. 추상화 (Abstraction): 문제를 분석하여 관련 기호 술어 (predicates), 변수 (variables), 상수 (constants) 를 식별하고 추출합니다. 이는 구체적인 세계 지식을 추상적인 기호로 변환하는 과정입니다.
2. 형식화 (Formalisation): 원래의 자연어 문제를 기호 표현과 자연어를 혼합한 '준-형식적 (quasi-formal)' 형태로 재구성합니다. 이는 모호성을 줄이고 논리적 구조를 명확히 하는 핵심 단계입니다.
3. 설명 (Explanation): 형식화된 구조를 기반으로 단계별 추론 체인을 생성합니다. 각 단계가 논리적으로 어떻게 연결되는지 명시적으로 설명하여, 맥락 지식이나 암시적 관계로 인한 오류를 방지합니다.
4. 답변 (Answering): 최종 해답을 엄격한 형식 (예: "The answer is: [숫자]") 으로 도출합니다.

2.2 적용 방식

QuaSAR 는 두 가지 방식으로 활용됩니다:

• In-Context Learning (ICL): 더 크고 강력한 LLM (예: GPT-4o) 에 직접 지시하여 복잡한 추론 작업을 수행하게 합니다.
• Synthetic Demonstrations (데이터 증강): 고성능 모델이 생성한 QuaSAR 추론 과정을 '가상 데이터 (synthetic demonstrations)' 로 사용하여, 추론 능력이 부족한 소형 모델 (예: Llama-3-1B, Qwen2-1.5B) 을 미세 조정 (SFT) 합니다.

3. 주요 기여 (Key Contributions)

1. 준-기호적 추론 프레임워크 제안: 완전한 형식화 없이도 자연어와 기호 추론을 융합하여, CoT 의 편향성을 줄이고 추론의 투명성을 높이는 새로운 방법론을 제시했습니다.
2. 소형 모델 성능 향상 전략: 고성능 모델이 생성한 QuaSAR 추론 체인을 학습 데이터로 사용하여, 소형 모델의 추론 능력을 획기적으로 개선하는 방법을 입증했습니다.
3. 강건성 (Robustness) 검증: 답변 순서 변경이나 표면적인 단어 변화 (adversarial variations) 가 있는 과제도 기존 CoT 보다 훨씬 견고하게 처리함을 보였습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (수학적 추론, 논리적 추론, 자연어 이해) 와 모델 (GPT-4o, Llama-3, Qwen2) 을 대상으로 실험한 결과는 다음과 같습니다.

• 정확도 향상:
  • GPT-4o: CoT 대비 평균 8% 정확도 향상. (Faithful CoT 대비 6.8%, CoMAT 대비 8.2% 향상).
  • 소형 모델 (Llama-3-8B, Qwen2-7B 등): QuaSAR 기반의 미세 조정 (SFT) 을 적용했을 때, 표준 CoT 기반 학습보다 훨씬 높은 성능을 보였습니다. 특히 Llama-3-1B 와 Qwen2-1.5B 와 같은 초소형 모델에서도 큰 개선을 보였습니다.
• 강건성 테스트 (Robustness):
  • MMLU-Redux (선지 순서 변경): QuaSAR 는 선지 순서가 바뀌어도 성능이 거의 변하지 않았으나 (0.0% 변화), CoT 는 약 1.2% 하락했습니다.
  • GSM-Symbolic (수학적 문제 변형): QuaSAR 는 변형된 문제에서도 높은 정확도를 유지하며, CoT 보다 훨씬 안정적인 추론 경로를 보였습니다.
• 학습 효율성:
  • QuaSAR 로 생성된 데이터로 학습한 모델은, CoT 데이터로 학습한 모델보다 적은 양의 학습 데이터 (Llama-3-8B 의 경우 50%, Qwen2-7B 의 경우 25%) 로도 더 큰 모델의 성능을 능가했습니다.

5. 의의 및 결론 (Significance)

• 효율성과 견고성의 균형: 완전한 기호화 시스템의 복잡성 없이도, LLM 이 추론 과정에서 논리적 엄밀성을 유지할 수 있게 하여 효율성과 견고성을 동시에 확보했습니다.
• 소형 모델의 추론 능력 확장: 고비용의 대형 모델이 생성한 고품질의 '준-기호적' 추론 데이터를 활용함으로써, 상대적으로 저비용의 소형 모델들도 복잡한 추론 과제를 효과적으로 수행할 수 있게 되었습니다.
• 오류 수정 용이성: 구조화된 준-기호적 추론 체인은 모델이 자신의 오류를 더 쉽게 발견하고 수정 (Self-correction) 할 수 있게 하여, 신뢰할 수 있는 AI 시스템 구축에 기여합니다.

결론적으로, QuaSAR 는 자연어 기반의 유연한 설명과 기호 기반의 논리적 엄밀성을 결합하여, 현재 LLM 이 직면한 추론의 신뢰성과 견고성 문제를 해결할 수 있는 확장 가능한 솔루션을 제공합니다.