기술 요약: 나에게 논리적으로 말하고 있는 건가요? 언어 모델의 삼단논법 추론 능력 평가

문제 정의

언어 모델(LM)은 현재 논리적 과업, 특히 추상적 사고와 일관성을 요구하는 삼단논법 추론에서 어려움을 겪고 있다. 지식 표현(Knowledge Representation, KR)은 모델에 모호하지 않고 해석 가능한 입력 형식(예: 1차 논리 또는 FOL)을 제공함으로써 모델을 도울 수 있음이 입증되었으나, 기존 연구는 주로 자연어(Natural Language, NL)와 FOL에 국한되어 있다. 현재의 데이터셋은 인간의 개입, 크기, 다양성 및 일반화 측면에서 문제를 안고 있는 경우가 많다. 또한, 자연적인 수준에서 매우 상징적인 수준에 이르는 KR 표기법의 추상화 정도가 소형 언어 모델(Small Language Model, SLM)의 추론 능력에 미치는 영향은 아직 충분히 탐구되지 않았다. 더불어, 추론을 가이드하기 위해 삼단논법을 명시적으로 분류하는 것의 잠재적 이점이 프롬프트 전략에 체계적으로 통합되지도 않았다.

방법론

저자들은 이러한 격차를 해소하기 위해 공통 논리 문법 구축(Common Logic Grammar Construction, CLGC) 프레임워크를 중심으로 한 종합적인 프로토콜을 제안한다.

1. CLGC 프레임워크

CLGC는 다양한 형식적 표기법으로 삼단논법을 자동 생성하고 분류하기 위해 설계된 오픈 소스 파이썬 라이库이다.

• 생성 과정: 시스템은 FOL(Backus-Naur Form 문법으로 정의됨)로 된 삼단논법에서 시작한다. 시스템은 추상 구문 트리(AST)를 생성하고, 각 타겟을 위한 수동 구현된 BNF 문법을 사용하여 대상 표기법으로 문장을 재구성한다.
• 표기법 선택: 본 연구는 네 가지 기준을 바탕으로 표기법을 평가한다: 장황성(구문적 변이), 빈도(LM 사전 학습 중 노출 가능성), 추상성(자연어에서 상징적 수준까지의 복잡도), 유한성(정의 가능한 문법).
• 지원되는 표기법: 프레임워크는 다음을 지원한다:
  • CL Suite: Common Logic Interchange Format (CLIF) 및 Conceptual Graph Interchange Format (CGIF).
  • Plus-Minus Algebra: Tensor Functor Logic Plus (TFLPLUS).
  • Answer Set Programming: CLINGO.
  • MINIFOLx: 빈도에 대한 민감도를 테스트하기 위한 베이스라인으로 도입된 경량화된 FOL 변형 제품군. 이는 표준 FOL 기호를 더 흔한 단어나 더 단순한 연산자로 대체한다 (예: $\forall$를 "all"로, $\neg$를 "not"으로 대체).

2. 삼단논법 평가 프레임십 (Syllogism Evaluation Framework, SEF)

저자들은 삼단논법을 네 가지 구조적 범주인 가설적(함축), 선언적(선언), 범주적(표준 2전제), 복합적으로 분류하기 위해 SEF 분류법을 활용한다. 이 범주들은 자동으로 감지되며 제로샷(Zero-Shot, ZS) 프롬프트를 풍부하게 하는 데 사용된다.

3. 데이터셋 및 실험 설정

• 데이터셋: 본 연구는 인간이 큐레이션한 FOLIO 및 P-FOLIO 데이터셋을 확장한다. CLGC를 사용하여 저자들은 다양한 형식적 표기법으로 번역되고 SEF 범주가 주석 처리된 FOLIO-KR 및 P-FOLIO-KR을 생성하였다.
• 모델: 실험은 경제성과 자원 제한적 추론 환경에서의 관련성을 고려하여 SLM에 집중한다.
  • 지도 미세 조정 (Supervised Fine-Tuning, SFT): Flan-T5-small 및 Flan-T5-large.
  • 제로샷 (Zero-Shot, ZS): Gemma-2-2b-it, Llama-3.2-3b-instruct, 및 Phi-3.5-mini-instruct.
• 시나리오:
  • SFT: 모델은 특정 표기법의 전제와 결론을 학습하여 진릿값(True, False, Unknown)을 예측하도록 훈련된다.
  • ZS 시나리오 1: 모델은 삼단논법과 해당 표기법의 BNF 문법을 프롬프트로 받는다.
  • ZS 시나리오 2: 모델은 삼단논법, 문법, 삼단논법의 SEF 범주 정의, 그리고 예시를 프롬프트로 받는다.

주요 결과

지도 미세 조정 (SFT)

• 표기법의 영향: 성능은 모델 크기, 데이터셋 크기, 그리고 표기법의 추상성 사이의 상호작용에 크게 의존한다.
  • P-FOLIO-KR(더 작은 데이터셋)에서 Flan-T5-small은 TFLPLUS 및 조합(CLIF + TFLPLUS)과 같은 추상적인 표기법에서 가장 좋은 성능을 보였으며, 자연어를 크게 앞질렀다. 저자들은 TFLPLUS의 단순한 토큰(예: +, -)이 제한된 훈련 데이터를 가진 소형 모델의 학습을 돕는다고 가설을 세웠다.
  • FOLIO-KR(더 큰 데이터셋)에서는 **자연어(NL)**와 CLIF가 모두 최상의 성능을 보였다. 증가된 데이터 볼륨 덕분에 모델이 복잡한 표기법을 더 잘 학습할 수 있었으나, TFLPLUS와 같은 추상적 표기법은 덜 빈번한 상징적 토큰에 대한 의존성 때문에 고전했을 가능성이 있다.
• 모델 스케일링: 일반적으로 추상도와 관계없이 모델 크기가 커질수록 성능이 향상되었다. 그러나 FOL과 고도로 추상적인 표기법은 NL 및 CLIF와는 다른 성장 추세를 보였다.
• 보수적 추론: NL과 CLIF를 결합(NL + CLIF)하면 모델의 행동이 "보수적" 추론으로 변화한다. 이 조합은 Unknown(결론 불능) 사례의 예측을 개선하고 환각(잘못된 "True" 예측)을 줄였는데, 이는 압축된 표기법이 모델이 불확실성을 다루고 귀류법을 통한 추론을 수행하는 데 도움을 준다는 것을 시사한다.

제로샷 (Zero-Shot, ZS)

• 범주를 활용한 프롬프팅: SEF 범주 정의를 추가하는 것(시나리오 2)은 Gemma나 Phi와 같은 모델에서, 특히 NL 스타일의 표기법에서 일반적으로 성능을 향상시켰다. 그러나 Llama와 같은 일부 모델이나 추상적인 표기법의 경우, 추가된 설명이 성능을 저하시키거나 영향이 미미했다.
• 모델 민감도:
  • Gemma(텍스트 중심 사전 학습)는 NL 및 CLIF에서 탁월한 성능을 보였다.
    액티브한 모델(예: Phi)은 범주 설명이 제공될 때 CLINGO와 같은 추상적 표기법에 더 잘 적응했다.
  • Llama(증류된 웹 데이터)는 FOL 스타일의 표기법 내 상징적 토큰에 대해 회복탄력성을 보였다.
• 추론 속도: KR 표기법은 NL보다 빠른 추론 시간을 보여주었다. TFLPLUS는 그 압축된 구문 덕분에 가장 빨랐으며, NL은 가장 느렸다. CLIF는 속도와 성능 사이에서 유리한 절충안을 제공했다.

의의 및 주장

본 논문은 AI의 논리적 추론 분야에 대해 세 가지 주요 기여를 한다고 주장한다:

1. 프레임워크 및 도구: 다양한 KR 표기법으로 삼단논법을 자동 생성하고 SEF 범주를 정의하는 최초의 파이썬 라이브러리인 CLGC를 도입하여, 이 영역의 재현 가능한 연구를 가능하게 했다.
2. 데이터 확장: 다양한 형식적 표기법과 논리 구조에 걸쳐 LM을 평가할 수 있도록 풍부해진 데이터셋인 FOLIO-KR 및 P-FOLIO-KR을 공개한다.
3. 경험적 통찰: 다음의 트렌드를 확립했다:
   • 입력 표기법의 선택은 SLM 성능에 상당한 영향을 미치며, 보편적으로 우월한 단일 표기법은 존재하지 않는다. 최적의 선택은 모델 크기, 훈련 패러다임(SFT vs ZS), 데이터 규모에 따라 달라진다.
   • 프롬프트 내의 논리적 정의(SEF 범주)는 추론을 촉진할 수 있지만, 그 효능은 모델의 사전 학습 데이터와 표기법의 추상 수준에 달려 있다.

저자들은 SLM이 적절한 표기법을 갖춘다면 추론 작업에서 잘 수행될 수 있지만, 자연적 표기법과 추상적 표기법 사이의 이분법은 복잡하고 견고한 추론을 달성하기 위해 두 가지를 다단계 파이프라인에서 결합하는 뉴로-심볼릭(neuro-symbolic) 아키텍처의 미래 방향을 시사한다고 결론짓는다.