1. 문제 정의 (Problem)

이 논문은 SemEval-2026 Task 11 (Subtask 1) 에 참여하여 삼단논법 (Syllogism) 의 유효성 예측 문제를 다룹니다. 핵심적인 도전 과제는 다음과 같습니다.

• 콘텐츠 효과 (Content Effects): 언어 모델 (LLM) 이 논리적 구조가 아닌, 실제 세계의 신빙성 (believability) 에 영향을 받아 추론을 잘못 수행하는 현상입니다. 예를 들어, 논리적으로 틀렸지만 현실적으로 믿을 만한 명제일 때 모델이 '유효하다'고 잘못 판단하거나 그 반대의 경우가 발생합니다.
• 평가 지표: 단순한 정확도 (Accuracy) 만이 아닌, 콘텐츠 효과 (Content Effect, CE) 를 최소화하면서 정확도를 높이는 복합 점수 (Combined Score) 를 최적화해야 합니다.
  • 점수 공식: $Score = \frac{Accuracy}{1 + \ln(1 + CE)}$
  • 목표: 높은 정확도와 낮은 콘텐츠 효과 (신빙성에 의한 편향 최소화) 를 동시에 달성하는 것.

2. 방법론 (Methodology)

저자들은 FregeLogic이라는 하이브리드 신경 - 심볼릭 (Neuro-Symbolic) 아키텍처를 제안했습니다. 이 시스템은 LLM 의 유연성과 형식 논리 (Formal Logic) 의 엄밀함을 결합합니다.

A. 시스템 아키텍처

시스템은 크게 세 가지 구성 요소로 이루어져 있습니다 (그림 1 참조):

1. LLM 앙상블 (5 개 분류기):

   • 모델: 3 개의 오픈 가중치 모델 (Llama 4 Maverick, Llama 4 Scout, Qwen3-32B) 을 사용.
   • 프롬프트 전략: 제로샷 (Zero-shot), 퓨샷 (Few-shot), 퓨샷 CoT, 심플 CoT 등 4 가지 전략을 모델과 조합하여 총 12 가지 조합 중 5 개를 선택.
   • 동작: 각 삼단논법에 대해 5 개 분류기가 이진 예측 (유효/무효) 을 수행하고 다수결 (Majority Vote) 을 적용합니다.

2. Z3 SMT 솔버 (형식 논리 검증기):

   • 역할: LLM 앙상블의 의견이 갈릴 때 (Tiebreaker) 최종 판단을 내리는 심볼릭 엔진.
   • 구현:
     • 구조 추출: LLM 을 통해 삼단논법의 논리적 구조 (주어, 술어, 명제 유형 A/E/I/O) 를 JSON 형식으로 추출. (구조화된 출력 API 사용으로 추출 실패율 22% → 0% 로 감소).
     • FOL 인코딩: 아리스토텔레스 논리학의 실존적 함의 (Existential Import) 를 반영하여 1 차 논리 (First-Order Logic) 공식으로 변환. (예: "모든 S 는 P 이다"를 $\forall x: S(x) \to P(x) \land \exists x: S(x)$ 로 인코딩).
     • 충족 가능성 검사 (Satisfiability Check): 전제가 일관된지 확인한 후, 전제와 결론의 부정이 모순 (UNSAT) 이 되는지 확인하여 유효성을 판별.

3. 의사결정 퓨전 모듈 (Tiebreaker Decision):

   • 핵심 가설: LLM 앙상블 내의 의견 불일치 (특히 3 대 2 로 갈리는 경우) 는 콘텐츠 편향으로 인한 오류 신호일 가능성이 높음.
   • 동작:
     • 일치 (4-1 또는 5-0): LLM 앙상블의 다수결 결과를 최종 출력.
     • 갈등 (3-2): Z3 솔버의 형식적 검증 결과를 최종 출력으로 대체.

B. 주요 기술적 혁신

• 선택적 개입 (Selective Intervention): 모든 경우에 Z3 를 사용하는 것이 아니라, LLM 들이 혼란스러워하는 경우 (콘텐츠 편향이 의심되는 경우) 에만 형식 논리를 적용하여 계산 비용과 오류를 최소화.
• 구조화된 출력 (Structured Output): LLM 에서 논리 구조를 추출할 때 JSON 스키마를 강제하여 파싱 실패를 근절.
• 실존적 함의 처리: 데이터셋의 특정 삼단논법 (Felapton 등) 을 분석하여 아리스토텔레스식 해석 (전제에 실존 가정 포함) 을 적용, 논리 검증의 정확도 향상.

3. 주요 결과 (Results)

N=960 개의 삼단논법 데이터셋에 대한 5 중 중첩 교차 검증 (Nested 5-fold Cross-Validation) 결과:

• 성능 지표:
  • 순수 LLM 앙상블: 정확도 93.4%, 콘텐츠 효과 3.39, 복합 점수 39.12
  • FregeLogic (하이브리드): 정확도 94.3%, 콘텐츠 효과 2.85, 복합 점수 41.88
• 개선 사항:
  • 콘텐츠 효과 감소: 16% 감소 (3.39 → 2.85). 이는 LLM 이 신빙성에 휘둘리는 오류를 Z3 가 효과적으로 보정했음을 의미.
  • 정확도 향상: 0.9% 증가.
  • 복합 점수: 2.76 점 상승 (39.12 → 41.88).
• 세부 분석:
  • 3-2 투표 분할: 전체 사례의 7.9% (76 건) 에서 발생. 이 중 Z3 가 앙상블의 다수결을 뒤집은 30 건 중 19 건은 올바른 수정이었고, 11 건은 잘못된 수정이었습니다. 순 8 건의 정답 증가.
  • 오류 원인: Z3 의 오류는 논리 인코딩이 아닌, LLM 에 의한 구조 추출 오류 (명제 유형 오인식, 용어 경계 오분할 등) 에서 발생. 특히 '신빙성 없는 (Unbelievable)' 전제에서 추출 난이도가 높았습니다.
  • Z3 편향: Z3 만 단독으로 사용할 경우 유효한 삼단논법 (Valid) 에서는 정확도가 낮고 (약 52%), 무효한 삼단논법 (Invalid) 에서는 매우 높음 (약 98%). 이는 추출 오류가 유효성 판단을 무효로 만드는 방향으로 작용하기 때문.

4. 주요 기여 (Key Contributions)

1. 하이브리드 신경 - 심볼릭 아키텍처의 유효성 입증: LLM 의 추론 불일치가 콘텐츠 편향 오류의 지표가 될 수 있음을 실증하고, 이를 형식 논리로 보정하는 메커니즘을 제안.
2. 콘텐츠 효과 (Content Effect) 감소 전략: LLM 의 세계 지식 편향을 제거하기 위해, 추론이 불확실한 경우에만 형식적 검증을 적용하는 효율적인 전략을 제시.
3. 구조 추출 파이프라인 최적화: LLM 기반 논리 구조 추출 시 구조화된 출력 (Structured Output) API 를 사용하여 실패율을 22% 에서 0% 에 가깝게 낮춤.
4. 아리스토텔레스 논리 인코딩: 실존적 함의를 포함한 FOL 인코딩을 통해 데이터셋의 논리적 특성을 정확히 반영.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰할 수 있는 추론: 대규모 언어 모델이 논리적 추론을 수행할 때 발생하는 '신빙성 편향'을 해결하기 위해, 형식적 방법 (Formal Methods) 을 전략적으로 적용하는 것이 효과적임을 보여줌.
• 효율성: 모든 경우에 형식 솔버를 사용하는 것이 아니라, 모델 간 합의가 낮은 경우에만 개입함으로써 계산 자원을 효율적으로 사용하면서도 성능을 극대화.
• 미래 전망: 이 접근 방식은 다른 추론 작업 (수학, 과학 등) 으로 확장 가능하며, 모델 내부 구조에 접근하지 않고도 외부 검증기를 통해 편향을 줄일 수 있는 가능성을 시사.

이 논문은 SemEval-2026 Task 11 에서 최고의 복합 점수 (41.88) 를 기록하며, 신경망 기반 모델과 심볼릭 논리 시스템의 시너지가 추론 작업의 신뢰성을 높이는 핵심 열쇠임을 입증했습니다.