SEF-CLGC at SemEval-2026 Task 11: Logical Notation Impact on Language Model Performance

기술 요약: SemEval-2026 Task 11의 SEF-CLGC

문제 정의
본 논문은 대규모 언어 모델(LM)이 내용 추론과 형식 추론을 분리하여 삼단논법의 논리적 타당성을 판단하도록 도전하는 SemEval-2026 Task 11 Subtask 1을 다룹다. 핵심 문제는 LM이 논리적 구조보다는 논증의 현실 세계적 개연성에 의해 판단이 좌우되는 "내용 편향(content bias)"을 보이는 경우가 많다는 점이다. 더 큰 모델들이 일반적으로 더 나은 성능을 보이지만, 이들 역시 인간과 유사한 추론 편향을 겪기 쉽다. 저자들은 소규모 언어 모델(SLM)이 자연어와 형식적 논리 표기법의 조합으로 학습될 때, 이러한 편향을 완화하면서도 경쟁력 있는 추론 성능을 달달성할 수 있는지 조사한다.

방법론
저자들은 **SEF-CLGC(Syllogistic Evaluation Framework-Common Logic Grammar Construction)**라고 불리는 파이프라인을 활용하고 개선하였다. 방법론은 다음 단계로 진행된다:

1. 데이터셋 변환:

   • NL-to-FOL 변환: 태스크 데이터셋의 자연어(NL) 삼단논법은 먼저 OpenAI의 ChatGPT 5.2 모델을 사용하여 1차 논리(FOL)로 변환된다.
   • 범주화: SEF 구성 요소는 삼단논법을 가언적(Hypothetical), 선언적(Disjunctive), 범주적(Categorical), 복합적(Complex)의 네 가지 유형으로 분류한다.
   • 표기법 생성: Backus-Naur Form(BNF) 문법을 사용하여 시스템은 추상 구문 트리(AST)를 생성하고, FOL 표현을 다양한 논리 표기법으로 변환한다. 이 파이프라인은 기존 표기법 외에 두 가지 새로운 표기법을 도입한다:
     • CLINGO: Answer Set Programming(ASP)을 위한 언어.
     • MINIFOL2: FOL 연산자를 불리언(Boolean) 등가물로 대체하고 존재 양화사("∃")를 제거한 커스텀 표기법.
   • 결과물인 데이터셋에는 원래의 자연어 삼단논법과 FOL, CLIF, CGIF, TFL+, CLINGO, MINIFOL2와 같은 표기법으로 변환된 형태가 포함된다.

2. 모델 학습 및 아키텍처:

   • 저자들은 경제성을 보장하기 위해 파라미터 수가 10억 개 미만인 모델로 범위를 제한하여 Flan-T5 모델(small 및 large 변체)을 채택하였다.
   • 두 가지 모델 패밀리가 학습된다:
     • SEMEVAL 모델: 태스크 데이터셋 분할 데이터로 직접 미세 조정된 순수(Vanilla) Flan-T5 모델.
     • FOLIO-SEMEVAL 모델: SemEval 태스크 데이터로 미세 조정하기 전, 논리 추론 데이터셋인 FOLIO에서 사전 미세 조정된 Flan-T5 모델.
   • 학습은 하나 또는 여러 개의 표기법으로 구성된 삼단논법이 입력되고, 타겟은 타당성 레이블("True" 또는 "False")인 지도 미세 조정(SFT) 방식으로 진행된다.

3. 평가 지표:

   • 성능은 **정확도(ACC)**와 개연적인 삼단논법과 비개연적인 삼단논법 사이의 성능 격차를 정량화하는 **내용 효과(Content Effect, CE)**를 사용하여 측정된다.
   • 주요 순위 지표는 $CS = \frac{ACC}{1 + \log(1 + CE)}$로 정의되는 **내용 점수(Content Score, CS)**이다. 이 지표는 높은 정확도에 보상을 주는 동시에 높은 내용 편향에 대해서는 페널티를 부여한다.

주요 결과

• SLM의 성능: 가장 우수한 성능을 보인 모델은 NL-FOL 결합으로 학습된 FOLIO-SEMEVAL Flan-T5-large였으며, 블라인드 평가 세트에서 **27.80%**의 내용 점수와 **90.57%**의 정확도를 달성하였다.
• 표기법의 영향:
  • SEMEVAL 패밀리(FOLIO 사전 학습 없음)에서는 자연어(NL) 단독 성능이 가장 좋았으며, NL-FOL이 그 뒤를 이었다. 순수 형식 표기법(예: FOL, CLIF)은 일반적으로 NL보다 낮은 성능을 보였다.
  • FOLIO-SEMEVAL 패밀리에서는 논리 데이터에 대한 사전 학습이 계층 구조를 크게 변화시켰다. NL-CLIF 조합이 가장 높은 학습 정확도(0.95)를 기록했고, NL-FOL이 가장 높은 평가 내용 점수를 달성했다.
  • MINIFOL2 및 **TFL+**와 같은 표기법은 모델이 해당 특정 구문 구조에 익숙하지 않아 낮은 성능을 보였다.
• 편향 완화: 형식적 표기법을 사용하면, 특히 자연어와 결합했을 때 내용 효과(CE)가 유의미하게 감소했다. 예를 들어, FOLIO-SEMEVAL 패밀리에서 NL-FOL 모델은 NL 단독 모델의 CE인 9.57에 비해 CE를 8.55로 낮추었다.
• 오류 분석: 모델들은 타당한 삼단논법을 탐지하는 데는 강점을 보였으나, 부당한 삼단논법을 탐지하는 데는 어려움을 겪어 높은 거짓 양성(부당한 삼단논법을 타당하다고 예측) 비율을 보였다. 이러한 편향은 FOLIO 데이터셋으로 사전 학습된 모델에서 더 두드러지게 나타났다.

의의 및 주장
본 논문은 자신의 연구가 형식적 논리 표기법으로 증강되었을 때 **소규모 언어 모델(SLM)**이 복잡한 논리 추론 작업에서 경쟁력 있는 에이전트가 될 수 있음을 입증한다고 주장한다. 구체적으로 저자들은 다음과 같이 단언한다:

1. 경제성 및 경쟁력: 거대 모델에만 의존하는 추세를 거슬러, SLM을 사용하여 높은 정확도와 경쟁력 있는 순위(내용 효과 7위, 정확도 10위)를 달성하는 것이 가능하다.
2. 편향 감소: 형식적 논리 표기법을 통합하는 것(뉴로-심볼릭 접근법)은 내용 편향을 줄이는 데 도움이 되어, 모델이 현실 세계의 개연성보다 구조에 대해 더 많이 추론할 수 있게 한다.
3. 사전 학습의 가치: 논리적 데이터셋(FOLIO 등)에 대한 사전 미세 조정을 거치면, 소규모 규모의 태스크에서도 형식적 표기법을 효과적으로 학습하고 활용하는 능력이 향려된다.

저자들은 자신의 접근 방식이 효과적이긴 하지만, 데이터셋 내의 삼단논법 범주 불균형 문제를 해결하고 모델이 부당한 삼단논법을 처리하는 데 어려움을 겪는 구체적인 이유를 조사하기 위한 후속 연구가 필요하다고 결론짓는다. 또한 초기 NL-to-FOL 변환 단계에서 상용 모델에 의존하는 것에 대한 한계를 인정한다.