ITLC at SemEval-2026 Task 11: Normalization and Deterministic Parsing for Formal Reasoning in LLMs

이 논문은 다국어 추론에서 발생하는 콘텐츠 편향을 줄이기 위해 삼단논법을 표준 논리 표현으로 변환하고 결정론적 파싱을 적용하는 새로운 방법을 제안하며, SemEval-2026 태스크 11 에서 모든 하위 작업 상위 5 위를 기록함과 동시에 복잡한 미세 조정이나 활성화 수준 개입 없이도 경쟁력 있는 대안을 제시합니다.

핵심

이 논문은 **"거대 인공지능 (LLM) 이 논리 문제를 풀 때, 내용이 마음에 들면 '아, 맞네!'라고 착각하고 틀린 답을 내놓는 현상"**을 해결한 연구입니다.

이 문제를 **'내용의 함정 (Content Effect)'**이라고 부르는데, 이 팀은 이를 해결하기 위해 "논리 구조만 남기고 내용은 모두 지우는" 아주 똑똑한 방법을 개발했습니다.

이 연구를 쉽게 이해할 수 있도록 세 가지 비유로 설명해 드릴게요.

---

1. 문제 상황: "맛있는 음식에 속는 AI"

상상해 보세요. AI 가 논리 퀴즈를 풀고 있습니다.

• 질문: "모든 고양이는 동물이다. 어떤 동물은 날 수 있다. 따라서 모든 고양이는 날 수 있다."
• AI 의 반응: "음... 고양이는 동물이고, 동물 중에는 박쥐처럼 날 수 있는 것도 있네. 그래서 고양이가 날 수 있다고? 아마 그럴 거야!"

AI 는 논리적으로 '틀린' 결론을 내렸지만, 세상에서 고양이가 날 수 있다는 사실이 '그럴듯해 (Plausible)' 보이니까 논리 규칙을 무시하고 맞다고 판단해 버립니다. 이것이 바로 이 논문이 지적하는 **'내용의 함정'**입니다. AI 가 논리 (형식) 보다는 내용 (상식) 에 너무 의존하는 것입니다.

2. 해결책: "논리 구조만 남기는 '탈의실'"

이 팀이 개발한 방법은 AI 가 문제를 풀기 전에, 문제의 '옷'을 벗겨내는 과정입니다.

• 비유: 논리 문제를 복잡한 의상을 입은 사람이라고 생각하세요.
  • "고양이", "날다", "동물" 같은 단어들은 옷입니다.
  • "모든 ~ 는 ~ 이다", "어떤 ~ 는 ~ 이 아니다" 같은 문장 구조는 **사람의 뼈대 (논리 구조)**입니다.

이 팀의 방법은 다음과 같습니다:

1. 옷 벗기기 (Normalization): AI 가 문제를 읽을 때, '고양이', '날다' 같은 구체적인 단어 (옷) 를 모두 지우고 A, B, C 같은 기호로만 바꿉니다.
   • 원문: "모든 고양이는 동물이다."
   • 변환 후: "모든 A 는 B 이다."
2. 뼈대 확인 (Deterministic Parsing): 이제 AI 는 내용을 볼 수 없으니, 오직 **뼈대 (A, B, C 의 관계)**만 보고 "이 구조가 논리 법칙에 맞는지" 기계처럼 딱딱하게 판단합니다.
   • "모든 A 는 B 이고, 어떤 B 는 C 라면, 모든 A 는 C 인가?" -> 아니오. (이건 논리 법칙상 틀린 구조니까)

이렇게 하면 AI 는 "고양이가 날 수 있을까?"라는 상상에 빠질 수 없게 됩니다. 내용이 없으니, 오직 논리 규칙만 따를 수밖에 없기 때문입니다.

3. 여러 언어를 위한 "영어 중계" 전략

이 연구는 영어뿐만 아니라 스페인어, 한국어, 프랑스어 등 다양한 언어에서도 작동합니다.

• 비유: AI 는 영어를 가장 잘하는 수석 통역사입니다. 하지만 다른 언어 (예: 프랑스어) 로 된 문제를 바로 풀면, 그 언어의 뉘앙스 때문에 헷갈릴 수 있습니다.
• 해결책: 모든 문제를 영어 통역사에게 먼저 맡깁니다.
  • 프랑스어 문제를 받아서, 논리 구조만 유지한 채 영어로 번역합니다.
  • 그 다음, 위에서 설명한 '옷 벗기기' 과정을 영어로 진행합니다.
  • 이렇게 하면 AI 가 가장 잘하는 영어 환경에서, 가장 정확한 논리 규칙을 적용할 수 있습니다.

4. 결과: "완벽한 논리, 제로 편향"

이 방법을 적용한 결과, 팀은 SemEval-2026이라는 세계적인 논리 평가 대회에서 상위 5 위에 올랐습니다.

• 기존 AI: 내용이 그럴듯하면 틀린 논리도 맞다고 함 (편향 발생).
• 이 팀의 AI: 내용이 뭐든 상관없이, 구조만 보고 100% 정확하게 맞고 틀림을 판단함.

요약

이 논문은 **"AI 가 논리를 잘하려면, '무엇에 대해' 이야기하는지 (내용) 는 잊어버리고, '어떻게' 이야기하는지 (구조) 만 기억하게 해야 한다"**는 아주 단순하지만 강력한 통찰을 보여줍니다.

마치 수학 문제를 풀 때, 숫자 뒤에 숨겨진 이야기 (예: "사과 3 개", "오렌지 5 개") 를 무시하고, 그냥 '3+5=8'이라는 계산 규칙만 따르는 것과 같습니다. 이 방법을 통해 AI 는 더 이상 속지 않고, 진짜 논리 전문가가 될 수 있게 되었습니다.

기술 요약

논문 요약: ITLC at SemEval-2026 Task 11

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 추론 작업, 특히 다국어 환경에서 **내용 효과 (Content Effects)**에 시달리는 심각한 문제를 안고 있습니다. 이는 모델이 논리적 형식 (Logical Form) 이 아닌 표면적인 의미나 사전 지식 (실제 세계의 사실) 에 의존하여 결론을 도출하는 현상을 의미합니다.

• 핵심 과제: LLM 이 실제 세계의 지식을 배제하고 오직 논리적 구조에 기반하여 삼단논법 (Syllogism) 의 타당성을 판단할 수 있는가?
• 현재의 한계: 기존 연구들은 미세 조정 (Fine-tuning) 이나 활성화 수준 개입 (Activation-level interventions) 등을 통해 이 문제를 완화하려 했으나, 복잡한 구조적 변경이 필요하거나 다국어 환경에서 효과적이지 못했습니다.

2. 제안된 방법론 (Methodology)

저자들은 내용 효과를 줄이기 위해 **명시적 구조적 추상화 (Explicit Structural Abstraction)**와 **결정론적 파싱 (Deterministic Parsing)**을 결합한 새로운 접근법을 제시합니다. 이 방법은 복잡한 모델 학습 없이도 논리적 타당성을 정확하게 판단할 수 있습니다.

주요 단계:

1. 정규화 (Normalization):

   • 범주적 삼단논법 변환: 자연어 논증 (Premises & Conclusion) 을 논리적 구조만 보존하는 기호적 표현 (Canonical Syllogistic Representation) 으로 변환합니다.
   • 용어 매핑: 논증 내의 3 가지 용어 (소주어 S, 대주어 P, 중주어 M) 를 식별하여 기호 (A, B, C) 로 매핑합니다.
   • 영어 피벗 정규화 (English Pivot Normalization, EPN): 비영어권 데이터의 경우, LLM 을 사용하여 논리 구조를 추출하되 양화사 (Quantifiers) 와 동사만 영어로 번역하고 주술어 (Terms) 는 원어 그대로 유지합니다. 이는 용어의 정체성을 해치지 않으면서 구조적 표준화를 가능하게 합니다.

2. 전치사 파싱 (Preposition Parsing):

   • 정규화된 문장을 정규식 (Regex) 패턴과 일치시켜 4 가지 범주형 명제 (A: All, E: No, I: Some, O: Some...not) 로 분류합니다.
   • 이를 통해 논증의 **기분 (Mood)**과 **도형 (Figure)**을 결정적으로 추출합니다.

3. 형식적 유효성 검증 (Formal Validation):

   • 추출된 (기분, 도형) 쌍을 사전 정의된 유효한 삼단논법 규칙 (Lookup Table) 과 비교하여 타당성을 판단합니다.
   • 이 과정은 확률적 추론이 아닌 규칙 기반의 결정론적 알고리즘이므로, 논리적으로 타당한 경우 100% 정확도를 보장합니다.
   • 또한, 전제와 결론의 연결을 분석하여 **관련 전제 (Relevant Premises)**를 식별합니다.

3. 주요 기여 (Key Contributions)

• 내용 효과 (Content Effect) 의 획기적 감소: LLM 이 실제 세계 지식에 의존하는 경향을 제거하고 순수한 논리 구조에 기반하여 추론하도록 유도합니다.
• 다국어 확장성: 영어 피벗 정규화 전략을 통해 영어 외의 다양한 언어에서도 높은 성능을 유지하며, 번역으로 인한 용어 붕괴 (Lexical Drift) 문제를 최소화합니다.
• 간소화된 접근: 복잡한 모델 미세 조정이나 구조적 개입 없이, 정규화와 규칙 기반 파싱만으로 경쟁력 있는 성능을 달성했습니다.
• 해석 가능성 (Interpretability): 모델이 왜 그 결론을 내렸는지 논리적 구조 (기분과 도형) 를 통해 명확하게 추적 가능합니다.

4. 실험 결과 (Results)

SemEval-2026 Task 11 (다국어 삼단논법 추론 벤치마크) 에서 평가되었으며, 모든 4 개 하위 작업 (Subtasks) 에서 Top-5에 랭크되었습니다.

• 영어-only 환경:
  • 논리적 타당성: 100% 정확도, 0% 편향 (Bias). LLM 만을 사용한 베이스라인 (98.43% 정확도, 2.13% 편향) 보다 완벽하게 개선되었습니다.
  • 관련 전제 식별: 98.94% 정확도, 95.43% F1 점수.
• 다국어 환경:
  • 논리적 타당성: EPN(영어 피벗 정규화) + 파싱을 적용 시 100% 정확도, 0% 편향을 달성했습니다. 번역 없이 파싱만 적용한 경우보다 성능이 크게 향상되었습니다.
  • 편향 감소: LLM-only 베이스라인 대비 편향 점수가 크게 감소했습니다 (예: 타당성 편향 4.16 → 0.0).
• 비교 분석:
  • FOL(1 차 논리) 표기법이나 PA(술어 - 논증) 표기법보다 범주적 삼단논법 표기법이 추상화와 모델 해석 가능성 사이의 최적 균형을 보여주었습니다.
  • LLM-only 모델은 실제 세계의 타당성 (Plausibility) 에 속아 논리적 오류를 범하는 반면, 제안된 방법은 논리적 형식에 엄격하게 따릅니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 추론 능력에서 내용 (Content) 과 형식 (Form) 을 분리하는 것이 얼마나 중요한지를 입증했습니다.

• 실용성: 고비용의 모델 학습 없이도, 정규화와 결정론적 파싱을 통해 신뢰할 수 있는 논리적 추론 시스템을 구축할 수 있음을 보여줍니다.
• 다국어 AI: 비영어권 데이터에서도 논리적 일관성을 유지할 수 있는 효과적인 전략 (영어 피벗 정규화) 을 제시하여, 글로벌 LLM 의 신뢰성 향상에 기여합니다.
• 미래 방향: 복잡한 신경망 기반 개입 대신, 구조적 추상화를 통한 해석 가능한 (Interpretable) AI 개발의 새로운 패러다임을 제시합니다.

결론적으로, ITLC 팀의 접근법은 LLM 이 "무엇을 알고 있는가"가 아니라 "논리적으로 무엇을 추론할 수 있는가"에 집중하도록 하여, 다국어 환경에서의 논리적 편향을 해결하는 강력하고 간결한 솔루션을 제공합니다.