UFAL-CUNI at SemEval-2026 Task 11: An Efficient Modular Neuro-symbolic Method for Syllogistic Reasoning

문제 정의
대규모 언어 모델 (LLM) 은 삼단논법 추론에서 숙련된 능력을 보여주지만, 특히 '내용 효과 (content effect)'라고 불리는 심각한 추론 편향으로 고통받고 있습니다. 이 현상은 모델의 논증 타당성 판단이 논증의 형식적 논리 구조가 아닌, 실세계 지식과의 호환성에 의해 영향을 받을 때 발생합니다. SemEval-2026 Task 11 은 내용과 형식적 추론을 분리하여, 유효성 평가, 관련 전제 선택, 그리고 다국어 환경에서 두 작업을 수행하는 네 가지 하위 작업을 통해 아리스토텔레스식 삼단논법을 평가하도록 시스템을 도전합니다. 목표는 내용 효과를 최소화하면서 내용과 무관한 추론이 가능한 시스템을 구축하는 것입니다.

방법론
저자들은 소형 추론 LLM(특히 Qwen3 4B) 과 기호적 정리 증명기 (Prover9) 를 결합한 효율적이고 모듈화된 신경 - 기호적 접근법을 제안합니다. 시스템 아키텍처는 네 가지 주요 구성 요소로 구성됩니다:

1. 기계 번역 (선택 사항): 다국어 하위 작업 (3 번 및 4 번) 의 경우, 더 큰 LLM(Gemma 3 27B) 이 입력을 영어로 번역합니다. 이 과정은 추가 처리 전에 번역의 충실도를 보장하기 위한 자기 평가 및 수정 루프를 포함합니다.
2. FOL 파서: 소형 LLM 이 자연어 명제를 1 차 논리 (FOL) 로 번역합니다. 이 번역을 위한 중간 LaTeX 형식의 사용이 주요 혁신입니다. 저자들은 LaTeX 가 LLM 학습 데이터에 잘 표현되어 있기 때문에, 목표 증명기 구문으로의 직접 번역보다 더 고품질의 형식화를 산출한다고 가정합니다. 파서는 일관된 술어 매핑을 유지하면서 명제를 하나씩 형식화하는 다단계 방식으로 작동하여 논리적 일관성을 보장합니다.
3. 트랜스파일러: 규칙 기반의 정규식 (regex) 주도 구성 요소가 중간 LaTeX FOL 공식을 Prover9 에 필요한 특정 구문으로 변환합니다.
4. 기호적 증명기: Prover9 는 형식화된 삼단논법의 논리적 유효성을 판단합니다.
5. 관련성 검색 (하위 작업 2 및 4): LLM 에 의존하여 관련 전제를 식별하는 대신, 시스템은 기호적 탐욕 알고리즘을 사용합니다. 이 알고리즘은 전제를 반복적으로 제거하고 증명기를 다시 실행합니다. 제거 시 증명이 실패하면 해당 전제는 필수적 (관련성 있음) 으로 간주됩니다.

주요 기여 및 발견

• 중간 표현: 이 논문은 LLM 에게 LaTeX 표기법으로 FOL 을 생성하도록 지시한 후 규칙 기반 트랜스파일링을 수행하는 방식이 증명기의 네이티브 구문으로 직접 파싱하는 것보다 훨씬 우수한 성능을 보인다고 입증합니다. 직접 파싱은 빈번한 구문 오류로 인해 정확도가 10 포인트 하락하고 내용 효과가 크게 증가했습니다.
• 신경 - 기호적 효율성: 이 시스템은 4B 파라미터 모델을 사용하여 경쟁력 있는 정확도 (하위 작업 1 에서 약 95%) 를 달성했으며, 유사한 크기의 제로샷 LLM 베이스라인을 크게 능가했습니다. 제거 실험 (ablation studies) 은 신경 - 기호적 파이프라인이 내용 효과를 효과적으로 완화하는 반면, 엔드투엔드 LLM 추론은 편향이 급격히 증가함을 확인했습니다.
• 소형 모델의 한계: 이 연구는 소형 LLM(4B) 이 다국어 능력에 제한이 있음을 드러냈습니다. 소형 모델 (예: Gemma 3 4B 또는 Qwen 3 4B) 로 입력을 사전 번역하는 것은 번역을 전혀 생략하는 것보다 성능이 더 나빴으며, 이는 신뢰할 수 있는 다국어 전처리를 위해서는 더 큰 모델이 필요함을 시사합니다.
• 지표 분석: 저자들은 작업의 주요 순위 지표인 종합 점수 (Combined Score, CS) 에 대한 비판적인 실증적 및 이론적 분석을 제공합니다. 그들은 CS 가 작은 테스트 세트의 무작위 통계적 노이즈에 과도하게 민감하다고 주장합니다. 그들의 분석에 따르면 편향 없는 모델조차도 분산으로 인해 0 이 아닌 내용 효과를 보일 수 있으며, 이 지표는 사소한 오류가 있는 고정확도 시스템을 불균형하게 벌하여 진정한 성능 차이를 가릴 수 있습니다.

의의
이 논문은 소형 LLM 단독으로는 견고하고 내용과 무관한 삼단논법 추론에 불충분하지만, 모듈형 신경 - 기호적 파이프라인에 통합될 때 매우 효과적이라고 주장합니다. 이 작업은 형식화 신뢰성을 높이기 위해 모델 학습 분포와 일치하는 중간 형식 (LaTeX) 을 활용하는 것의 중요성을 강조합니다. 또한, 이 논문은 평가 지표에 대한 비판적 관점을 제공하여, 현재의 순위 시스템이 소규모 추론 작업에서 진정한 추론 능력과 통계적 인공물 (artifacts) 을 신뢰할 수 있게 구분하지 못할 수 있음을 시사합니다. 저자들은 그들의 접근 방식이 이러한 파라미터 크기의 모델에 대해 내용 효과를 성공적으로 감소시켰으며, 대규모 모델의 계산 비용 없이 효율적이고 형식적인 추론을 위한 실현 가능한 경로를 제공한다고 결론지었습니다.