💬 NLP

HABIB_TAZ at SemEval-2026 Task 11: Disentangling Formal Logic from Content via Synthetic Training and Multi-Objective Optimization

HABIB_TAZ 시스템은 여러 언어에 걸쳐 형식 논리와 내용 편향을 효과적으로 분리하기 위해 합성 삼단논법 데이터로 학습된 mDeBERTa-v3 모델과 다목적 최적화를 활용함으로써 SemEval-2026 Task 11에서 상위 순위를 달성했습니다.

원저자: Abdullah Shaikh, Zain Naqi, Taha Zahid, Sandesh Kumar, Abdul Samad

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abdullah Shaikh, Zain Naqi, Taha Zahid, Sandesh Kumar, Abdul Samad

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇에게 논리 퍼즐을 푸는 법을 가르치고 있다고 상상해 보세요. 당신은 다음과 같은 규칙을 줍니다: "만약 모든 새가 날 수 있다면, 그리고 펭귄은 새라면, 펭귄은 날 수 있다." 인간이라면 잠시 멈춰서 이렇게 말할 것입니다. "잠깐, 펭귄은 날 수 없어! 이 규칙은 현실 세계에서 틀렸어." 하지만 '상식'에 너무 의존하는 로봇은 혼란에 빠질 수 있습니다. 로봇은 "오, 펭귄은 새이고, 새는 날 수 있으니, 결론은 반드시 참이어야 해"라고 생각할 수도 있습니다. 비록 시작된 규칙 자체가 틀렸음에도 불구하고 말입니다. 이것이 바로 과학자들이 거대 언어 모델(LLM)을 통해 해결하려고 노력 중인 까다로운 문제입니다. LLMs은 챗봇과 검색 엔진의 뒤를 받치는 강력한 AI 두뇌입니다. 이들은 이야기를 쓰고 질문에 답하는 데는 놀라운 능력을 보여주지만, '무엇이 논리적으로 참인가'와 '무엇이 그럴듯하게 들리는가'를 구분하는 데는 종종 어려움을 겪습니다. 이들은 단어의 실제 세계적 의미가 논증의 실제 구조를 방해하는 '내용 효과(content effects)'에 속아 넘어가곤 합니다. 이 연구의 목표는 AI가 엄격한 논리학자처럼 행동하도록 만드는 것입니다. 즉, 이야기가 우스꽝스럽거나 상식적이든 상관없이, 그 논증의 수학적 구조가 제대로 작동하는지 확인하는 것입니다.

이 프로젝트의 팀인 HABIB_TAZ는 바로 이 능력을 테스트하기 위해 SemEval-2026 Task 11라는 경진대회에 참가했습니다. 그들의 임무는 12개 언어로 된 삼단논법(두 개의 전제와 하나의 결론으로 이루어진 논리적 논증의 일종)을 보고, 전제가 엉터리이거나 방해되는 문장이 섞여 있더라도 결론이 규칙을 따르는지 판단하는 시스템을 만드는 것이었습니다.

이를 해결하기 위해 연구진은 단순히 AI에게 더 많은 현실 세계의 데이터를 입력한 것이 아닙니다. 대신, 그들은 '합성(synthetic)' 훈련장을 구축했습니다. 상상해 보세요, 그들이 엄격하고 가공의 규칙을 사용하고 실제 동물이나 사물 대신 헛소리 단어들을 사용하여 수백만 개의 논리 퍼즐을 생성하는 거대한 공장을 만든 것을 말이죠. 이는 AI가 현실 세계의 지식에 기반한 지름길을 학습하는 것을 막기 위함이었습니다. 그런 다음, 그들은 강력한 언어 엔진인 mDeBERTa-v3를 기반으로 한 AI 모델을 특별한 3단계 훈련 레시피를 사용하여 훈련시켰습니다. 첫째, 모델이 더 어렵고 까다로운 예시들을 무시하지 않도록 하는 기술을 사용했습니다. 둘째, '편향 페널티(bias penalty)'를 추가했는데, 이는 마치 학생이 이야기가 얼마나 '그럴듯한지'에 의해 주의가 분산될 때마다 선생님이 부드럽게 꾸짖어, 학생이 오직 논리에만 집중하도록 강제하는 것과 같습니다. 셋째, 복잡한 문장이 단순한 문장과 동일한 논리적 의미를 갖는다는 것을 모델이 이해하도록 일관성 검사를 사용했습니다.

결과는 완벽한 점수와 흥미로운 과제들이 섞여 있었습니다. 더 단순한 작업들—영어 전용 퍼즐, 방해 문장이 포함된 영어 퍼즐, 그리고 방해 문장이 없는 12개 언어의 퍼즐—에서 그들의 시스템은 완벽한 100.0점을 기록했습니다. 시스템은 '현실 세계'의 속임수를 완전히 무시하고 매번 논리를 정확히 맞혔으며, 편향도 전혀 없었습니다. 그러나 가장 어려운 과제는 AI가 12개 언어를 다루면서 동시에 방해 문장까지 처리해야 하는 '노이지 멀티링구얼(Noisy Multilingual)' 작업이었습니다. 여기서 시스템은 6위를 차지했습니다. 89.06%의 정답률을 보였으나, 여전히 약간의 편향(2.89%)을 나타냈습니다.

연구진은 자신들의 특별한 훈련 레시피가 더 쉬운 작업들에서 놀라운 효과를 발휘했다는 것을 발견했습니다. 즉, 현실의 지저치 않은 텍스트 대신 합성된 규칙 기반 데이터를 통해 훈련한다면 AI를 순수한 논리학자로 가르칠 수 있다는 것을 증명한 것입니다. 가장 어려운 작업의 경우, 모델이 영어 번역본보다 원래의 다국어 데이터에서 더 어려움을 겪는다는 것을 발견했는데, 이는 모델이 다양한 언어를 처리하는 방식이 아직 불안정하다는 것을 시사합니다. 또한, 특정 '일관성' 검사(KL-Divergence 사용)를 추가하는 것이 모델이 다양한 언어 전반에서 안정성을 유지하는 데 도움이 된다는 것을 발견했지만, 이를 실행하는 데는 많은 컴퓨터 자원이 필요했습니다. 궁극적으로, 이 논문은 우리가 매우 뛰어난 순수 논리 AI를 구축할 수는 있지만, 모든 언어와 모든 유형의 노이즈에 대해 견고하게 만드는 것은 여전히 진행 중인 과제임을 시사합니다. 팀은 다른 이들이 더 나은, 더 논리적인 AI를 구축하는 데 사용할 수 있도록 자신들의 코드와 데이터 생성 도구를 공개했습니다.

기술 요약: SemEval-2026 Task 11의 HABIB_TAZ

문제 정의
대규모 언어 모델(LLM)은 일반적인 자연어 처리(NLP) 작업에서는 능숙함을 보이지만, 그들의 형식적 추론 능력은 "내용 효과(content effects)"에 의해 빈번히 저해됩니다. 모델들은 실세계의 개연성과 일치하는 논증의 논리적 타당성을 과대평가하는 경향이 있으며, 이는 세계 지식과 형식 논리를 혼동하는 결과를 초-낳습니다. SemEval-2026 Task 11는 12개 언어에 걸쳐 모델이 형식 논리를 내용으로부터 분리하는 능력을 평가함으로써 이 문제를 다룹니다. 특히 관련 없는 전제(방해 요소) 사이에서 유효한 전제를 식별할 것을 요구합니다. 핵심 과제는 논리적 타당성 분류에서 높은 정확도를 달면서, 개연성 있는 내용에 대한 편향을 정량화하는 지표인 총 내용 효과(Total Content Effect, TCE)를 최소화하는 것입니다.

방법론
HABIB_TAZ 시스템은 합성 데이터 생성, 특화된 아키텍처, 그리고 다중 목적 최적화를 결합하여 의미론적 패턴을 논리적 구조로부터 분리하는 다각적인 접근 방식을 채택합니다.

아키텍처: 시스템은 자연어 추론(NLI) 작업에 대해 사전 학습된 mDeBERTa-v3 백본을 활용합니다. 노이즈가 포함된 하위 작업(ST2 및 ST4)의 경우, 무관한 전제를 더 잘 분리하기 위해 더 큰 백본(DeBERTa-v3-large)을 사용합니다. 아키텍처는 두 개의 특화된 헤드를 특징으로 합니다: 논리적 타당성을 위한 분류 헤드([CLS] 토큰 사용)와 관련 전제를 식별하기 위해 스팬 기반 풀링(span-based pooling) 및 마스크 평균 풀링(masked mean pooling)을 사용하는 전제 선택 헤드입니다.
데이터 전략: 제공된 훈련 데이터의 부족(N=960)을 극복하기 위해, 저자들은 규칙 기반 합성 데이터 엔진을 개발했습니다. 이 엔진은 256개의 아리스토텔레스 삼단논법 체계를 바탕으로 데이터를 생성하며, 타당성 및 개연성 사분면 전반에 걸쳐 균형 잡힌 표현을 보장합니다. 주요 전략은 다음과 같습니다:
- 어휘 제어: WordNet의 상위어/하위어 체인을 사용하여 개연성 있는 샘플을 만들고, 교차 체인 명사를 사용하여 비개연성 샘플을 생성합니다.
- 기호적 데이터: 실세계 의미론에 대한 의존도를 줄이기 위해 헛소리(gibberish)나 기호 변수를 도입합니다.
- 복잡한 재구절화: 단순한 논리 형식을 복잡한 언어적 변형으로 매핑하여 구조적 불변성을 강제합니다.
- 다국어 확장: 양화사(quantifiers)를 보존하기 위해 언어별 템플릿을 사용하여 영어 구조를 12개의 대상 언어로 번역합니다.
- 강건성: 모델이 표면적인 구문 휴리스틱을 악용하는 것을 방지하기 위해 HANS(NLI 시스템을 위한 휴리스틱 분석) 데이터셋의 샘플을 통합합니다.
최적화: 훈련 파이프라인은 다중 목적 손실 함수( $L_{total} = L_{DRO} + \lambda_{bias}L_{bias} + \gamma L_{KL}$ $L_{t o t a l} = L_{D R O} + λ_{bia s} L_{bia s} + γ L_{K L}$ )를 사용합니다:
- 적응형 그룹 DRO: 표준 교차 엔트로피 대신, 그룹 분포 강건 최적화(Group Distributionally Robust Optimization, DRO)를 사용하여 타당성/개연성 사분면 및 언어별로 성과가 낮은 하위 그룹에 집중함으로써 일관성을 확보합니다.
- 미분 가능한 편향 페널티: 시그모이드 신뢰도 점수로부터 계산되는 손실 구성 요소로, 타당성-개연성 사분면 간의 불균형한 신뢰도 분포에 페널티를 부여하여, 모델이 내용의 개연성과 상관없이 논리적 확실성을 유지하도록 강제합니다.
- KL-Divergence 일관성: 단순 삼단논법(교사)과 그들의 복잡한 재구절(학생) 사이의 출력 분포 간의 발산을 최소화하여, 모델이 어휘적 지름길이 아닌 근본적인 논리 형식에 고정되도록 합니다.
- 동적 스케줄링: 모델이 형식적 구조를 숙달하기 전에 최적해가 아닌 국소 최적해(sub-optimal minima)로 함몰되는 것을 방지하기 위해, 편향 페널티 가중치( $\lambda_{bias}$ )와 DRO 단계 크기를 0에서 시작하여 점진적으로 증가시킵니다.

주요 결과
시스템은 처음 세 가지 하위 작업에서 최첨단(SOTA) 성능을 달성했으며, 가장 복잡한 하위 작업에서도 강력한 결과를 보여주었습니다:

하위 작업 1 (영어): 편향 0.00%, 정확도 100.0%와 함께 완벽한 랭킹 점수 100.0을 달성했습니다.
하위 작업 2 (노이즈 포함 영어): 노이즈가 있는 전제로부터 추론을 성공적으로 분리하여, 편향 0.00%, 정확도 100.0%와 함께 완벽한 랭킹 점수 100.0을 달성했습니다.
하위 작업 3 (다국어): 편향 0.00%, 정확도 100.0%와 함께 완벽한 랭킹 점수 100.0을 달성했습니다. 절제 연구(Ablation studies) 결과, 편향 손실과 HANS 데이터의 조합이 이 작업에 충분했으나, 추가적인 정규화 도구(KL/MSE)는 성능을 개선하지 못했습니다.
하위 작업 4 (노이즈 포함 다국어): 정확도 및 F1-점수 89.06%, 편향 2.89%, 랭킹 점수 37.78로 6위를 기록했습니다.
- 분석: 저자들은 원래의 다국어 테스트 세트와 영어로 번역된 테스트 세트를 사용하여 평가했을 때의 성능 차이가 상당함을 언급했습니다. KL-Divergence 정규화가 이 교차 언어 격차를 메우는 데 결정적인 요소였으며, 모델을 언어적 변형에 강건하게 만들었다고 식별되었습니다. 그러나 대회 중 계산 제약으로 인해 훈련 시 전체 데이터셋(648,632개 샘플)이 약 4%로 축소되었으며, 이는 향후 개선 가능성을 시사합니다.

의의 및 기여
본 논문은 편향 인식 최적화와 합성, 규칙 기반 데이터의 결적인 결합이 형식적 추론을 실제 세계의 개연성으로부터 효과적으로 격리할 수 있음을 입증하는 것이 주요 기여라고 주장합니다. LLM 증강 데이터에 내재된 의미론적 노이즈를 피하고 다중 목적 손실 함수를 사용함으로써, 시스템은 LLM을 괴롭히는 전형적인 내용 효과를 성공적으로 완화했습니다.

저자들은 다음을 강조합니다:

합성 데이터가 필수적이다: 추상적 기호와 규칙 기반 구조로 훈련하는 것은 자연어 데이터로만 훈련하는 것보다 모델이 논리적 추론을 더 잘 일반화할 수 있게 합니다.
다중 목적 최적화가 필요하다: 격리된 정규화 기술(예: DRO 또는 Bias 단독 사용)은 성능을 저하시키거나 일반화에 실패할 수 있습니다. 구조적 불변성을 유지하면서 편향을 줄이기 위해서는 (특히 KL-Divergence + DRO + Bias의) 균형 잡힌 조합이 필요합니다.
확장성: 노이즈가 있는 전제로부터 논리적 관계를 추상화하는 능력은 하위 작업 2에서 완벽한 점수를 달성한 것에서 알 수 있듯이, 모델 파라미터 크기에 따라 직접적으로 확장됩니다.

저자들은 향후 견고한 논리적 추론 연구를 촉진하기 위해 데이터 생성 엔진과 코드베이스를 공개합니다. 그들은 시스템이 깨끗하고 단일 언어 노이즈가 있는 작업에서는 완벽한 점수를 얻었지만, 완전히 강건한 다국어 논리 추론을 달리는 여전히 일관성 정규화의 계산 비용 문제와 함께 활발한 개선이 필요한 영역임을 밝히며 결론을 맺습니다.

기술 요약: SemEval-2026 Task 11의 HABIB_TAZ

유사한 논문