SwanNLP at SemEval-2026 Task 5: An LLM-based Framework for Plausibility Scoring in Narrative Word Sense Disambiguation
이 논문은 구조화된 추론 메커니즘을 활용한 LLM 기반 프레임워크를 제안하여 SemEval-2026 태스크 5 의 서사적 단어 의미 분해 작업에서 인간과 유사한 타당성 점수를 산출하고, 동적 퓨샷 프롬프팅을 적용한 대형 모델과 앙상블 기법이 인간 평가자 간의 합의 패턴을 효과적으로 모방함을 입증했습니다.
원저자:Deshan Sumanathilaka, Nicholas Micallef, Julian Hough, Saman Jayasinghe
상상해 보세요. 어떤 요리사가 **"닭"**이라는 재료를 썼다고 합니다. 하지만 이 '닭'이 실제 닭고기를 의미할까요, 아니면 **비행기 (닭이 날다)**를 의미할까요? 문맥에 따라 뜻이 완전히 달라지는 '중의성' 문제입니다.
이 논문은 AI 가 짧은 이야기를 읽었을 때, **"이 문장에서 '닭'이 닭고기일 확률이 얼마나 높을까?"**를 인간이 느끼는 것처럼 점수 (1~5 점) 로 매겨주는 기술을 연구했습니다.
🧩 문제점: 기존 AI 는 '한 문장'만 보고 판단했어요
기존의 AI 들은 문장 하나만 보고 "아, 이 단어는 이 뜻이겠지!"라고 추측하는 데 능했습니다. 하지만 실제 인간은 **이야기의 흐름 (전체 맥락)**을 보고 판단합니다.
예: "그는 닭을 잡았다." (한 문장만 보면 닭을 잡았을 수도, 비행기를 잡았을 수도 있음)
예: "그는 닭을 잡았다. 그리고는 요리를 시작했다." (이야기 흐름을 보면 '닭고기'임이 확실함)
기존 AI 는 이런 이야기 전체의 흐름을 놓치고, 문장 하나만 보고 헷갈려 하곤 했습니다.
🚀 해결책: 세 가지 '요리 기술'을 개발했습니다
연구팀은 AI 가 인간처럼 판단하도록 돕기 위해 세 가지 방법을 시도했습니다.
1. 작은 요리사 훈련하기 (저사양 모델 미세 조정)
비유: 요리 실력이 아직 부족한 '인턴 요리사 (작은 AI 모델)'에게 수많은 레시피를 보여주며 훈련시킨 것입니다.
방법: AI 에게 "이 이야기는 쉬운 문제야, 어려운 문제야?"라고 먼저 분류하게 한 뒤, 그 난이도에 맞춰 점수를 매기게 했습니다.
결과: 인턴 요리사도 '난이도'를 알면 훨씬 잘 먹습니다. 특히 Qwen이라는 모델이 Gemma보다 더 맛있게 요리했습니다.
2. 유명 셰프에게 힌트 주기 (대규모 모델 + 동적 Few-shot)
비유: 실력 있는 **유명 셰프 (GPT-4o 같은 큰 AI)**에게 "이런 비슷한 요리 사례가 있었어, 참고해 봐!"라고 힌트를 주는 방식입니다.
방법: AI 가 문제를 풀기 전에, **비슷한 상황의 예시 (과거의 요리 사례)**를 1 개나 3 개 정도 보여주고 "이렇게 해봐"라고 유도했습니다.
결과: 유명 셰프는 힌트만 받아도 인간의 취향을 거의 완벽하게 따라 했습니다. 특히 1 개의 예시만 보여줘도 테스트에서 가장 좋은 성적을 냈습니다.
3. 요리 팀 구성하기 (모델 앙상블)
비유: 한 명의 요리사에게 맡기는 대신, **5 명의 요리사 (5 개의 AI 모델)**를 모아서 의견을 모았습니다.
방법: 5 명이 각각 점수를 매긴 뒤, 그중 가장 많은 의견 (다수결) 이나 평균을 내어 최종 점수를 결정했습니다.
결과: 한 명만 판단할 때보다 5 명이 모여서 합의하는 방식이 인간의 의견 수렴 과정과 더 비슷해져서 점수가 더 정확해졌습니다.
🏆 최종 결과: 10 위 달성!
이 팀은 대회에서 전체 10 위를 차지했습니다.
성공 요인: AI 가 단순히 단어를 맞추는 게 아니라, **"이야기의 흐름을 읽고 인간처럼 고민하는 과정 (추론)"**을 거치게 했기 때문입니다.
한계점: 하지만 여전히 AI 는 인간처럼 **모호한 상황 (어떤 뜻이든 다 가능할 때)**에서 완벽하게 일관된 판단을 내리지는 못했습니다. 인간은 "음... 이거는 좀 애매하네"라고 느끼지만, AI 는 여전히 확신을 가지고 틀린 답을 내놓기도 합니다.
💡 한 줄 요약
"AI 에게 단순히 정답을 외우게 하는 게 아니라, '이야기 흐름을 읽고 인간처럼 고민하는 법'을 가르쳤더니, 인간의 말맛을 훨씬 잘 이해하게 되었다!"
이 연구는 앞으로 AI 가 인간의 복잡한 감정과 맥락을 더 잘 이해하는 데 중요한 발걸음이 될 것입니다.
1. 문제 정의 (Problem Definition)
배경: 최근 대규모 언어 모델 (LLM) 은 자연어 이해 (NLU) 능력을 크게 향상시켰으나, 실제 내러티브 (이야기) 맥락에서의 어의 소거 (Word Sense Disambiguation, WSD) 적용 가능성은 여전히 탐구되지 않은 영역입니다. 기존 벤치마크는 주로 문장 수준의 맥락에 의존하여 동음이의어를 해결하지만, 이는 풍부한 다중 문장 맥락이 필요한 실제 세계의 언어 이해를 반영하지 못합니다.
과제: SemEval-2026 Task 5 는 'AmbiStory' 데이터셋을 통해 제시된.
목표: 짧은 이야기 (내러티브) 문맥에서 동음이의어 (homonym) 의 의미에 대한 인간이 인지하는 타당성 (Plausibility) 점수 (1~5 점) 를 예측하는 것입니다.
데이터: 전치문맥 (precontext), 모호한 목표 문장, 그리고 종종 특정 어의를 암시하는 결말 (ending) 으로 구성된 짧은 이야기로 이루어져 있습니다.
평가 지표: 예측 점수와 인간 평균 판단 간의 스피어만 상관관계 (Spearman Correlation) 및 표준 편차 내 정확도 (Accuracy within Standard Deviation).
2. 방법론 (Methodology)
연구팀은 타당성 점수 예측을 위해 세 가지 주요 접근 방식을 제안하고 평가했습니다.
가. 저 파라미터 LLM 의 감독 미세 조정 (Supervised Fine-Tuning, SFT)
모델: Qwen-4B, Gemma-4B 와 같은 저 파라미터 모델을 사용.
전략: 인간의 추론 과정을 시뮬레이션하기 위해 4 가지 미세 조정 전략을 적용:
단일 annotator 시뮬레이션: 하나의 점수만 예측.
5 명 annotator 시뮬레이션: 5 개의 점수를 생성하여 인간 간 변이를 포착.
사고 과정 포함 (Thinking): 명시적인 추론 단계를 거쳐 점수 예측.
난이도 분석 (Difficulty Analysis): 이야기의 난이도 (쉬운/모호한) 를 먼저 분류한 후 점수 예측.
데이터 처리: 인간의 평균 점수를 기반으로 타당성 수준 (강함, 보통, 약함, 불가능) 을 이진화하여 라벨링했습니다.
도움 도구: GLOSSGPT 를 활용하여 문맥 기반의 잠재적 어의 해석을 추론 보조 정보 (auxiliary cue) 로 제공했으나, 이를 절대적인 정답으로 간주하지는 않았습니다.
나. 상용 대형 모델의 동적 Few-shot 학습 (Dynamic Few-shot Learning)
모델: GPT-4o, DeepSeek V3, Gemini 2.5 Flash-lite 등 고 파라미터 모델 사용.
RAG 기반 접근: 추론 시 인맥 (In-context) 지식을 풍부하게 하기 위해 Retrieval Augmented Generation (RAG) 을 도입.
데이터 분류 및 검색: 훈련 데이터를 인간 평가에 따라 3 가지 범주로 분류하여 벡터 저장소 구축:
모호한 문맥 (Ambiguous Context): annotator 간 의견 불일치가 큰 경우.
쉬운 경우 - 고점수 (Human Easy - High): 명확히 타당한 경우.
쉬운 경우 - 저점수 (Human Easy - Low): 명확히 타당하지 않은 경우.
실험 설정: FAISS 를 사용하여 관련 사례 (K=1, 3) 를 검색하여 Few-shot 프롬프트에 포함시켰습니다.
다. 모델 앙상블 (Model Ensembling)
목적: 5 명의 인간 annotator 간의 합의 패턴을 더 잘 시뮬레이션하기 위해 5 개의 개별 모델 예측을 결합.
기법:
다수결 투표 (Majority Voting)
등가 가중치 평균 (Equal-Weight Averaging)
성능 기반 가중 평균 (Performance-Based Weighted Averaging)
선형 회귀 앙상블 (LRE), 서포트 벡터 회귀 (SVR), XGBoost 메타-앙상블 학습.
3. 주요 기여 및 결과 (Key Contributions & Results)
주요 기여
내러티브 기반 WSD 프레임워크: 문장 수준을 넘어 이야기 전체 맥락에서 어의 타당성을 평가하는 새로운 LLM 기반 프레임워크 제안.
구조화된 추론 메커니즘: 저 파라미터 모델에 '난이도 분석'과 '사고 과정 (Chain-of-Thought)'을 결합하여 인간적 판단을 모방하는 효과 입증.
동적 Few-shot 전략: 상용 대형 모델에 대해 문맥별 (모호함/명확함) 로 최적화된 사례를 동적으로 검색하여 적용하는 방식의 유효성 검증.
다중 annotator 시뮬레이션: 단일 모델 예측보다 앙상블 기법이 인간 annotator 들의 합의 패턴을 더 잘 재현함을 보임.
실험 결과
미세 조정 (SFT):
난이도 분석을 포함한 추론 전략이 가장 높은 성능을 보임 (Gemma 4B Test Sc: 0.424, Qwen 4B Test Sc: 0.491).
Qwen-4B 가 Gemma-4B 보다 전반적으로 우수한 성능을 보임.
5 명 annotator 시뮬레이션은 단일 annotator 시뮬레이션보다 성능이 낮았으며, 이는 모델이 불필요한 변이를 생성하여 오히려 정확도를 떨어뜨렸음을 시사.
동적 Few-shot 학습:
GPT-4o가 모든 설정에서 가장 우수한 성능을 기록 (Test Sc: 0.755, Acc: 0.798).
Zero-shot 대비 동적 Few-shot 프롬프팅이 일관된 성능 향상을 보였으나, 샷 (shot) 수 증가가 항상 테스트 성능 향상으로 이어지지는 않음 (과적합 경향).
앙상블:
XGBoost 메타-앙상블이 테스트 세트에서 가장 높은 스피어만 상관관계 (0.724) 를 기록.
선형 회귀 앙상블 (LRE) 이 테스트 정확도 (0.797) 에서 최상위 성능을 보임.
전반적으로 앙상블 기법은 단일 모델 예측보다 인간 annotator 간 합의 시뮬레이션에 더 효과적이었음.
4. 의의 및 결론 (Significance & Conclusion)
성적: 이 접근법은 SemEval-2026 Task 5 리더보드에서 10 위를 차지했으며, 평균 점수 0.760 을 기록했습니다.
핵심 통찰:
LLM 은 인간과 유사한 타당성 판단을 근사하는 데 매우 유망하지만, 모호하거나 맥락에 민감한 상황에서는 일관성과 미세한 뉘앙스 해석에 한계를 보입니다.
단순한 점수 예측보다는 구조화된 추론 (Reasoning-aware) 과 동적 Few-shot 학습을 결합한 접근 방식이 인간 의사결정 과정을 모방하는 데 가장 효과적입니다.
다중 annotator 합의 시뮬레이션을 위한 앙상블 방법은 단일 모델의 한계를 보완하고 모델의 견고성을 높이는 중요한 전략입니다.
이 연구는 내러티브 기반 어의 소거 과제에서 LLM 의 실용성을 검증하고, 인간 중심의 타당성 평가를 위한 새로운 기술적 방향성을 제시했다는 점에서 의의가 큽니다.