SwanNLP at SemEval-2026 Task 5: An LLM-based Framework for Plausibility Scoring in Narrative Word Sense Disambiguation

Probleemstelling

Hoewel Large Language Models (LLMs) aanzienlijke vooruitgang hebben geboekt in Natural Language Understanding (NLU), blijft hun praktische toepasbaarheid in realistische, narratieve contexten onderzocht. Bestaande benchmarks voor Woordbetekenisdisambiguatie (WSD) opereren vaak op zinsniveau, waarbij context beperkt is tot naburige woorden of syntactische relaties. Dit is onvoldoende voor het oplossen van ambiguïteit in complexe verhalen.

SemEval-2026 Taak 5 introduceert het AmbiStory-dataset om deze kloof te dichten. De taak bestaat eruit de door mensen waargenomen plausibiliteit (op een schaal van 1 tot 5) te voorspellen van een homoniem binnen een kort verhaal. Het verhaal bevat een voorafgaande context, een ambigu doelzin en optioneel een afsluitende zin. De uitdaging ligt in het simuleren van menselijke redeneerprocessen om te bepalen hoe waarschijnlijk een bepaalde betekenis is in een specifieke narratieve setting.

Methodologie

Het team van Swansea University (SwanNLP) heeft een framework ontwikkeld dat drie hoofdstrategieën combineert om plausibiliteitsscores te voorspellen:

1. Supervised Fine-Tuning (SFT) van Low-Parameter LLMs:

   • Er werden modellen zoals Gemma-4B en Qwen-4B gefinetuned met behulp van Low-Rank Adaptation (LoRA).
   • De trainingdata werd geklasseerd in plausibiliteitsniveaus gebaseerd op menselijke annotaties (bijv. "sterk passend", "matig passend", "niet passend").
   • Vier verschillende redeneerstrategieën werden getest:
     • Simulatie van een enkele annotator.
     • Simulatie van vijf annotatoren (om variatie in menselijk denken te vangen).
     • Chain-of-Thought (CoT): Het model genereert eerst redeneerstappen voordat het een score toekent.
     • Zwaarte-analyse (Difficulty Analysis): Het model classificeert eerst of een geval voor mensen "makkelijk" of "ambigu" is (gebaseerd op de spreiding van menselijke scores) en past daarop zijn redenering aan.

2. Dynamische Few-Shot Learning voor Commerciële Modellen:

   • Voor grotere modellen (zoals GPT-4o, DeepSeek V3, Gemini) werd een Retrieval Augmented Generation (RAG)-achtige aanpak gebruikt.
   • Het trainingsdataset werd opgesplitst in drie categorieën: Menselijk Makkelijk (hoge score), Menselijk Makkelijk (lage score) en Ambigu (waarbij annotatoren het oneens waren).
   • Tijdens inferentie worden relevante voorbeelden (few-shot examples) opgehaald uit een vectorindex (gebaseerd op FAISS en BAAI embeddings) om de context te verrijken.
   • Er werd getest met K=1 en K=3 voorbeelden per categorie.

3. Model Ensembling:

   • Om de overeenstemming van vijf menselijke annotatoren beter te simuleren, werden de voorspellingen van meerdere modellen gecombineerd.
   • Verschillende ensemble-methoden werden toegepast: meerderheidsstemming, gelijkgewichtsgemiddelde, gewogen gemiddelde op basis van prestaties, Lineaire Regressie (LRE), Support Vector Regression (SVR) en XGBoost.

Belangrijkste Bijdragen

• Narratieve WSD Framework: Een gestructureerde aanpak die WSD behandelt als een plausibiliteitsschatting binnen een verhaal, in plaats van alleen op zinsniveau.
• Zwaarte-bewuste Redenering: Het introduceren van een stap waarbij het model eerst de moeilijkheidsgraad van een geval inschat voordat het een oordeel velt, wat de menselijke beoordeling beter nabootst.
• Dynamische Few-Shot Strategie: Een methode om commerciële LLMs te laten leren van specifieke, op moeilijkheidsgraad gefilterde voorbeelden, wat leidt tot betere generalisatie dan statische prompts.
• Ensemble voor Menselijke Consensus: Het aantonen dat het ensemble van meerdere modellen de variatie en overeenstemming van menselijke annotatoren beter simuleert dan een enkel model.

Resultaten

De resultaten worden samengevat in de volgende punten:

• Fine-tuning: Modellen met zwaarte-analyse (Difficulty Analysis) presteerden het beste onder de gefinetunde low-parameter modellen. Qwen-4B overtrof consistent Gemma-4B. De simulatie van vijf annotatoren presteerde echter slechter dan die van één annotator, waarschijnlijk doordat het model te veel variatie introduceerde.
• Commerciële Modellen: GPT-4o met dynamische few-shot prompting (K=1 of K=3) behaalde de beste resultaten, met een Spearman-correlatie (Sc) van 0,755 en een nauwkeurigheid (Acc) van 0,798 op de testset. Dit was een duidelijke verbetering ten opzichte van zero-shot inferentie.
• Ensembling: De ensemble-methoden leverden verdere verbeteringen op. De Linear Regression Ensemble behaalde de hoogste nauwkeurigheid op de testset (0,797), terwijl XGBoost de beste Spearman-correlatie (0,724) behaalde.
• Eindstand: Het team behaalde de 10e plaats op de leaderboard met een gemiddelde score van 0,760.

Betekenis en Conclusie

Het paper toont aan dat plausibiliteitsschatting in narratieve contexten het beste wordt gevangen door redeneerbewuste benaderingen die menselijke besluitvorming expliciet simuleren. Hoewel LLMs steeds beter in staat zijn menselijk redeneren te modelleren, blijven ze worstelen met consistentie in hoog-ambiguïteits scenario's.

De studie benadrukt dat:

1. Dynamische few-shot prompting cruciaal is voor het benaderen van menselijke oordelen in complexe taken.
2. Ensemble-methoden robuustheid bieden en beter overeenkomen met menselijke consensus dan single-model voorspellingen.
3. Er nog ruimte is voor verbetering in het omgaan met contextuele nuance en onzekerheid, wat een belangrijke richting is voor toekomstig onderzoek in NLU.