SwanNLP at SemEval-2026 Task 5: An LLM-based Framework for Plausibility Scoring in Narrative Word Sense Disambiguation

Panoramica del Problema

Il lavoro affronta una lacuna significativa nella valutazione della Disambiguazione del Senso delle Parole (WSD): la capacità dei modelli di comprendere l'ambiguità lessicale in contesti narrativi complessi, piuttosto che in singole frasi isolate.

• Contesto: I benchmark tradizionali operano spesso a livello di frase, basandosi su indizi sintattici o parole vicine. Tuttavia, nel mondo reale, la comprensione del linguaggio richiede contesti multi-frase e strutture discorsive.
• Task SemEval-2026 Task 5: Il compito consiste nel prevedere un punteggio di plausibilità (scala da 1 a 5) percepito dagli umani per un senso omònimo all'interno di una breve storia (AmbiStory). Ogni istanza include un pre-testo, una frase ambigua con un target e un finale opzionale.
• Sfida: Il sistema deve simulare il ragionamento umano, gestendo non solo casi chiari, ma anche situazioni ambigue dove diversi annotatori umani potrebbero avere opinioni divergenti.

Metodologia

Gli autori hanno proposto un framework basato su Large Language Models (LLM) che combina tre approcci principali per la previsione dei punteggi:

1. Supervised Fine-Tuning (SFT) di Modelli a Bassi Parametri

Sono stati utilizzati modelli come Gemma-4B e Qwen-4B, adattati tramite tecniche di LoRA (Low-Rank Adaptation). Sono state esplorate diverse strategie di ragionamento durante il fine-tuning:

• Simulazione Singolo Annotatore: Il modello impara a prevedere il punteggio di un singolo umano.
• Simulazione Multi-Annotatore: Il modello genera cinque punteggi per simulare la varianza tra cinque annotatori.
• Ragionamento Strutturato (Chain-of-Thought): Il modello è guidato a spiegare il proprio ragionamento prima di assegnare un punteggio.
• Analisi della Difficoltà: Il modello classifica prima l'istanza come "facile" o "ambigua" (basandosi sulla deviazione standard delle annotazioni umane) e poi assegna il punteggio di conseguenza.
• Uso di GLOSSGPT: Un sistema WSD esterno è stato utilizzato per fornire un'interpretazione del senso probabile come cue ausiliario durante il ragionamento, senza essere trattato come etichetta di verità assoluta.

2. Apprendimento Few-Shot Dinamico per Modelli Commerciali

Per modelli più grandi (es. GPT-4o, DeepSeek V3, Gemini 2.5), è stato implementato un approccio ispirato al RAG (Retrieval Augmented Generation):

• Classificazione dei Dati: Il dataset di addestramento è stato suddiviso in tre categorie: Contesto Ambiguo (disaccordo tra annotatori), Facile-Alto Punteggio e Facile-Basso Punteggio.
• Recupero Dinamico: Durante l'inferenza, un retriever (basato su FAISS e embedding BAAI) seleziona esempi few-shot pertinenti dalla categoria corrispondente per arricchire il prompt.
• Configurazione: Sono stati testati valori di K=1 e K=3 (numero di esempi), mantenendo la temperatura a 0 per la riproducibilità.

3. Ensemble Modeling per Simulare l'Accordo Umano

Per replicare meglio il processo di consenso di cinque annotatori, è stato utilizzato un approccio di ensemble che combina le previsioni di cinque modelli diversi:

• Strategie di Aggregazione:
  • Voto a maggioranza.
  • Media ponderata uguale.
  • Media ponderata basata sulle prestazioni relative.
  • Meta-modelli: Regressione Lineare (LRE), Support Vector Regression (SVR) e XGBoost addestrati sulle previsioni dei modelli base per apprendere pesi ottimali.

Risultati Chiave

Performance dei Modelli a Bassi Parametri (SFT)

• I modelli basati sull'analisi della difficoltà hanno ottenuto i risultati migliori, superando le strategie di previsione generica. Questo indica che riconoscere esplicitamente la difficoltà del contesto aiuta a simulare meglio il giudizio umano.
• Qwen-4B ha superato costantemente Gemma-4B in tutte le configurazioni.
• Le simulazioni basate su un singolo annotatore hanno generalmente performato meglio di quelle che tentavano di simulare direttamente cinque annotatori, suggerendo che forzare la diversità artificiale può degradare le prestazioni.

Performance dei Modelli Commerciali (Few-Shot)

• GPT-4o ha dimostrato la capacità superiore di approssimare il giudizio umano, ottenendo i punteggi più alti sia in correlazione di Spearman (Sc) che in Accuratezza (Acc).
• L'approccio Dynamic Few-Shot ha portato miglioramenti consistenti rispetto all'inferenza zero-shot.
• È emerso un compromesso (trade-off): il one-shot (K=1) ha funzionato meglio sul set di test (migliore generalizzazione), mentre il three-shot (K=3) ha performato meglio sul set di sviluppo (rischio di overfitting sugli esempi contestuali).

Risultati dell'Ensemble

• L'approccio di ensemble ha migliorato le prestazioni finali.
• Linear Regression Ensemble (LRE) ha ottenuto la migliore accuratezza sul test set (0.797).
• XGBoost ha ottenuto il miglior punteggio di correlazione di Spearman (0.724), superando leggermente LRE.
• L'SVR ha mostrato la migliore performance sul set di sviluppo, indicando la presenza di relazioni non lineari nei dati.

Contributi Principali

1. Framework Ibrido: Proposta di un sistema che combina fine-tuning di modelli efficienti, prompting dinamico per modelli grandi e tecniche di ensemble per simulare la variabilità umana.
2. Analisi della Difficoltà: Dimostrazione che classificare esplicitamente la difficoltà di un'istanza narrativa migliora la capacità del modello di assegnare punteggi di plausibilità realistici.
3. Validazione dell'Approccio RAG: Conferma che l'arricchimento del contesto tramite esempi recuperati dinamicamente è cruciale per i modelli commerciali in task di ragionamento narrativo.
4. Simulazione Multi-Annotatore: Evidenzia che l'uso di meta-modelli (come XGBoost o Regressione Lineare) sulle previsioni di più modelli è più efficace della semplice media o del voto a maggioranza per simulare il consenso umano.

Significato e Conclusioni

Il team SwanNLP ha raggiunto il 10° posto nella classifica finale con un punteggio medio di 0.760.
Lo studio conclude che:

• La valutazione della plausibilità in contesti narrativi richiede approcci consapevoli del ragionamento (reasoning-aware) piuttosto che semplici modelli di classificazione.
• I modelli LLM commerciali con prompting dinamico sono attualmente lo stato dell'arte per questo compito, ma i modelli più piccoli, se adeguatamente istruiti con strategie di ragionamento strutturato, offrono un'alternativa efficiente.
• Limiti: Sebbene i modelli approssimino bene il ragionamento umano, faticano ancora nella coerenza e nelle sfumature interpretative in scenari altamente ambigui o sensibili al contesto, dove il giudizio umano è intrinsecamente incerto.

Il codice sorgente è stato reso pubblico per favorire la riproducibilità e il progresso futuro nella disambiguazione del senso delle parole in contesti narrativi.