Lacuna Inc. at SemEval-2026 Task 4: Structurally Gated State-Space Models for Disentangling Narrative Similarity

Sintesi Tecnica: IVD-SSM per la Similarità Narrativa

Definizione del Problema
Il documento affronta la sfida computazionale di valutare la similarità narrativa, un compito definito dalla Task 4 di SemEval-2026 come la distinzione tra la "struttura profonda" di una trama (schemi astratti di causalità e progressione) e la sua realizzazione superficiale (nomi specifici, ambientazioni e oggetti). Le architetture Transformer standard spesso falliscono in questo compito a causa di un bias verso la sovrapposizione lessicale e semantica, portando a "correlazioni spurie" dove storie che condividono un vocabolario specifico del genere (es. "zombie") vengono ritenute simili nonostante abbiano catene causali fondamentalmente diverse. Inoltre, i Transformer standard affrontano colli di bottiglia di memoria e computazionali quadratici ($O(N^2)$) nell'elaborazione delle dipendenze a lungo raggio inerenti alle narrazioni estese.

Metodologia: IVD-SSM
Gli autori propongono l'Invariant-Variant Disentangled State-Space Model (IVD-SSM), un'architettura ibrida progettata per separare esplicitamente le strutture della trama invarianti dai dettagli semantici varianti. Il sistema è composto da due componenti primarie:

1. Backbone Encoder (Jamba-1.5-Mini):

   • Il sistema utilizza un modello Jamba-1.5-Mini, un'architettura ibrida che combina strati Mamba (State-Space Model) con l'attenzione Transformer.
   • Gli strati Mamba sono stati selezionati per la loro capacità di comprimere la cronologia della sequenza in uno stato nascosto aggiornato dinamicamente con complessità temporale lineare ($O(N)$), rendendoli ideali per catturare lunghe catene causali senza l'overhead della memoria dei cache key-value.
   • Per adattare il modello da 12 miliardi di parametri sotto vincoli computazionali, il backbone viene caricato in quantizzazione 4-bit NormalFloat (NF4). Gli autori impiegano QLoRA (Parameter-Efficient Fine-Tuning) mirando solo ai moduli di proiezione ed embedding, mantenendo il resto della rete congelata per preservare la conoscenza del mondo pre-addestrata.

2. SGA Head (Structurally Gated Alignment):

   • Questo è il contributo principale e originale, un meccanismo di allineamento a doppia scala differenziabile ispirato all'algoritmo di Smith-Waterman. Esso elabora una narrazione ancora (anchor) e una narrazione candidata attraverso due percorsi paralleli:
     • Macro-path (Struttura Invariante): Le sequenze di input sono pesantemente sottocampionate (stride $k=4$) per catturare lo scheletro strutturale grossolano (es. introduzione, conflitto, risoluzione). Questo percorso è cieco rispetto alle entità specifiche a livello di token.
     • Micro-path (Dettagli Varianti): Le sequenze a piena risoluzione vengono elaborate per catturare corrispondenze a grana fine, a livello di entità (es. nomi di personaggi specifici o oggetti).
   • Meccanismo di Gating: Il Macro-path genera una matrice di similarità strutturale ($M_{macro}$), che viene sovracampionata e fatta passare attraverso un'attivazione Sigmoide scalata in temperatura per creare una maschera strutturale morbida ($G$). Questa maschera filtra la matrice di similarità del Micro-path ($M_{micro}$) tramite moltiplicazione elemento per elemento ($M_{filtered} = M_{micro} \odot G$).
   • Questo meccanismo sopprime attivamente il rumore semantico e le sovrapposizioni superficiali di parole chiave, garantendo che punteggi di similarità elevati siano assegnati solo quando i dettagli a grana fine si allineano all'interno di regioni strutturalmente valide.

Addestramento e Valutazione

• Dati: A causa della limitata disponibilità di dati annotati da esseri umani (200 triple di sviluppo, 400 di test), il modello è stato addestrato esclusivamente su 1.900 triple di storie sintetiche fornite dagli organizzatori del compito, aumentate con il set annotato dagli umani per la validazione.
• Track A (Classificazione a Coppie): Il modello utilizza un obiettivo contrastivo per determinare quale tra due candidati sia strutturalmente più vicino a un'ancora.
• Track B (Apprendimento di Rappresentazione): Il modello genera embedding vettoriali densi tramite mean-pooling degli output del backbone proiettato, seguiti da una rigorosa normalizzazione L2 per facilitare i confronti di distanza coseno.

Risultati Chiave

• Track A (Classificazione a Coppoli): L'IVD-SSM (Gated) ha raggiunto un'accuratezza del 57,25%, superando la baseline casuale (50,00%) e la baseline di similarità lessicale Jaccard (56,25%). Tuttavia, è rimasto indietro rispetto al prompt zero-shot di GPT-4o-mini (67,00%).
• Track B (Similarità di Embedding): Il modello ha raggiunto un'accuratezza del 54,50%, restando al di sotto di all-MiniLM-L6-v2 sentence encoder (58,50%) e story-emb (63,25%).
• Studi di Ablazione:
  • Il Micro-path da solo (55,75%) è stato meno performante della baseline Jaccard, confermando che la similarità dei token a grana fine senza filtraggio strutturale è vulnerabile ai distrattori lessicali.
  • Il Macro-path da solo (57,00%) ha superato sostanzialmente Jaccard, indicando che lo scheletro strutturale grossolano trasporta la maggior parte del segnale per l'equivalenza narrativa.
  • Il Meccanismo di Gating ha fornito un miglioramento modesto ma costante (+0,25%) rispetto alla variante Macro-only, validando il suo ruolo nel filtrare il rumore semantico residuo.

Significatività e Rivendicazioni
Il documento sostiene che il principale collo di bottiglia nella valutazione narrativa computazionale sia la conflazione della struttura della trama invariante con i dettagli semantici varianti. Gli autori argomentano che i loro risultati dimostrano che la similarità narrativa non può essere misurata in modo affidabile attraverso "bag-of-words" o generici embedding di frasi. Al contrario, richiede architetture che modellino esplicitamente il corso sequenziale dell'azione.

La significatività del lavoro risiede nella capacità dell'IVD-SSM di disaccoppiare gli invarianti strutturali dalle varianti lessicali, fornendo un framework principato per la comprensione narrativa profonda. Gli autori osservano che, sebbene il loro approccio non eguagli ancora le prestazioni dei grandi LLM zero-shot (probabilmente a causa dell'esteso pre-addestramento degli LLM sulle strutture narrative e delle loro capacità di ragionamento implicito), l'architettura SGA riesce a mitigare le "correlazioni spurie" che causano il fallimento dei modelli standard sui campioni negativi difficili.

Limitazioni
Gli autori riconoscono alcune limitazioni:

• Gating Morbido (Soft Gating): Il gate basato su Sigmoide è continuo e non raggiene mai lo zero, permettendo una certa "dispersione" (leakage) di forti distrattori lessicali (es. entità nominate identiche) di sovrastare il disallineamento strutturale.
• Complessità Computazionale: Sebbene il backbone sia lineare, l'SGA head reintroduce un collo di bottiglia quadratico ($O(L_a \times L_c)$) quando calcola le matrici di similarità cross-sequenza complete, il che potrebbe non scalare su romanzi completi o sceneggiature senza modifiche di allineamento sparsa.
• Bias dei Dati: Il modello è stato addestrato principalmente su dati sintetici generati da LLM, portando potenzialmente all'overfitting su ritmi narrativi prevedibili e archetipi standard, lasciando inesplorata la sua performance su narrazioni umane d'avanguardia o non lineari.