💬 NLP

Lacuna Inc. at SemEval-2026 Task 4: Structurally Gated State-Space Models for Disentangling Narrative Similarity

Dit artikel introduceert het Invariant-Variant Disentangled State-Space Model (IVD-SSM), dat een hybride State-Space backbone combineert met een nieuwe Structurally Gated Alignment head om abstracte narratieve structuren effectief te ontkoppelen van oppervlakkige lexicale details voor verbeterde evaluatie van verhaalgelijkenis bij SemEval-2026 Taak 4.

Oorspronkelijke auteurs: Aleksey Kudelya, Rafif Alshawi, Alexander Shirnin

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aleksey Kudelya, Rafif Alshawi, Alexander Shirnin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: "Dezelfde Woorden, Anders Verhaal"

Stel je voor dat je probeert te bepalen of twee verhalen eigenlijk hetzelfde plot hebben, maar dan verteld met andere personages.

Verhaal A: Een gepeste kind gebruikt een "zombievirus" om wraak te nemen en populair te worden.
Verhaal B: Een wetenschapper laat per ongeluk een "zombievirus" los in een laboratorium, en iedereen rent rond en schreeuwt.

Een standaard computerprogramma zou naar deze verhalen kijken en zeggen: "Ze zijn voor 90% hetzelfde!" omdat ze beide het woord "zombie" bevatten. Maar een mens weet dat dit totaal verschillende verhalen zijn. De één gaat over wraak en sociale status; de ander over een survival horror-ramp.

De uitdaging waar de auteurs voor stonden (SemEval-2026 Task 4) was het bouwen van een computer die het "zombie"-trefwoord negeert en in plaats daarvan kijkt naar de oorzaak-gevolgketen: Wie deed wat, en waarom?

De Oplossing: De "Skelet vs. Huid"-aanpak

Het team van de HSE Universiteit bouwde een systeem genaamd IVD-SSM. Zie dit systeem als een detective die een verhaal in twee lagen verdeelt:

Het Skelet (Invariant): De kernstructuur. De opeenvolging van gebeurtenissen (bijv. "Buitenstaander" → "Ondernemt drastische actie" → "Status verandert"). Dit verandert nooit, zelfs niet als de namen veranderen.
De Huid (Variant): De oppervlakkige details. Namen, specifieke objecten, omgevingen en genre-tropen (zoals "zombies", "ruimteschepen" of "kastelen").

Hun doel was om de computer volledig te laten focussen op het Skelet en de Huid te laten negeren.

Hoe het werkt: Het "Grote Plaatje" en de "Microscoop"

Het systeem gebruikt een speciaal type AI-engine (gebaseerd op een model genaamd Jamba) dat erg goed is in het lezen van lange teksten zonder moe te worden of het begin te vergeten. Maar de echte magie gebeurt in een nieuw onderdeel dat zij hebben uitgevonden: de Structurally Gated Alignment (SGA) Head.

Stel je voor dat de SGA-head twee paren ogen heeft die samenwerken:

Het "Macro"-oog (De groothoeklens):
- Dit oog kijkt naar het verhaal van een afstandje. Het slaat details over en ziet alleen de grote mijlpalen: Begin, Conflict, Climax, Resolutie.
- Het maakt een ruwe kaart van de vorm van het verhaal. Het geeft niet om of de held "John" of "Jane" heet, of dat het wapen een "geweer" of een "laser" is. Het ziet alleen de vorm van het plot.
Het "Micro"-oog (De microscoop):
- Dit oog zoomt in op elk afzonderlijk woord. Het merkt op dat beide verhalen over "zombies" spreken.
- Het Gevaar: Als de computer alleen dit oog zou gebruiken, zou hij in de val worden gelokt door het woord "zombie" en denken dat de verhalen hetzelfde zijn.
De "Poortwachter" (Het Gating-mechanisme):
- Dit is het belangrijkste onderdeel. Het Macro-oog fungek als een uitsmijter of poortwachter.
- Het kijkt eerst naar de ruwe kaart. Als het Macro-oog zegt: "Hé, de vorm van deze twee verhalen is totaal verschillend," dan slaat het de poort dicht voor het Micro-oog.
- Zelfs als het Micro-oog schreeuwt: "Maar ze hebben allebei zombies!", zegt de Poortwachter: "Het kan me niet schelen. De plotstructuur komt niet overeen, dus negeer het woord 'zombie'."
- De Poortwachter laat de details van het Micro-oog alleen door als de grote structuren van de verhalen daadwerkelijk overeenkomen.

Wat ze ontdekten

Het team heeft dit systeem getest tegen andere standaard AI-modellen en zelfs tegen een zeer slimme, vooraf getrainde AI (GPT-4o-mini).

Standaard Modellen: Werden in de val gelokt door de "zombie"-woorden en zagen het verschil in de plots niet.
Hun Systeem (IVD-SSM): Slaagde erin om de afleidende woorden te negeren en herkende correct dat de "wraak"-verhalen en de "survival"-verhalen verschillend waren, terwijl het het verhaal koos dat daadwerkelijk dezelfde "buitenstaander neemt actie"-structuur deelde.
Het Resultaat: Hun systeem presteerde beter dan willekeurig gokken en beter dan eenvoudige woordmatching, wat bewijst dat je een computer kunt leren om voorbij de oppervlakkige details te kijken om de ware verhaalstructuur te vinden.

De Keerzijde (Beperkingen)

De auteurs zijn eerlijk over de punten waar hun systeem nog niet perfect is:

De poort is geen muur: De poort is "zacht". Als het verkeerde verhaal te veel overeenkomende specifieke woorden heeft (zoals een zeer specifieke naam of een zeldzaam object), kan een klein beetje van die "ruis" nog steeds door de poort lekken en het systeem in verwarring brengen.
Geheugenproblemen: Hoewel de hoofdengine efficiënt is, is de laatste stap van het vergelijken van elk woord met elk ander woord (om de details te controleren) nog steeds zwaar voor het computergeheugen. Het werkt prima voor korte samenvattingen, maar kan moeite hebben met volledige romans.
Trainingsdata: Ze moesten het systeem voornamelijk trainen op verhalen die door andere computers zijn gegenereerd, omdat er niet genoeg door mensen geschreven voorbeelden waren. Dit betekent dat het systeem erg goed is in het herkennen van standaard verhaalpatronen, maar in de war kan raken door zeer vreemde, experimentele of niet-lineaire menselijke verhalen.

Samenvattend

Het artikel presenteert een nieuwe manier om computers te leren verhalen te begrijpen. In plaats van alleen te tellen hoeveel woorden twee verhalen delen, hebben ze een systeem gebouwd dat eerst controleert of de structuur van het plot (het skelet) overeenkomt. Alleen als de skeletten overeenkomen, laten ze de details toe om de uiteindelijke beslissing te beïnvloeden. Dit voorkomt dat de computer wordt misleid door oppervlakkige overeenkomsten zoals gedeelde trefwoorden.

Technische Samenvatting: IVD-SSM voor Narratieve Gelijkenis

Probleemdefinitie
Het artikel behandelt de computationele uitdaging van het evalueren van narratieve gelijkenis, een taak gedefinieerd door SemEval-2026 Taak 4, waarbij het onderscheid moet worden gemaakt tussen de "dieptestructuur" van een plot (abstracte patronen van causaliteit en progressie) en de oppervlakkige realisatie ervan (specifieke namen, decors en objecten). Standaard Transformer-architecturen falen hier vaak bij door een bias naar lexicale en semantische overlap, wat leidt tot "spuriouse correlaties" waarbij verhalen die genre-specifieke vocabulaire delen (bijv. "zombies") als gelijkaardig worden beschouwd, ondanks dat ze fundamenteel verschillende causale ketens hebben. Bovendien kampen standaard Transformers met kwadratische geheugen- en computationele knelpunten ( $O(N^2)$ ) bij het verwerken van de langetermijnafhankelijkheden die inherent zijn aan uitgebreide narratieven.

Methodologie: IVD-SSM
De auteurs stellen de Invariant-Variant Disentangled State-Space Model (IVD-SSM) voor, een hybride architectuur die ontworpen is om invariant plotstructuren expliciet te scheiden van variant semantische details. Het systeem bestaat uit twee primaire componenten:

Backbone Encoder (Jamba-1.5-Mini):
- Het systeem maakt gebruik van een Jamba-1.5-Mini model, een hybride architectuur die Mamba (State-Space Model) lagen combineert met Transformer-attention.
- De Mamba-lagen zijn gekozen vanwege hun vermogen om de sequentiegeschiedenis te comprimeren in een dynamisch bijgewerkte verborgen staat met lineaire tijdscomplexiteit ( $O(N)$ ), wat hen ideaal maakt voor het vastleggen van langetermijn causale ketens zonder de overhead van key-value caches.
- Om de 12 miljard parameters tellende backbone aan te passen aan computationele beperkingen, wordt het model geladen in 4-bit NormalFloat (NF4) kwantisatie. De auteurs maken gebruik van QLoRA (Parameter-Efficient Fine-Tuning) gericht op enkel de projectie- en embedding-modules, terwijl de rest van het netwerk bevroren blijft om de vooraf getrainde wereldkennis te behouden.
Structurally Gated Alignment (SGA) Head:
- Dit is de kern van de nieuwe bijdrage, een differentieerbaar dual-scale alignment mechanisme geïnspireerd door het Smith-Waterman algoritme. Het verwerkt een anker-narratief en een kandidaat-narratief via twee parallelle paden:
  - Macro-pad (Invariante Structuur): De input-sequenties worden zwaar gedownsampled (stride $k=4$ ) om het grove structurele skelet te vangen (bijv. introductie, conflict, resolutie). Dit pad is blind voor specifieke token-niveau entiteiten.
  - Micro-pad (Variante Details): De volledige resolutie sequenties worden verwerkt om fijnmazige, entiteits-niveau overeenkomsten te vangen (bijv. specifieke personages of objecten).
- Gating Mechanisme: Het Macro-pad genereert een structurele gelijkenismatrix ( $M_{macro}$ ), die wordt geupsampled en door een temperatuur-geschaalde Sigmoid-activatie wordt geleid om een zachte structurele maskering ( $G$ ) te creëren. Dit masker reguleert de Micro-pad gelijkenismatrix ( $M_{micro}$ ) via elementgewijze vermenigvuldiging ( $M_{filtered} = M_{micro} \odot G$ ).
- Dit mechanisme onderdrukt actief semantische ruis en oppervlakkige trefwoordoverlappen, waardoor hoge gelijkenisscores alleen worden toegekend wanneer fijnmazige details samenvallen binnen structureel geldige regio's.

Training en Evaluatie

Data: Vanwege beperkte menselijk geannoteerde data (200 ontwikkelings-, 400 test-triples), werd het model uitsluitend getraind op 1.900 synthetische verhaal-triples geleverd door de organisatoren van de taak, aangevuld met de menselijk geannoteerde set voor validatie.
Track A (Pairwise Classification): Het model gebruikt een contrastief doel om te bepalen welke van twee kandidaten structureel dichter bij een anker ligt.
Track B (Representatie Leerproces): Het model genereert dichte vector-embeddings via mean-pooling van de geprojecteerde backbone-outputs, gevolgd door strikte L2-normalisatie om cosinus-afstandvergelijkingen te faciliteren.

Belangrijkste Resultaten

Track A (Pairwise Classification): De IVD-SSM (Gated) behaalde een nauwkeurigheid van 57,25%, waarmee het de random baseline (50,00%) en de lexicale Jaccard-gelijkenis baseline (56,25%) versloeg. Het bleef echter achter bij de zero-shot GPT-4o-mini prompt (67,00%).
Track B (Embedding Similarity): Het model behaalde 54,50% nauwkeurigheid, wat minder is dan de all-MiniLM-L6-v2 sentence encoder (58,50%) en story-emb (63,25%).
Ablatie-studies:
- Het Micro-pad alleen (55,75%) presteerde slechter dan de Jaccard-baseline, wat bevestigt dat fijnmazige token-gelijkenis zonder structurele filtering kwetsbaar is voor lexicale afleiders.
- Het Macro-pad alleen (57,00%) presteerde aanzienlijk beter dan Jaccard, wat aangeeft dat het grove structurele skelet het grootste deel van het signaal draagt voor narratieve equivalentie.
- Het Gating mechanisme leverde een bescheiden maar consistente verbetering (+0,25%) op ten opzichte van de Macro-only variant, wat de rol ervan bij het filteren van residuele semantische ruis valideert.

Significantie en Claims
Het artikel stelt dat de primaire bottleneck in computationele narratieve evaluatie de vermenging is van invariante plotstructuur met variant semantische details. De auteurs betogen dat hun resultaten aantonen dat narratieve gelijkenis niet betrouwbaar gemeten kan worden via "bag-of-words" of generieke zin-embeddings. In plaats daarvan vereist het architecturen die expliciet de sequentiële loop van actie modelleren.

De significantie van het werk ligt in het vermogen van de IVD-SSM om invariante structuren te ontwarren van lexicale varianten, wat een principieel kader biedt voor diepgaand narratief begrip. De auteurs merken op dat hoewel hun aanpak de prestaties van grote zero-shot LLM's nog niet evenaart (waarschijnlijk door de uitgebreide pre-training van LLM's op narratieve structuren en impliciete redeneervermogens), de SGA-architectuur er succesvol in slaagt om "spuriouse correlaties" te mitigeren die standaardmodellen doen falen op lastige negatieve samples.

Beperkingen
De auteurs erkennen de volgende beperkingen:

Soft Gating: De Sigmoid-gebaseerde gate is continu en bereikt nooit nul, waardoor er enige "lekkage" van sterke lexicale afleiders (bijv. identieke benoemde entiteiten) kan optreden die structurele mismatch overstijgt.
Computationele Complexiteit: Hoewel de backbone lineair is, introduceert de SGA head een kwadratische ( $O(L_a \times L_c)$ ) bottleneck bij het berekenen van volledige cross-sequentie gelijkenismatrices, wat mogelijk niet schaalt naar volledige romans of scenario's zonder sparse alignment-modificaties.
Data Bias: Het model is voornamelijk getraind op synthetische data gegenereerd door LLM's, wat kan leiden tot overfitting op voorspelbare narratieve pacing en standaard archetypen, waardoor de prestaties op avant-gardistische of niet-lineaire menselijke narratieven onverkend blijven.