Lacuna Inc. at SemEval-2026 Task 4: Structurally Gated State-Space Models for Disentangling Narrative Similarity

Technisches Resümee: IVD-SSM für narrative Ähnlichkeit

Problemdefinition
Die Arbeit befasst sich mit der rechnerischen Herausforderung der Bewertung von narrativer Ähnlichkeit, einer Aufgabe, die durch SemEval-2026 Task 4 definiert ist: die Unterscheidung zwischen der „Tiefenstruktur“ eines Plots (abstrakte Muster von Kausalität und Progression) und seiner oberflächlichen Realisierung (spezifische Namen, Schauplätze und Objekte). Standardmäßige Transformer-Architekturen scheitern daran oft aufgrund einer Verzerrung hin zu lexikaler und semantischer Überlappung, was zu „scheinbaren Korrelationen“ führt, bei denen Geschichten, die genrespezifischen Wortschatz teilen (z. B. „Zombies“), als ähnlich eingestuft werden, obwohl sie grundlegend unterschiedliche kausale Ketten aufweisen. Darüber hinaus stehen Standard-Transformer vor quadratischen Speicher- und Rechenengpässen ($O(N^2)$), wenn sie lange Abhängigkeiten verarbeiten müssen, wie sie in ausgedehnten Erzählungen inhärent sind.

Methodik: IVD-SSM
Die Autoren schlagen das Invariant-Variant Disentangled State-Space Model (IVD-SSM) vor, eine hybride Architektur, die darauf ausgelegt ist, invariante Plotstrukturen explizit von variantenreichen semantischen Details zu trennen. Das System besteht aus zwei primären Komponenten:

1. Backbone-Encoder (Jamba-1.5-Mini):

   • Das System nutzt ein Jamba-1.5-Mini Modell, eine hybride Architektur, die Mamba (State-Space Model)-Schichten mit Transformer-Attention kombiniert.
   • Die Mamba-Schichten wurden aufgrund ihrer Fähigkeit ausgewählt, die Sequenzhistorie in einen dynamisch aktualisierten verborgenen Zustand mit linearer Zeitkomplexität ($O(N)$) zu komprimieren, was sie ideal macht, um langfristige kausale Ketten ohne den Overhead von Key-Value-Caches zu erfassen.
   • Um das 12-Milliarden-Parameter-Modell unter Rechenbeschränkungen anzupassen, wird der Backbone in 4-bit NormalFloat (NF4) Quantisierung geladen. Die Autoren verwenden QLoRA (Parameter-Efficient Fine-Tuning), das gezielt auf Projektions- und Embedding-Module abzielt, während der Rest des Netzwerks eingefroren bleibt, um das vortrainierte Weltwissen zu bewahren.

2. Structurally Gated Alignment (SGA) Head:

   • Dies ist der zentrale neuartige Beitrag, ein differenzierbarer Dual-Skala-Alignment-Mechanismus, der vom Smith-Waterman-Algorithmus inspiriert ist. Er verarbeitet eine Anker-Erzählung und eine Kandidaten-Erzählung durch zwei parallele Pfade:
     • Makro-Pfad (Invariante Struktur): Die Eingabesequenzen werden stark herunterskaliert (Stride $k=4$), um das grobe strukturelle Skelett (z. B. Einleitung, Konflikt, Auflösung) zu erfassen. Dieser Pfad ist blind gegenüber spezifischen Token-Ebene-Entitäten.
     • Mikro-Pfad (Variante Details): Die Sequenzen in voller Auflösung werden verarbeitet, um feingliedrige Entitäts-Matches (z. B. spezifische Charakternamen oder Objekte) zu erfassen.
   • Gating-Mechanismus: Der Makro-Pfad erzeugt eine strukturelle Ähnlichkeitsmatrix ($M_{macro}$), die hochskaliert und durch eine temperaturgesteuerte Sigmoid-Aktivierung geleitet wird, um eine weiche strukturelle Maske ($G$) zu erstellen. Diese Maske steuert die Mikro-Pfad-Ähnlichkeitsmatrix ($M_{micro}$) mittels elementweiser Multiplikation ($M_{filtered} = M_{micro} \odot G$).
   • Dieser Mechanismus unterdrückt aktiv semantisches Rauschen und oberflächliche Keyword-Überlappungen, wodurch sichergestellt wird, dass hohe Ähnlichkeitswerte nur dann vergeben werden, wenn feingliedrige Details innerhalb strukturell gültiger Regionen übereinstimmen.

Training und Evaluierung

• Daten: Aufgrund begrenzter menschlich annotierter Daten (200 Entwicklungs-, 400 Test-Triple) wurde das Modell ausschließlich auf 1.900 synthetischen Story-Triples trainiert, die von den Organisatoren der Aufgabe bereitgestellt wurden, ergänzt durch den menschlich annotierten Satz zur Validierung.
• Track A (Paarweise Klassifizierung): Das Modell verwendet ein kontrastives Ziel, um zu bestimmen, welche von zwei Kandidaten strukturell näher an einem Anker liegt.
• Track B (Repräsentationslernen): Das Modell generiert dichte Vektor-Embeddings mittels Mean-Pooling der projizierten Backbone-Outputs, gefolgt von einer strikten L2-Normalisierung, um Kosinus-Distanzvergleiche zu ermöglichen.

Wichtige Ergebnisse

• Track A (Paarweise Klassifizierung): Das IVD-SSM (Gated) erreichte eine Genauigkeit von 57,25 %, womit es den Random-Baseline (50,00 %) und die lexikalische Jaccard-Ähnlichkeits-Baseline (56,25 %) übertraf. Es blieb jedoch hinter dem Zero-Shot GPT-4o-mini Prompt (67,00 %) zurück.
• Track B (Embedding-Ähnlichkeit): Das Modell erreichte eine Genauigkeit von 54,50 % und blieb damit hinter dem all-MiniLM-L6-v2 Sentence-Encoder (58,50 %) und story-emb (63,25 %) zurück.
• Ablationsstudien:
  • Der Mikro-Pfad allein (55,75 %) schnitt schlechter ab als die Jaccard-Baseline, was bestätigt, dass feingliedrige Token-Ähnlichkeit ohne strukturelle Filterung anfällig für lexikalische Distraktoren ist.
  • Der Makro-Pfad allein (57,00 %) übertraf die Jaccard-Baseline deutlich, was darauf hindeutet, dass das grobe strukturelle Skelett den Großteil des Signals für narrative Äquivalenz trägt.
  • Der Gating-Mechanismus lieferte eine moderate, aber konsistente Verbesserung (+0,25 %) gegenüber der Makro-only-Variante, was seine Rolle bei der Filterung von residualem semantischem Rauschen validiert.

Bedeutung und Ansprüche
Das Papier behauptet, dass der primäre Engpass in der computergestützten narrativen Evaluierung die Vermischung von invarianter Plotstruktur mit variantenreichen semantischen Details ist. Die Autoren argumentieren, dass ihre Ergebnisse zeigen, dass narrative Ähnlichkeit nicht zuverlässig durch „Bag-of-Words“ oder generische Satz-Embeddings gemessen werden kann. Stattdessen erfordert sie Architekturen, die den sequentiellen Handlungsverlauf explizit modellieren.

Die Bedeutung der Arbeit liegt in der Fähigkeit des IVD-SSM, strukturelle Invarianten von lexikalischen Varianten zu trennen, und bietet einen prinzipienbasierten Rahmen für tiefes narratives Verständnis. Die Autoren stellen fest, dass ihr Ansatz zwar noch nicht die Leistung großer Zero-Shot-LLMs erreicht (was wahrscheinlich auf deren umfangreiches Pre-Training auf narrativen Strukturen und implizite Fähigkeiten zum Schlussfolgern zurückzuführen ist), die SGA-Architektur jedoch erfolgreich „scheinbare Korrelationen“ mildert, die Standardmodelle bei schwierigen Negativ-Beispielen scheitern lassen.

Limitierungen
Die Autoren räumen folgende Einschränkungen ein:

• Soft Gating: Das Sigmoid-basierte Gate ist kontinuierlich und erreicht nie Null, was eine gewisse „Leckage“ von starken lexikalischen Distraktoren (z. B. identische benannte Entitäten) ermöglicht, die eine strukturelle Fehlstellung überlagern können.
• Rechenkomplexität: Während der Backbone linear ist, führt der SGA-Head einen quadratischen ($O(L_a \times L_c)$) Engpass wieder ein, wenn die vollständigen Cross-Sequenz-Ähnlichkeitsmatrizen berechnet werden. Dies könnte ohne Modifikationen für spärliche Ausrichtung (Sparse Alignment) bei der Verarbeitung ganzer Romane oder Drehbücher an Skalierbarkeit stoßen.
• Daten-Bias: Das Modell wurde primär auf synthetischen Daten trainiert, die von LLMs generiert wurden, was potenziell zu einem Overfitting auf vorhersehbare narrative Tempi und Standard-Archetypen führen kann, wodurch die Leistung bei avantgardistischen oder nicht-linearen, von Menschen verfassten Narrativen ungeklärt bleibt.