💬 NLP

ttda704 at SemEval-2026 Task 4: Modeling Narrative Structures via Pseudonymization and Multi-View Sentence Alignment

Das Papier präsentiert den Ansatz des ttda704-Teams für die SemEval-2026 Task 4, welcher kontrastives Lernen mit feinabgestimmten Sentence-Transformern einsetzt, um narrative Ähnlichkeit durch zwei unterschiedliche Pipelines zu modellieren: eine Single-View-Methode zur vollständigen narrativen Kodierung und eine Multi-View-Methode zur Ausrichtung spezifischer thematischer, handlungsbezogener und ergebnisorientierter Komponenten.

Ursprüngliche Autoren: Tai Tran Tan, An Dinh Thien

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tai Tran Tan, An Dinh Thien

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Computer beizubringen, Geschichten zu verstehen – nicht nur durch das Zählen von Wörtern, sondern indem er die Seele der Handlung begreift. Genau das hat das Team hinter „ttda704“ für einen Wettbewerb namens SemEval-2026 getan.

Hier ist eine einfache Aufschlüsselung ihres Ansatzes, unter Verwendung alltäglicher Analogien.

Das große Problem: Die „Namensspiel“-Falle

Normalerweise werden Computer beim Vergleich zweier Geschichten von Namen getäuscht. Wenn Geschichte A von einem Jungen namens Tim handelt, der gegen einen Drachen kämpft, und Geschichte B von einem Mädchen namens Sarah, das gegen einen Drachen kämpft, könnte ein einfacher Computer denken, dass sie völlig unterschiedlich sind, weil „Tim“ und „Sarah“ verschiedene Wörter sind.

Aber ein Mensch weiß: Warte, beide Geschichten handeln von einem Helden, der gegen einen Drachen kämpft. Sie sind eigentlich sehr ähnlich.

Die Autoren wollten, dass der Computer die Namen ignoriert und sich stattdert auf die Struktur der Geschichte konzentriert.

Die Lösung: Zwei verschiedene Pipelines

Das Team baute zwei verschiedene „Maschinen“ (Pipelines), um zwei verschiedene Teile des Puzzles zu lösen.

Track A: Der „blind gefühlte“ Detektiv (Single-View)

Das Ziel: Man erhält eine „Anker“-Geschichte und zwei andere Geschichten. Man muss auswählen, welche der beiden ähnlicher zur Anker-Geschichte ist.

Der Trick: Pseudonymisierung (Die „Augenbinde“)
Bevor der Computer die Geschichte liest, spielt das Team ein Spiel wie „Lückentext“. Sie nehmen jeden spezifischen Namen (wie „Tim“, „Der Drache“, „London“) und ersetzen sie durch generische Bezeichnungen wie Charakter_A, Monster_B und Ort_1.

Warum? Dies zwingt den Computer, aufzuhören, darauf zu achten, wer etwas tut, und stattdessen darauf zu achten, was passiert. Es ist, als würde man einer Geschichte zuhören, in der alle eine Maske tragen; man kann die Handlung nur anhand der Handlungen beurteilen, nicht anhand der Gesichter.

Der Motor: Smartes Einfrieren (Smart Freezing)
Sie verwendeten ein leistungsstarkes, vortrainiertes Gehirn (einen Sentence Transformer), um diese maskierten Geschichten zu lesen. Um zu verhindern, dass das Gehirn „vergisst“, wie man Englisch spricht, während es diese neue Aufgabe lernt, nutzten sie Smart Layer Freezing.

Analogie: Stellen Sie sich einen Meisterkoch (das vortrainierte Modell) vor, der lernt, ein ganz bestimmtes neues Gericht zu kochen. Sie sagen ihm: „Ändere nicht, wie du Zwiebeln hackst oder Wasser kochst (die unteren Schichten), aber du kannst neue Saucen für dieses spezifische Gericht erfinden (die oberen Schichten).“ Dies verhindert, dass er zu viel nachdenkt und Fehler macht.

Das Ergebnis: Diese Methode funktionierte gut und half dem Team, den 14. Platz von 42 Teams zu erreichen.

Track B: Der „Dreibeinige Hocker“ (Multi-View)

Das Ziel: Anstatt nur einen Gewinner zu wählen, musste das Team jede Geschichte in einen einzigartigen „Fingerabdruck“ (einen Vektor) umwandeln, damit ähnliche Geschichten in einem digitalen Raum nah beieinander liegen.

Der Trick: Die Geschichte zerlegen
Das Team stellte fest, dass eine Geschichte nicht nur eine Sache ist. Sie hat drei deutliche Teile, wie die Beine eines Hockers:

Das Thema: Die große Idee (z. B. „Rache“ oder „Reifeprozess“).
Die Handlung: Die Abfolge der Ereignisse (z. B. „Held wird verletzt, dann schlägt er zurück“).
Der Ausgang: Wie es endet (z. B. „Held gewinnt“ oder „Held lernt eine Lektion“).

Der Prozess:

Extraktion: Sie nutzten eine superintelligente KI (LLM), um die Geschichte zu lesen und diese drei spezifischen Teile herauszuziehen, indem sie diese wie eine Zusammenfassung aufschrieben.
Ausrichtung (Alignment): Sie entwickelten ein spezielles System, das lernt, Geschichten basierend auf allen drei Beinen gleichzeitig zu vergleichen.
- Analogie: Stellen Sie sich vor, Sie versuchen, zwei Menschen anhand ihres Gesichts, ihrer Stimme und ihres Gangs zu identifizieren. Wenn Sie nur auf das Gesicht achten, könnten Sie sich irren. Aber wenn Sie Gesicht, Stimme und Gang zusammen betrachten, sind Sie viel genauer.
Selbstkorrektur: Sie fügten eine Regel hinzu, um sicherzustellen, dass sich die Teile „Thema“, „Handlung“ und „Ausgang“ alle gegenseitig bestätigen, um einen einheitlichen Geschichten-Fingerabdruck zu erstellen.

Das Ergebnis: Dieser Multi-View-Ansatz half ihnen, den 6. Platz von 25 Teams zu erreichen.

Das Geheimrezept: Synthetische Daten

Das Team hatte nicht genügend echte, von Menschen beschriftete Geschichten, um ihre Modelle perfekt zu trainieren. Also nutzten sie KI, um tausende von erfundenen, fiktiven Geschichten (synthetische Daten) zu kreieren, um an ihnen zu üben.

Analogie: Es ist wie ein Pilot, der in einem Flugsimulator trainiert. Er muss nicht erst in einem echten Flugzeug in einem Sturm fliegen, um zu lernen; er kann zuerst an einer Computersimulation üben. Dies ermöglichte es ihnen, ihre Modelle effizient zu trainieren, ohne eine riesige Bibliothek an menschlich bewerteten Geschichten zu benötigen.

Zusammenfassung ihrer Behauptungen

Sie verwendeten keine teure, langsame KI, um während des Tests Antworten zu generieren. Stattdessen bauten sie ein schnelles, effizientes System, das zuerst Muster lernt und diese dann schnell anwendet.
Sie bewiesen, dass das Entfernen von Namen (Pseudonymisierung) Computern hilft, die Struktur einer Geschichte besser zu verstehen, als wenn sie nur den rohen Text lesen.
Sie bewiesen, dass das Zerlegen einer Geschichte in Thema, Handlung und Ausgang einen viel besseren „Fingerabdruck“ für den Vergleich von Geschichten erzeugt, als eine Geschichte als einen einzigen großen Textblock zu behandeln.

Kurz gesagt: Sie haben einem Computer beigebracht, die „Namen“ und das „Rauschen“ zu ignorieren, um sich voll und ganz auf die Form und den Fluss der Geschichte zu konzentrieren.

Technische Zusammenfassung: ttda704 bei SemEval-2026 Task 4

Problemstellung
Die Arbeit befasst sich mit der SemEval-2026 Task 4, die Teilnehmern die Herausforderung stellt, narrative Ähnlichkeit und Repräsentationslernen zu modellieren. Die zentrale Schwierigkeit liegt darin, zwischen oberflächlicher lexikalischer Überlappung und tiefer narrativer Struktur zu unterscheiden. Wie Hatzel und Biemann (2024a) feststellen, erfordert ein effektiver Vergleich von Geschichten das Erfassen latenter Dimensionen wie abstrakter Themen, des Handlungsverlaufs (Abfolge von Ereignissen) und finaler Ausgänge, anstatt sich auf einfaches Schlüsselwortmatching oder Ereignissextraktion zu verlassen. Die Autoren heben hervor, dass generative Large Language Models (LLMs) zwar in der Lage sind, durch diese Ambiguitäten zu argumentieren, ihre Rechenkosten und Latenz sie jedoch für skalierbare Retrieval- und Embedding-Aufgaben unpraktikabel machen. Folglich besteht das Ziel darin, ein effizientes, embedding-basiertes System zu entwickeln, das strukturelle narrative Nuancen erfasst, ohne auf teure Inferenz-Generierung angewiesen zu sein.

Methodik
Die Autoren schlagen ein kontrastives Lernframework vor, das auf feinabgestimmten Sentence Transformern basiert und über zwei unterschiedliche Pipelines implementiert wird, die den jeweiligen Task-Tracks entsprechen:

Track A (Single-View Klassifikation): Diese Pipeline konzentriert sich darauf, zu bestimmen, welche von zwei Kandidatengeschichten einer Ankergeschichte narrativ näher steht.
- Pseudonymisierung: Um spurende Korrelationen durch spezifische Entitätsnamen (z. B. Überschneidungen bei Charakteren oder Orten) zu mildern, wenden die Autoren einen Schritt der referenziellen Normalisierung an. Unter Verwendung von fastcoref und spaCy werden wiederholte Nennungen derselben Entität auf konsistente generische Platzhalter (z. B. „Charakter_A“) abgebildet, während die innerhalb einer Geschichte bestehende Koreferenz erhalten bleibt. Dies zwingt das Modell, der semantischen Progression statt der lexikalischen Identität Aufmerksamkeit zu schenken.
- Architektur & Training: Das System nutzt das all-mpnet-base-v2-Modell als Backbone. Um Overfitting zu verhindern und vortrainiertes linguistisches Wissen zu bewahren, wird eine „Smart Layer Freezing“-Strategie angewandt: Die Embedding-Parameter und die unteren 40 % der Transformer-Layer sind eingefroren, während die oberen Layer feinabgestimmt werden. Das Modell wird mittels Triplet-Margin-Loss auf synthetischen Daten trainiert.
Track B (Multi-View Repräsentationslernen): Diese Pipeline generiert Vektor-Embeddings, bei denen die Kosinus-Ähnlichkeit die narrative Affinität widerspiegelt.
- Multi-View Dekomposition: Anstatt die vollständige Geschichte als einzelnen Vektor zu kodieren, zerlegen die Autoren jede Geschichte mithilfe von LLMs (speziell o3-mini) in drei distinkte Ansichten: Thema (zentrale steuernde Idee), Plot (chronologische Sequenz zustandsändernder Ereignisse) und Outcome (Auflösung).
- Kontrastives Lernen: Das Modell verwendet aussichtsspezifische Projektionsköpfe, um diese Komponenten in orthogonale Embedding-Räume abzubilden. Eine kontrastive Verlustfunktion ( $L_{con}$ ) wird auf jede Ansicht angewendet, um die Ähnlichkeit zwischen passenden narrativen Facetten zu maximieren und die Ähnlichkeit zwischen nicht-passenden zu minimieren.
- Selbstüberwachte Ausrichtung: Um Kohärenz über die verschiedenen Ansichten hinweg zu gewährleisten, wird ein Alignment-Loss ( $L_{align}$ ) eingeführt. Dieser Loss minimiert die Distanz zwischen dem fusionierten Embedding (eine gewichtete Summe der vier Ansichten: Volltext, Thema, Plot, Outcome) und dem Durchschnitt der einzelnen View-Embeddings, was eine vereinheitlichte gemeinsame Repsepräsentation fördert.
- Fusion: Bei der Inferenz werden die Embeddings der vier Komponenten unter Verwendung fester Gewichte (0,5 für den Volltext, 0,1 für das Thema, 0,2 für den Plot und 0,2 für das Outcome) gefolgt von einer L2-Normalisierung fusioniert.

Hauptbeiträge
Die Arbeit skizziert drei primäre Beiträge:

LLM-augmentierte narrative Repräsentation: Ein deterministisches Framework, das LLMs strikt für die Offline-Datenaugmentation (synthetische Extraktion narrativer Strukturen) und die strukturelle Dekomposition nutzt, während es für die finale Ähnlichkeitsinferenz auf effiziente, feinabgestimmte Sentence Transformer setzt.
Multi-View Strukturelle Modellierung: Ein kontrastiver Lernansatz, der die drei Kernaspekte der narrativen Ähnlichkeit (Thema, Handlungsverlauf, Ausgang) explizit über aussichtsspezifische Projektionsköpfe und selbstüberwachte Ausrichtung modelliert und komplexe Signale in orthogonale Räume entkoppelt.
Robuste kontrastive Trainingsverfahren: Die Implementierung von Triplet-Margin-Optimierung kombiniert mit Smart Layer Freezing, um die Generalisierung zu verbessern und gleichzeitig die Nuancen narrativer Strukturen zu bewahren.

Ergebnisse

Track A: Das System erreichte einen Private Score von 0,6925 und belegte Platz 14 von 42 Teams. Die Verwendung pseudonymisierter Daten führte zu einer konsistenten Verbesserung gegenüber Rohdaten (0,6650 auf 0,6925) für das all-mpnet-base-v2-Modell. Die Autoren führen dies auf die Entfernung entitätsbezogener Rauschsignale zurück, wodurch das Modell gezwungen wird, sich auf die semantische Struktur zu konzentrieren.
Track B: Das System belegte Platz 6 von 25 Teilnehmern mit einem Private Score von 0,6875. Ablationsstudien am Development Set zeigten, dass eine gewichtete Fusionsstrategie (mit Fokus auf den Volltext mit 0,5 sowie kleineren Gewichten für Thema, Plot und Outcome) eine Gleichgewichtung oder Single-View-Ansätze übertraf. Die Kombination aus all-mpnet-base-v2 und dem o3-mini LLM-Extraktor lieferte die besten Ergebnisse.

Bedeutung und Limitationen
Die Autoren behaupten, dass ihr Ansatz eine praktikable Alternative zur LLM-basierten generativen Inferenz für groß angelegtes narratives Retrieval bietet. Durch die Verlagerung der Rechenlast in eine Offline-Datengenerierungsphase und die Nutzung effizienter Embedding-Modelle bei der Inferenz erreicht das System eine wettbewerbsfähige Performance bei signifikant geringerer Latenz.

Dennoch räumt die Arbeit bescheiden einige Limitationen ein:

Generalisierung: Die Modelle basieren auf synthetischen Trainingsdaten und können möglicherweise nicht vollständig auf diverse narrative Stile oder Domänen generalisieren, ohne weitere Anpassungen.
Extraktionsrauschen: Die Multi-View-Pipeline hängt von automatisch extrahierten narrativen Elementen ab; ohne eine dedizierte manuelle Qualitätsprüfung dieser Extraktionen könnten verbleibende Fehler in der Kohärenz von Thema oder Plot unquantifiziert bleiben.
Hyperparameter-Tuning: Die festen Fusionsgewichte und Temperature-Einstellungen wurden auf dem Development Set abgestimmt und sind für ungesehene Domänen möglicherweise nicht optimal.

Die Arbeit schließt mit dem Hinweis, dass der Ansatz zwar die prohibitiven Kosten generativer Argumentation vermeidet, die Abhängigkeit von synthetischen Daten und automatisierter Extraktion jedoch Einschränkungen hinsichtlich der Robustheit der gelernten Repräsentationen mit sich bringt.