💬 NLP

ttda704 at SemEval-2026 Task 4: Modeling Narrative Structures via Pseudonymization and Multi-View Sentence Alignment

Het artikel presenteert de aanpak van het ttda704-team voor SemEval-2026 Taak 4, die contrastief leren met gefinetunede sentence transformers gebruikt om narratieve gelijkenis te modelleren via twee afzonderlijke pipelines: een single-view methode voor volledige narratieve codering en een multi-view methode voor het afstemmen van specifieke thematische, plot en uitkomst componenten.

Oorspronkelijke auteurs: Tai Tran Tan, An Dinh Thien

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tai Tran Tan, An Dinh Thien

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren hoe hij verhalen moet begrijpen, niet alleen door woorden te tellen, maar door de ziel van het plot te begrijpen. Dat is precies wat het team achter "ttda704" deed voor een competitie genaamd SemEval-2026.

Hier is een eenvoudige uitsplitsing van hun aanpak, gebruikmakend van alledaagse analogieën.

Het Grote Probleem: De "Naamspel"-valstrik

Normaal gesproken worden computers in de war gebracht door namen wanneer ze twee verhalen met elkaar vergelijken. Als Verhaal A gaat over een jongen genaamd Tim die vecht tegen een draak, en Verhaal B gaat over een meisje genaamd Sarah die vecht tegen een draak, dan denkt een simpele computer misschien dat ze totaal verschillend zijn omdat "Tim" en "Sarah" verschillende woorden zijn.

Maar een mens weet: Wacht, beide verhalen gaan over een held die tegen een draak vecht. Ze zijn eigenlijk erg vergelijkbaar.

De auteurs wilden dat de computer de namen zou negeren en zich zou concentreren op de structuur van het verhaal.

De Oplossing: Twee Verschillende Pipelines

Het team bouwde twee verschillende "machines" (pipelines) om twee verschillende delen van de puzzel op te lossen.

Track A: De "Geblinddoekte" Detective (Single-View)

Het Doel: Je krijgt een "Anchor"-verhaal (ankerverhaal) en twee andere verhalen toegewezen. Je moet kiezen welk verhaal het meest lijkt op het ankerverhaal.

De Truc: Pseudonimisering (De "Blinddoek")
Voordat de computer het verhaal leest, speelt het team een spelletje "Mad Libs". Ze nemen elke specifieke naam (zoals "Tim", "De Draak", "Londen") en vervangen deze door generieke labels zoals Karakter_A, Monster_B en Plaats_1.

Waarom? Dit dwingt de computer om te stoppen met kijken naar wie er dingen doet en te beginnen met kijken naar wat er gebeurt. Het is alsoals luisteren naar een verhaal waarin iedereen een masker draagt; je kunt het plot alleen beoordelen op de acties, niet op de gezichten.

De Motor: Slim Bevriezen
Ze gebruikten een krachtig, vooraf getraind brein (een sentence transformer) om deze gemaskeerde verhalen te lezen. Om te voorkomen dat het brein "vergeet" hoe het Engels spreekt terwijl het deze nieuwe taak leert, gebruikten ze Smart Layer Freezing (Slimme Laag-bevriezing).

Analogie: Stel je een meesterkok (het vooraf getrainde model) voor die leert om een specifiek nieuw gerecht te koken. Je zegt tegen hem: "Verander niet hoe je uien snijdt of water kookt (de onderste lagen), maar je mag wel nieuwe sauzen uitvinden voor dit specifieke gerecht (de bovenste lagen)." Dit voorkomt dat hij te veel overdenkt en fouten maakt.

Het Resultaat: Deze methode werkte goed en hielp het team om 14e te eindigen van de 42 teams.

Track B: De "Driepotige Kruk" (Multi-View)

Het Doel: In plaats van alleen maar een winnaar aan te wijzen, moest het team elk verhaal omzetten in een unieke "vingerafdruk" (een vector), zodat vergelijkbare verhalen dicht bij elkaar terechtkomen in een digitale ruimte.

De Truc: Het Verhaal Opdelen
Het team realiseerde zich dat een verhaal niet één ding is. Het heeft drie duidelijke onderdelen, zoals de poten van een kruk:

Het Thema: Het grote idee (bijv. "Wraak" of "Coming of Age").
Het Plot: De opeenvolging van gebeurtenissen (bijv. "Held raakt gewond, en vecht dan terug").
De Afloop: Hoe het eindigt (bijv. "Held wint" of "Held leert een les").

Het Proces:

Extractie: Ze gebruikten een superintelligent AI (LLM) om het verhaal te lezen en deze drie specifieke onderdelen eruit te halen, waarbij ze deze opschreven als een samenvatting.
Uitlijning: Ze creëerden een speciaal systeem dat leert om verhalen te vergelijken op basis van alle drie de poten tegelijkertijd.
- Analogie: Stel je voor dat je probeert twee mensen te matchen op basis van hun gezicht, hun stem en hun loopje. Als je alleen naar het gezicht kijkt, kun je het fout hebben. Maar als je naar het gezicht, de stem en het loopje tegelijk kijkt, ben je veel nauwkeuriger.
Zelfcorrectie: Ze voegden een regel toe om ervoor te zorgen dat de onderdelen "Thema", "Plot" en "Afloop" allemaal met elkaar in overeenstemming zijn, waardoor een verenigde verhaalfingerafdruk ontstaat.

Het Resultaat: Deze multi-view aanpak hielp hen om 6e te eindigen van de 25 teams.

Het Geheime Ingrediënt: Synthetische Data

Het team had niet genoeg echte, door mensen gelabelde verhalen om hun modellen perfect te trainen. Daarom gebruikten ze AI om duizenden nep-verhaalvoorbeelden (synthetische data) te verzinnen om op te oefenen.

Analogie: Het is als een piloot die traint in een vluchtsimulator. Ze hoeven niet in een echte storm in een echt vliegtuig te vliegen om te leren; ze kunnen eerst oefenen op een computersimulatie. Dit stelde hen in staat om hun modellen efficiënt te trainen zonder een enorme bibliotheek aan door mensen beoordeelde verhalen nodig te hebben.

Samenvatting van Wat Zij Beweerden

Ze gebruikten geen dure, trage AI om tijdens de test antwoorden te genereren. In plaats daarvan bouwden ze een snel, efficiënt systeem dat eerst patronen leert en ze vervolgens snel toepast.
Ze bewezen dat het verwijderen van namen (pseudonimisering) helpt om de structuur van een verhaal beter te begrijpen dan alleen het lezen van de ruwe tekst.
Ze bewezen dat het opdelen van een verhaal in Thema, Plot en Afloop een veel betere "vingerafdruk" creëert voor het vergelijken van verhalen dan het behandelen van een verhaal als één groot blok tekst.

Kortom, ze leerden een computer om de "namen" en de "ruis" te negeren om zich volledig te concentreren op de vorm en de flow van het verhaal.

Technische Samenvatting: ttda704 bij SemEval-2026 Taak 4

Probleemstelling
Het artikel behandelt SemEval-2026 Taak 4, die deelnemers uitdaagt om narratieve gelijkenis en representatieleer te modelleren. De kern van de moeilijkheid ligt in het onderscheid tussen oppervlakkige lexicale overlap en diepe narratieve structuur. Zoals opgemerkt door Hatzel en Biemann (2024a), vereist effectieve verhaalvergelijking het vastleggen van latente dimensies zoals abstracte thema's, het verloop van het plot (de opeenvolging van gebeurtenissen) en uiteindelijke uitkomsten, in plaats van te vertrouwen op eenvoudige trefwoordmatching of gebeurtenisextractie. De auteurs benadrukken dat hoewel generatieve Large Language Models (LLM's) kunnen redeneren door deze ambiguïteiten heen, hun computationele kosten en latentie hen onpraktisch maken voor schaalbare retrieval- en embedding-taken. Bijgevolg is het doel om een efficiënt, op embeddings gebaseerd systeem te ontwikkelen dat de structurele narratieve nuances vastlegt zonder te vertrouwen op dure inferentie-generatie.

Methodologie
De auteurs stellen een contrastief leerkader voor dat gebruikmaakt van gefinetunede sentence transformers, geïmplementeerd via twee afzonderlijke pipelines die overeenkomen met de taaktracks:

Track A (Single-View Classificatie): Deze pipeline richt zich op het bepalen welke van twee kandidaatverhalen narratief dichter bij een ankerverhaal ligt.
- Pseudonimisering: Om spuriose correlaties veroorzaakt door specifieke entiteitsnamen (bijv. overlap in personages of locaties) te mitigeren, passen de auteurs een referentiële normalisatiestap toe. Met behulp van fastcoref en spaCy mappen zij herhaalde vermeldingen van dezelfde entiteit naar consistente generieke placeholders (bijv. "Personage_A"), terwijl de binnen-verhaal coreferentie behouden blijft. Dit dwingt het model om aandacht te besteden aan semantische progressie in plaats van lexicale identiteit.
- Architectuur & Training: Het systeem gebruikt het all-mpnet-base-v2 model als backbone. Om overfitting te voorkomen en vooraf getrainde linguïstische kennis te behouden, wordt een "Smart Layer Freezing"-strategie toegepast: de embedding-parameters en de onderste 40% van de transformer-lagen worden bevroren, terwijl de bovenste lagen worden gefinetuned. Het model wordt getraind met triplet-margin loss op synthetische data.
Track B (Multi-View Representatieleer): Deze pipeline genereert vector-embeddings waarbij cosinus-gelijkenis de narratieve affiniteit weerspiegelt.
- Multi-View Decompositie: In plaats van de volledige tekst als één vector te coderen, deconstrueren de auteurs elk verhaal in drie afzonderlijke views met behulp van LLM's (specifiek o3-mini): Thema (het centrale sturende idee), Plot (de chronologische sequentie van toestandsveranderende gebeurtenissen) en Uitkomst (de resolutie).
- Contrastief Leren: Het model maakt gebruik van view-specifieke projectiekoppen om deze componenten in orthogonale embedding-ruimtes te mappen. Een contrastieve verliesfunctie ( $L_{con}$ ) wordt op elke view toegepast om de gelijkenis tussen overeenkomende narratieve facetten te maximaliseren en de gelijkenis tussen niet-overeenkomende facetten te minimaliseren.
- Zelf-gesuperviseerde Uitlijning: Om coherentie tussen de verschillende views te waarborgen, wordt een uitlijningsverlies ( $L_{align}$ ) geïntroduceerd. Deze verliesfunctie minimaliseert de afstand tussen de gefuseerde embedding (een gewogen som van de vier views: volledige tekst, thema, plot, uitkomst) en het gemiddelde van de individuele view-embeddings, wat een verenigde gezamenlijke ruimte stimuleert.
- Fusie: Tijdens de inferentie worden de embeddings van de vier componenten gefuseerd met behulp van vaste gewichten (0,5 voor de volledige tekst, 0,1 voor thema, 0,2 voor plot, 0,2 voor uitkomst), gevolgd door L2-normalisatie.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

LLM-Versterkte Narratieve Representatie: Een deterministisch framework dat LLM's strikt gebruikt voor offline data-augmentatie (synthetische extractie van narratieve structuren) en structurele decompositie, terwijl het voor de uiteindelijke gelijkenis-inferentie vertrouwt op efficiënte, gefinetunede sentence transformers.
Multi-View Structurele Modellering: Een contrastieve leerbenadering die expliciet de drie kernaspecten van narratieve gelijkenis (thema, verloop van actie, uitkomst) modelleert via view-specifieke projectiekoppen en zelf-gesuperviseerde uitlijning, waarbij complexe signalen worden ontkoppeld in orthogonale ruimtes.
Robuust Contrastief Trainen: De implementatie van triplet-margin optimalisatie gecombineerd met smart layer freezing om generalisatie te verbeteren terwijl de nuance van narratieve structuren behouden blijft.

Resultaten

Track A: Het systeem behaalde een private score van 0,6925, waarmee het 14e werd van de 42 teams. Het gebruik van gepseudonimiseerde data leverde een consistente verbetering op ten opzichte van ruwe data (0,6650 naar 0,6925) voor het all-mpnet-base-v2 model. De auteurs schrijven dit toe aan de verwijdering van entiteit-specifieke ruis, waardoor het model gedwongen wordt zich te richten op de semantische structuur.
Track B: Het systeem eindigde op de 6e plaats van de 25 deelnemers met een private score van 0,6875. Ablatie-studies op de development set gaven aan dat een gewogen fusiestrategie (waarbij de nadruk ligt op de volledige tekst met 0,5, met kleinere gewichten voor thema, plot en uitkomst) beter presteerde dan gelijke weging of single-view benaderingen. De combinatie van all-mpnet-base-v2 en de o3-mini LLM-extractor leverde de beste resultaten op.

Betekenis en Beperkingen
De auteurs stellen dat hun aanpak een praktisch alternatief biedt voor LLM-gebaseerde generatieve inferentie voor grootschalige narratieve retrieval. Door de computationele last te verschuiven naar een offline data-generatiefase en efficiënte embedding-modellen te gebruiken tijdens de inferentie, bereikt het systeem concurrerende prestaties met aanzienlijk lagere latentie.

Het artikel erkent echter bescheiden enkele beperkingen:

Generalisatie: De modellen vertrouwen op synthetische trainingsdata en zullen mogelijk niet volledig generaliseren naar diverse narratieve stijlen of domeinen zonder verdere aanpassing.
Extractieruis: De multi-view pipeline is afhankelijk van automatisch geëxtraheerde narratieve elementen; zonder een specifieke handmatige kwaliteitscontrole van deze extracties kunnen resterende fouten in de coherentie van thema of plot onkwantificeerbaar blijven.
Hyperparameter Tuning: De vaste fusiegewichten en temperatuurinstellingen zijn afgestemd op de development set en zijn mogelijk niet optimaal voor ongeziene domeinen.

Het werk concludeert dat hoewel de aanpak de prohibitieve kosten van generatieve redenering vermijdt, de afhankelijkheid van synthetische data en automatische extractie beperkingen introduceert voor de robuustheid van de geleerde representaties.