CascadeMind at SemEval-2026 Task 4: A Hybrid Neuro-Symbolic Cascade for Narrative Similarity

Technische Samenvatting: CascadeMind bij SemEval-2026 Taak 4

Probleemdefinitie
Het artikel behandelt SemEval-2026 Taak 4, die zich richt op Verhaalkundige Verwantschap. De taak vereist dat systemen twee kandidaat-verhalen vergelijken met een ankerverhaal en bepalen welk kandidaatverhaal op basis van drie specifieke assen meer overeenkomst vertoont: abstract thema, verloop van handelingen en uitkomsten. De kernuitdaging ligt in het feit dat verhaalkundige verwantschap verder gaat dan oppervlakkige woordkeuze en ook gedeelde thema's, gebeurtenissequenties en oplossingen omvat, wat vaak leidt tot ambiguïteit in vergelijkingen waarbij Large Language Models (LLM's) in prestatie kunnen achteruitgaan.

Methodologie: De CascadeMind-architectuur
De auteurs stellen CascadeMind voor, een hybride neuro-symbolisch systeem dat een vertrouwen-bewuste routing-mechanisme gebruikt. Het systeem behandelt de verdeling van stemmen over zelf-consistentie-steekproeven als een onzekerheidssignaal en selecteert dynamisch een besluitvormingspad op basis van het niveau van consensus.

De pijplijn werkt in vier fasen:

1. Neurale Zelf-Consistentie Stemming: Het systeem vraagt Gemini 2.5 Flash acht keer ($k=8$) met een temperatuur van 1,0 om acht onafhankelijke A/B-stemmen te genereren.
2. Vertrouwenscontrole (Supermeerderheid): Als ten minste 7 van de 8 stemmen overeenkomen (supermeerderheid), commit het systeem onmiddellijk tot dat besluit. Dit pad lost het merendeel van de gevallen op (74% in de ontwikkelset).
3. Escalatie: Als de initiële stemmen verdeeld zijn (bijvoorbeeld 4-4, 5-3, 6-2), escalateert het systeem door drie extra API-aanroepen te doen (totaal 32 stemmen) en neemt het de meerderheidsstem van de uitgebreide set.
4. Symbolische Fallback (Tiebreaker): Alleen in het zeldzame geval van een perfecte gelijke stand na escalatie (5% van de gevallen), grijpt het systeem terug op een Ensemble voor Multi-Schaal Verhaalkundige Analyse. Dit symbolische onderdeel berekent een gewogen som van vijf verwantschapssignalen:
   • Lexicale Verwantschap: TF-IDF cosinusverwantschap (Gewicht: 49%).
   • Verhaalkundige Grammatica-verwantschap: Gemiddelde cosinusverwantschap van sentence-transformer-embeddings over vijf verhaalfasen (setting, conflict, stijgende actie, climax, oplossing) (Gewicht: 40%).
   • Semantische Verwantschap: Cosinusverwantschap van embeddings van het hele verhaal (Gewicht: 8%).
   • Verhaalkundige Spanningscurve: Pearson-correlatie van spanningscurves afgeleid van sentiment (Gewicht: 2%).
   • Gebeurtenisketen-Verwantschap: Langste Gemeenschappelijke Subsequentie (LCS) van geordende werkwoorden van actie (Gewicht: 1%).

De gewichten voor het symbolische ensemble werden geoptimaliseerd via differentiatieve evolutie op een synthetische trainingsset van 1.900 door LLM's gegenereerde tripletten.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

1. Vertrouwens-bewuste Routing: Een demonstratie dat LLM-stemovereenkomst dient als een betrouwbare monotoon gradient voor de moeilijkheidsgraad van een instantie. Op de ontwikkelset bereiken supermeerderheidsgevallen (≥7/8 stemmen) 85% nauwkeurigheid, verdeelde stemmen 67%, en perfecte gelijke standen 61%.
2. Hybride Fallback-mechanisme: De implementatie van een symbolisch ensemble dat is geworteld in verhaalkundige theorie (Propp, Freytag, Todorov) en uitsluitend wordt geactiveerd bij perfecte gelijke standen, in plaats van als primaire classifier.
3. Ablatie-analyse: Bewijs dat de prestatiewinst bijna volledig wordt gedreven door de vertrouwens-bewuste routing (stemming en escalatie), terwijl het symbolische onderdeel verwaarloosbaar bijdraagt aan de end-to-end-score omdat het slechts in 5% van de gevallen wordt aangeroepen.

Resultaten

• Officiële Prestatie: Op de Track A-testset (400 tripletten) behaalde CascadeMind 72,75% nauwkeurigheid, wat een 10e plaats opleverde van de 44 teams.
• Ontwikkelingsdiagnostiek: Op een ontwikkelingssubset behaalde het systeem 81,0% nauwkeurigheid.
• Padanalyse:
  • Supermeerderheidsgevallen (74% van de subset) werden opgelost met 85% nauwkeurigheid.
  • Geëscaleerde gevallen werden opgelost met 67% nauwkeurigheid.
  • De symbolische tiebreaker behaalde 61,1% nauwkeurigheid op een aparte diagnostische set van perfecte gelijke standen.
• Isolatie van Symbolisch Onderdeel: Wanneer het als standalone-classifier op alle gevallen werd toegepast (de neurale cascade negerend), daalde het symbolische ensemble naar 53% nauwkeurigheid, wat bevestigt dat het alleen geschikt is als fallback bij hoge onzekerheid.
• Discrepantie: De auteurs merken een significante kloof op tussen de prestatie van de ontwikkelingscascade-subset (81,0%) en de officiële testprestatie (72,75%), en schrijven dit toe aan een distributieverschil en potentieel overfitting op de synthetische kalibratiegegevens.

Betekenis en Claims
De primaire methodologische les van het artikel is dat voor verhaalkundige verwantschapstaken het kalibreren van wanneer extra rekenkracht moet worden besteed aan moeilijke instanties impactvoller is dan het toevoegen van auxiliaire representaties. De auteurs betogen dat het succes van het systeem voortkomt uit de routingstrategie – het gebruik van stemconsensus om makkelijke, moeilijke en ambiguïteitsgevallen te onderscheiden – en niet uit de geavanceerdheid van de symbolische fallback. Het symbolische onderdeel, hoewel theoretisch onderbouwd, speelde een verwaarloosbare rol in de eindscore vanwege het lage aantal keer dat het werd aangeroepen. Het werk benadrukt de bruikbaarheid van zelf-consistentie-stemming als een black-box onzekerheidssignaal voor selectieve voorspelling zonder dat het model hoeft af te zien van een antwoord.