💬 NLP

Multiperspectivity as a Resource for Narrative Similarity Prediction

In plaats van de inherente meerduidigheid van narratieve interpretaties als een obstakel te zien, presenteert dit onderzoek een ensemble van 31 LLM-persona's dat deze perspectiefdiversiteit benut om de voorspelling van narratieve gelijkenis te verbeteren en de noodzaak onderstreept van evaluatiekaders die rekening houden met interpretatieve pluraliteit.

Oorspronkelijke auteurs: Max Upravitelev, Veronika Solopova, Jing Yang, Charlott Jakob, Premtim Sahitaj, Ariana Sahitaj, Vera Schmitt

Gepubliceerd 2026-03-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Max Upravitelev, Veronika Solopova, Jing Yang, Charlott Jakob, Premtim Sahitaj, Ariana Sahitaj, Vera Schmitt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom een menigte van 31 verschillende denkers beter is dan één slimme computer

Stel je voor dat je een boek moet lezen en vervolgens moet beslissen: "Welk van deze twee andere verhalen lijkt het meest op dit ene?"

In de wereld van kunstmatige intelligentie (AI) is dit vaak een lastig vraagstuk. Waarom? Omdat verhalen niet zoals wiskundeproblemen zijn. Er is niet altijd één 'juist' antwoord. Een literatuurcriticus ziet misschien de diepe symboliek, een tiener ziet de avontuurlijke actie, en een politicus ziet de maatschappelijke boodschap. Ze hebben allemaal gelijk, maar ze zien verschillende dingen.

Deze paper (een wetenschappelijk artikel) onderzoekt hoe we dit probleem kunnen oplossen door niet te vertrouwen op één slimme computer, maar op een hele menigte van 31 verschillende 'personas'.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Eén Juiste Antwoord"-Valstrik

Stel je voor dat je een klas hebt en de leraar vraagt: "Wat is de betekenis van dit gedicht?"
Als de leraar zegt: "Er is maar één goed antwoord, en dat is wat ik denk," dan zijn de leerlingen die een andere, maar ook geldige, interpretatie hebben, fout.

In de AI-wereld gebeurt dit vaak. De "ground truth" (het officiële antwoord) is vaak gebaseerd op wat de makers van de test hebben bedacht. Maar als een AI probeert te raden wat die makers dachten, mist hij vaak de echte diepte van het verhaal.

2. De Oplossing: Een "Raad van Wijzen"

De auteurs van dit artikel dachten: "Laten we de diversiteit niet als een probleem zien, maar als een kracht."

Ze creëerden een ensemble (een groep) van 31 verschillende AI-persona's. Het was alsof ze een vergadering organiseerden met:

De Experts (Practitioners): Denk aan een feministische literatuurcriticus, een postkoloniaal criticus, een psycholoog of een computerwetenschapper. Deze personen kijken met een bril van specifieke theorieën naar het verhaal.
De Leek (Lay People): Denk aan een voetballer, een taxichauffeur, een middelbare scholier of een toerist. Deze personen kijken met hun 'buikgevoel' en dagelijkse ervaring.

Elke persona kreeg een eigen rol en een eigen manier van denken. Vervolgens lieten ze ze allemaal het verhaal analyseren en een stem uitbrengen over welk verhaal het meest leek op het origineel.

3. Het Resultaat: De Kracht van de Meerderheid

Wat gebeurde er toen ze allemaal stemden?

De individuele prestatie: De "experts" (zoals de feministische criticus) waren soms zelfs minder goed in het raden van het officiële antwoord dan de "leken" (zoals de taxichauffeur).
De groepsprestatie: Maar toen ze samenstemden (meerderheidsstem), werd het team beter.

De Metafoor van de Gekke Raad:
Stel je voor dat je een raadsel moet oplossen.

De Expert denkt heel diep na, maar raakt soms verstrikt in zijn eigen theorieën (hij ziet te veel symboliek die er misschien niet is).
De Leek denkt simpelweg: "Dit verhaal voelt hetzelfde als dat andere."
Als je ze allemaal laat stemmen, vangen ze elkaars fouten op. De expert corrigeert de leek op details, en de leek houdt de expert van de grond af. Het resultaat is een beslissing die robuuster is dan die van een enkele slimme computer.

4. De Verrassende Ontdekking: Het "Gender-Paradox"

Een van de meest interessante vondsten in het onderzoek was een vreemd patroon.

Toen de AI-persona's woorden gebruikten die te maken hadden met geslacht en feminisme (woorden als "vrouwelijke hoofdpersoon", "patriarchaat" of "geslachtsrollen"), werd hun voorspelling minder goed.

Wat betekent dit?
Het is alsof je een groep detectives hebt die een moordzaak oplossen. Als ze te veel focussen op "de vrouwelijke dader", missen ze soms de feitelijke aanwijzingen.
De auteurs denken dat dit twee dingen kan betekenen:

De officiële antwoorden in de test (de "ground truth") kijken niet naar deze diepere maatschappelijke thema's. Dus als de AI daar wel naar kijkt, "raakt hij af" van het juiste antwoord.
Of, nog interessanter: De AI heeft misschien een heel geldig punt gemaakt (dat het verhaal wel degelijk over gender gaat), maar omdat de testmakers dat niet hadden opgeschreven, wordt het door de computer als "fout" gerekend.

5. Conclusie: Diversiteit is Goud

De boodschap van dit artikel is simpel maar krachtig:

In een wereld waar verhalen en interpretaties complex zijn, is het niet slim om te vertrouwen op één "super-intelligente" AI. In plaats daarvan is het beter om een diverse menigte te hebben.

Verscheidenheid aan perspectieven (experts + leken) leidt tot betere beslissingen.
Fouten die niet op elkaar lijken (diverse fouten) zijn waardevoller dan fouten die allemaal hetzelfde zijn.
We moeten onze tests voor AI zo ontwerpen dat ze ruimte maken voor verschillende geldige interpretaties, in plaats van te eisen dat iedereen hetzelfde denkt.

Kortom: Laat de voetballer, de toerist en de literatuurcriticus samenstemmen. Dan kom je dichter bij de waarheid dan wanneer je alleen naar de slimste professor luistert.

Titel: Multiperspectiviteit als Bron voor Voorspelling van Narratieve Similariteit

Auteurs: Max Upravitelev et al. (TU Berlin, DFKI, BIFOLD, CERTAIN)
Context: SemEval-2026 Task 4 (Narrative Similarity)

1. Het Probleem

Het voorspellen van narratieve similariteit (het bepalen hoe twee verhalen op elkaar lijken) wordt traditioneel gezien als een interpretatieve taak. Verschillende, even geldige lezingen van dezelfde tekst kunnen leiden tot uiteenlopende interpretaties en dus verschillende oordelen over similariteit. Dit vormt een fundamentele uitdaging voor semantische evaluatiebenchmarks die doorgaans één "ground truth" (waarheid) coderen.

De auteurs betogen dat multiperspectiviteit (de aanwezigheid van meerdere geldige perspectieven) niet moet worden gezien als een ruis of een obstakel dat moet worden overwonnen, maar als een essentieel onderdeel van het besluitvormingsproces. De huidige benchmarks riskeren de specifieke interpretatieve perspectieven van hun makers en annotators te verankeren, waardoor geldige maar afwijkende interpretaties als fout worden bestempeld.

2. Methodologie

De auteurs hebben een ensemble-methode ontwikkeld die gebruikmaakt van 31 verschillende LLM-persona's om de impact van interpretatieve diversiteit op de voorspellingskwaliteit te testen.

Persona-Categorieën:
- Practitioners [P] (18): Persona's met expliciete analytische kaders (bijv. feministische literatuurcriticus, postkoloniaal criticus, computernarratoloog, ethicus).
- Lay People [L] (13): Intuïtieve, alledaagse karakters (bijv. tourguide, voetballer, high school student, barkeeper).
Modellen: Er werden drie verschillende open-weight modellen gebruikt om per persona voorspellingen te genereren: Gemma 27B-it, Qwen3-14B, en gpt-oss-20b.
Taak: Gegeven een ankerverhaal en twee kandidaat-verhalen (A en B), moet worden bepaald welke kandidaat het meest lijkt op het anker.
Aggregatie Strategie:
1. Individuele persona-voorspelling.
2. Meerderheidsstemming binnen één model (alle 31 persona's op één model).
3. Cross-model meerderheidsstemming (alle 93 combinaties van 31 persona's × 3 modellen).
Theoretische Basis: De aanpak is geïnspireerd op het Condorcet Jury Theorem (CJT), dat stelt dat collectieve beslissingen verbeteren naarmate er meer onafhankelijke, competente kiezers worden toegevoegd. Hoewel de strikte onafhankelijkheidsaanname bij LLM-ensembles niet volledig geldt, hypotheseren de auteurs dat het aggregeren van diverse perspectieven de prestaties verbetert.

3. Belangrijkste Resultaten

Ensemble Grootte en Prestaties:
- De nauwkeurigheid van de meerderheidsstemming neemt toe naarmate de ensemble-grootte groeit. Met 31 persona's over drie modellen bereikte het systeem een nauwkeurigheid van 0,705 op de testset (13e plaats van 47 teams).
- Een "Oracle"-analyse toont aan dat bij een ensemble van 31, bijna alle items (99%+) door ten minste één persona correct worden voorspeld, wat aantoont dat de individuele competentie hoog is, maar de consensus ontbreekt.
Individuele vs. Collectieve Prestaties:
- Individueel: De "Lay" persona's presteren individueel beter dan de "Practitioner" persona's (71,7% vs 71,0% gemiddelde nauwkeurigheid).
- Collectief (Ensemble): Ondanks hun lagere individuele score, leveren de "Practitioner" persona's een grotere winst op bij meerderheidsstemming (76,0% vs 75,3% voor Lay).
- Reden: Practitioner persona's maken minder gecorreleerde fouten (error correlation $r = 0,388$ voor P vs $0,461$ voor L). Hun diverse, specifieke kaders zorgen voor een bredere dekking van interpretaties, wat de meerderheidsstemming robuuster maakt.
De "Gender"-Vocabulaire Correlatie:
- Een cruciale bevinding is een consistente negatieve associatie tussen het gebruik van vocabulaire gericht op gender en feministische interpretatie (bijv. "female protagonist", "patriarchal", "gender roles") en de voorspellende nauwkeurigheid.
- Wanneer persona's (zowel Practitioners als Lay) deze termen gebruiken, daalt hun nauwkeurigheid significant.
- Interpretatie: Dit suggereert dat ofwel:
  1. Deze interpretatieve dimensies wel geldig zijn maar niet relevant voor de specificiteit van de benchmark-ground truth.
  2. De ground truth zelf bepaalde geldige interpretaties mist, waardoor modellen die deze perspectieven hanteren systematisch als "fout" worden beoordeeld.
Optimalisatie vs. Diversiteit:
- Een geoptimaliseerde subset van 8 persona's (geselecteerd via kruisvalidatie op de dev-set) presteerde op de testset bijna identiek aan de eenvoudige meerderheidsstemming van het volledige ensemble (0,705 vs 0,7025). Dit bevestigt dat voor interpretatieve taken het verzamelen van een brede, diverse set perspectieven robuuster is dan het selecteren van een kleine, geoptimaliseerde subset.

4. Bijdragen en Significatie

Conceptuele Shift: Het artikel verschuift de blik op multiperspectiviteit van een evaluatieprobleem naar een modelleercomponent. Het toont aan dat diversiteit in interpretatie (zelfs als die individueel minder accuraat lijkt) essentieel is voor collectieve besluitvorming in NLP.
Empirisch Bewijs: Het biedt empirisch bewijs dat error-diversiteit (lage correlatie tussen fouten) belangrijker kan zijn voor ensemble-prestaties dan individuele nauwkeurigheid, zelfs in de context van LLM-persona's.
Kritiek op Benchmarks: De bevinding over de negatieve correlatie met gender-vocabulaire onderstreept de noodzaak van evaluatieframeworks die rekening houden met interpretatieve pluraliteit. Het stelt de vraag of huidige benchmarks voldoende ruimte bieden voor geldige, maar afwijkende interpretaties, of dat ze enkel de dominantie van de annotator-perspectieven versterken.
Praktische Toepassing: Voor taken zoals narratieve similariteit is een grote, diverse ensemble van persona's (gebaseerd op meerderheidsstemming) een effectievere en robuustere strategie dan complexe debatsystemen of het zoeken naar een "beste" enkelvoudige oplossing.

Conclusie:
De auteurs concluderen dat in domeinen waar interpretatie centraal staat, de kwaliteit van een voorspelling niet alleen afhangt van de nauwkeurigheid van het individuele model, maar van de diversiteit van de toegepaste perspectieven. Een systeem dat multiperspectiviteit integreert, kan beter omgaan met de inherente ambiguïteit van narratieve betekenis, zelfs als dit betekent dat sommige geldige interpretaties momenteel niet worden beloond door bestaande benchmarks.