💬 NLP

Agenda-based Narrative Extraction: Steering Pathfinding Algorithms with Large Language Models

Dit paper introduceert een agenda-gestuurde methode voor het extraheren van verhalen die Large Language Models integreert in pathfinding-algoritmen om coherentie te behouden terwijl meerdere, door gebruikers gespecificeerde perspectieven worden gegenereerd.

Oorspronkelijke auteurs: Brian Felipe Keith-Norambuena, Carolina Inés Rojas-Córdova, Claudio Juvenal Meneses-Villegas, Elizabeth Johanna Lam-Esquenazi, Angélica María Flores-Bustos, Ignacio Alejandro Molina-Villablanca, Joshu

Gepubliceerd 2026-04-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Brian Felipe Keith-Norambuena, Carolina Inés Rojas-Córdova, Claudio Juvenal Meneses-Villegas, Elizabeth Johanna Lam-Esquenazi, Angélica María Flores-Bustos, Ignacio Alejandro Molina-Villablanca, Joshua Emanuel Leyton-Vallejos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kern: Een Reisplanner die luistert naar jouw wensen

Stel je voor dat je een enorme berg met nieuwsberichten hebt (duizenden artikelen over hetzelfde onderwerp, bijvoorbeeld protesten in Cuba). Je wilt een verhaal maken dat deze artikelen in een logische volgorde zet, zodat het leest als een goed verhaal.

Vroeger hadden we twee manieren om dit te doen, maar beide hadden een groot nadeel:

De "Perfecte Verhaler" (Narrative Trails): Deze methode is als een zeer strenge leraar. Hij zorgt dat elk artikel na het vorige perfect aansluit, alsof het een vloeiend gesprek is. Het resultaat is een heel logisch verhaal. Maar: Hij heeft geen oren naar jou. Hij vertelt het verhaal, niet jouw versie. Je kunt niet zeggen: "Ik wil vooral weten hoe de politie reageerde" of "Ik wil weten wat de buren denken." Hij kiest gewoon de beste route.
De "Bonte Verzameling" (Narrative Maps): Deze methode is als een creatief kind dat alles mag doen. Je kunt zelf knopen in het verhaal verplaatsen en verschillende paden maken. Maar: Omdat er zoveel vrijheid is, kan het verhaal soms haperen of onlogisch worden. Het is leuk om te spelen, maar niet altijd een goed verhaal.

De Nieuwe Oplossing: De "Agenda-Gestuurde Reisplanner"
De auteurs van dit paper hebben een nieuwe methode bedacht die het beste van beide werelden combineert. Ze noemen het Agenda-based Narrative Extraction.

Stel je voor dat je een AI-assistent (een Large Language Model of LLM) hebt die je reisplanner is.

Je geeft de assistent een agenda (een zinnetje in gewoon taal): "Ik wil een verhaal over hoe de regering de protesten hardhandig onderdrukt."
De assistent kijkt dan naar de berg artikelen. In plaats van alleen te kijken welke artikelen het beste bij elkaar passen (zoals de strenge leraar), kijkt hij ook: "Welke van deze artikelen passen het beste bij mijn opdracht?"
Hij selecteert dan artikelen die over arrestaties en politieoptredens gaan, zelfs als de woorden "onderdrukking" er niet letterlijk in staan. Hij begrijpt de bedoeling.

Hoe werkt het precies? (De Metafoor van de Bergwandeling)

Stel je voor dat je een bergwandeling moet maken van punt A (begin van de protesten) naar punt B (het einde). Er zijn duizenden paden.

De Oude Methode (Zonder AI): De wandelaar kijkt alleen naar de stevigheid van de stenen. "Welk pad heeft de stevigste stenen?" Hij kiest het pad dat het minst wankelt. Dit geeft een heel stabiele wandeling, maar misschien loop je langs de mooiste uitzichten die jij juist wilde zien.
De Nieuwe Methode (Met AI): De wandelaar heeft een kompas (de agenda). Hij kijkt nog steeds naar de stevigheid van de stenen (zodat het verhaal niet instort), maar hij laat de AI kiezen: "Van deze drie stevige paden, welk pad leidt ons naar de plek waar de politie te zien is?"
- Als je vraagt om een verhaal over "vrijheid", leidt de AI je langs de paden met de demonstranten.
- Als je vraagt om "censuur", leidt hij je langs de paden over internetblokkades.

Wat hebben ze ontdekt? (De Resultaten)

De onderzoekers hebben dit getest met nieuws over Cubaanse protesten. Hier zijn de belangrijkste bevindingen, vertaald:

Slimmer dan zoekwoorden: Als je een agenda geeft die moeilijk te vatten is (bijv. "geweldige onderdrukking" zonder dat het woord "geweld" in de tekst staat), wint de AI-methode het ruimschoots van een simpele zoekmachine. De AI snapt de context; de zoekmachine zoekt alleen naar letterlijke woorden.
Het verhaal blijft logisch: Je zou denken dat je door te kiezen voor een specifiek verhaal, de logica verliest. Maar nee! Het verhaal is nog steeds net zo logisch als de oude methode (slechts 2,2% minder logisch, wat in de praktijk nauwelijks te merken is).
Je kunt de feiten niet verdraaien: Dit is een heel belangrijk punt. Als je een agenda geeft die niet klopt met de feiten (bijv. "De regering is super populair" terwijl alle artikelen zeggen dat ze gehaat wordt), dan faalt de AI. Hij kan geen verhaal verzinnen dat er niet is. Hij kan alleen de bestaande feiten in een bepaalde hoek zetten. Hij is een spiegel, geen leugenaar.
Verschillende perspectieven: Door dezelfde berg artikelen te gebruiken, maar de agenda te veranderen, krijg je totaal verschillende verhalen. Het ene verhaal focust op de moed van de burgers, het andere op de harde hand van de staat. Beide zijn waar, maar ze vertellen een ander deel van de waarheid.

Waarom is dit belangrijk?

Vroeger was het kiezen van een nieuwsverhaal of het analyseren van grote hoeveelheden data een keuze tussen "logisch maar saai" of "interactief maar rommelig".

Met deze nieuwe methode kunnen we:

Meer perspectief: Een onderzoeker kan vragen: "Laat me zien hoe de VS reageerde" of "Laat me zien hoe de lokale bevolking reageerde", en krijgt direct een logisch verhaal.
Geen manipulatie: Omdat de methode transparant is (je ziet welke agenda je gaf), kun je zien hoe een verhaal wordt "gestuurd". Het maakt het makkelijker om te zien of iemand probeert je te manipuleren, omdat je ziet dat het verhaal gebaseerd is op een specifieke vraag.

Kort samengevat:
De auteurs hebben een slimme robot-reisplanner gebouwd die een logisch verhaal maakt, maar die luistert naar wat jij wilt weten. Hij kan niet liegen, maar hij kan wel kiezen welke kant van het verhaal hij het beste laat zien, zonder dat het verhaal zelf in elkaar stort.

Probleemstelling

Bestaande methoden voor het extraheren van narratieven uit documentcollecties kampen met een fundamenteel compromis tussen drie factoren: coherentie, interactiviteit en ondersteuning voor meerdere verhaallijnen.

Narrative Maps biedt rijke interactie en genereert automatisch meerdere verhaallijnen, maar dit gaat ten koste van de coherentie van individuele paden.
Narrative Trails bereikt hoge coherentie door padoptimalisatie (maximale capaciteit), maar levert slechts één deterministisch resultaat op zonder mogelijkheid voor gebruikerssturing of alternatieve perspectieven.

Er is een behoefte aan een methode die de hoge coherentie van padoptimalisatie behoudt, maar tegelijkertijd interactie mogelijk maakt via gebruikersgedefinieerde perspectieven (agenda's), zonder de kwaliteit van het verhaal te verstoren.

Methodologie

De auteurs introduceren agenda-based narrative extraction, een methode die Large Language Models (LLM's) integreert in het pathfinding-algoritme van Narrative Trails.

Basis: Coherentie Grafieken en Maximum Capacity Paths
- Het systeem bouwt een coherentiegrafiek op waar documenten knopen zijn en gewichten de mate van coherentie tussen documenten aangeven.
- Documenten worden geëmbed met Sentence-BERT, geprojecteerd naar 2D via UMAP, en geclusterd met HDBSCAN.
- De coherentie ( $\theta$ ) combineert ruimtelijke nabijheid en thematische gelijkenis (gebaseerd op Jensen-Shannon divergentie).
- Het doel is het vinden van een pad van bron naar doel dat de "flesnek" (de zwakste link) maximaliseert, opgelost met een aangepast Dijkstra-algoritme.
Agenda-gedreven Pathfinding (De Kerninnovatie)
- In plaats van bij elke stap alleen het beste coherentie-kandidaat te kiezen, selecteert het algoritme de top- $k$ kandidaten op basis van coherentie.
- Een LLM (Gemma 3 12B) wordt vervolgens ingezet om deze $k$ kandidaten te rangschikken op basis van hun uitlijning met een door de gebruiker opgegeven agenda (een natuurlijke taalbeschrijving van het gewenste perspectief).
- Het algoritme prioriteert de rangschikking van de LLM in de priority queue, waardoor het pad stuurbaar wordt naar documenten die de agenda ondersteunen, terwijl de coherentie-eisen behouden blijven.
Evaluatie Framework
- Dataset: 418 nieuwsartikelen over de Cubaanse protesten van 2021.
- Agenda's: Zes agenda's in drie categorieën:
  - Eenvoudig: Letterlijke trefwoorden (bijv. "Vrijheidsopstand").
  - Semantisch: Vereist inferentie zonder letterlijke trefwoorden (bijv. "Regime onderdrukking").
  - Contrast: Agenda's die in strijd zijn met de brondata (bijv. "Regime populair").
- Benchmarks: Vergelijking met "Maximum Capacity" (geen sturing) en "Keyword Matching" (TF-IDF).
- Evaluatie: Twee LLM-judges (Claude Opus 4.5 en GPT 5.1) beoordelen coherentie en agenda-uitlijning op een schaal van 1-10.

Belangrijkste Resultaten

Verbeterde Uitlijning bij Semantische Agenda's: LLM-gestuurde sturing presteert significant beter dan trefwoordmatching bij agenda's die semantisch inzicht vereisen. Voor de agenda "Regime Crackdown" was er een verbetering van 13,3% in uitlijning ( $p=0.037$ ). Over het algemeen was de uitlijning 9,9% hoger dan bij trefwoordmatching voor semantische agenda's.
Minimale Kosten voor Coherentie: De introductie van LLM-sturing leidt slechts tot een 2,2% daling in coherentie ten opzichte van de agenda-onafhankelijke baseline (6,19 vs 6,33). Dit suggereert dat coherentie en agenda-uitlijning grotendeels onafhankelijk zijn.
Validatie van "Counter-Agenda's": Alle methoden scoorden uniform laag (2,2-2,5) op agenda's die de brondata tegenspreken. Dit bevestigt dat het systeem geen onondersteunde narratieven kan fabriceren; het kan alleen perspectieven versterken die al in de data aanwezig zijn.
Chain-of-Thought (CoT): Het gebruik van CoT-prompting verhoogde de uitlijning met 25,7%, maar verdubbelde de verwerkingstijd aanzienlijk.

Belangrijkste Bijdragen

Overbrugging van het Ontwerpruimte-gat: De methode combineert de hoge coherentie van pathfinding-algoritmen met de interactieve mogelijkheid om meerdere perspectieven te verkennen via natuurlijke taal.
LLM als Stuurmechanisme: Het introduceren van LLM's als rangschikkingsagent binnen een deterministisch pathfinding-algoritme om semantische intentie te vertalen naar documentselectie.
Empirisch Bewijs voor Trade-offs: Het onderzoek toont aan dat men agenda-uitlijning kan maximaliseren zonder significante inbreuk op de narratieve coherentie, en dat de methode robuust is tegen manipulatie (geen fabricage van feiten).

Betekenis en Toekomstperspectief

Deze studie is significant omdat het een nieuwe richting opent voor interactieve narratieve analytics. Het stelt gebruikers in staat om complexe datasets te verkennen vanuit specifieke hoeken (bijv. voor journalistiek of inlichtingenanalyse) zonder handmatig grafieken te moeten manipuleren of in te leveren op de kwaliteit van het verhaal.

De methode benadrukt echter ook ethische beperkingen: hoewel het sturen van narratieven mogelijk is, is het gebonden aan de bias en beschikbaarheid van de onderliggende data. Het systeem kan geen feiten creëren die niet in de bronnen staan, wat het een waardevol instrument maakt voor het begrijpen van hoe framing werkt, maar ook een waarschuwing voor de beperkingen van data-gedreven inzichten. Toekomstig werk richt zich op validatie met menselijke beoordelaars en generalisatie naar andere domeinen.