Comparative Analysis of Rule-Based, Deep Learning, and LLM Approaches for Causality Extraction: A Unified Benchmark

In het uitgestrekte landschap van de menselijke communicatie weven we voortdurend verhalen over oorzaak en gevolg. We zeggen dat zware regenval een rivier deed overstromen, of dat een gemiste deadline leidde tot het falen van een project. Soms zijn deze verbanden overduidelijk, gemarkeerd door woorden als "omdat" of "resulteerde in". Maar vaak is de link verborgen. Een tekst kan een opeenvolging van gebeurtenissen beschrijven waarbij de oorzaak nooit wordt benoemd, waardoor de lezer de relatie moet afleiden op basis van context en gezond verstand. Voor computers om onze taal echt te begrijpen, moeten ze leren deze onzichtbare draden te herkennen, een taak die bekend staat als causaliteitsextractie. Dit is niet alleen een linguïstische puzzel; het is een praktische noodzaak voor machines die nieuwsberichten, medische dossiers of veiligheidsonderzoeken moeten analyseren om te begrijpen wat er is gebeurd en waarom. Jarenlang hebben onderzoekers geprobeerd computers deze vaardigheid aan te leren met drie verschillende strategieën: rigide sets van door mensen gemaakte regels, complexe neurale netwerken die leren van voorbeelden, en de nieuwste generatie massieve taalmodellen die kunnen redeneren via instructies. Omdat elke groep echter hun methoden op verschillende data met verschillende scoresystemen testte, was het onmogelijk om te weten welke aanpak werkelijk de beste is of waar zij tekortschieten.

Een onderzoeker aan de Technische Universiteit München besloot deze onzekerheid weg te nemen door een enkele, verenigde testomgeving te bouwen. Zij verzamelde bestaande tekstcollecties uit nieuws, de medische wereld, de financiële sector en veiligheidsrapporten, en herschreef zorgvuldig de labels voor elke oorzaak-gevolgrelatie zodat deze allemaal dezelfde strikte definitie volgden. Dit creëerde een gelijk speelveld waar zij de drie belangrijkste strategieën zij aan zij konden testen onder identieke omstandigheden. Zij zetten eenvoudige regelgebaseerde systemen, die zoeken naar specifieke woorden en grammaticale patronen, tegenover deep learning-modellen die duizenden voorbeelden hebben bestudeerd, en tenslotte tegen grote taalmodellen die enorme hoeveelheden tekst kunnen verwerken en complexe instructies kunnen opvolgen. Het doel was niet alleen om te zien welke methode de hoogste score behaalde, maar ook hoe elk model omging met de lastige onderdelen van de taak, zoals het vinden van oorzaken die niet expliciet worden vermeld of het verbinden van gebeurtenissen die ver uit elkaar liggen in een lang document.

De resultaten onthulden een landschap dat veel genuanceerder is dan het simpele verhaal van "nieuwer is beter" zou doen vermoeden. De onderzoeker ontdekte dat de ouderwetse regelgebaseerde systemen, die vertrouwen op het herkennen van woorden als "veroorzaakt" of "door", nog steeds verrassend effectief zijn wanneer de oorzaak duidelijk gemarkeerd is. In deze rechtstreekse gevallen presteren zij bijna net zo goed als de meest geavanceerde neurale netwerken, maar doen zij dat zonder enige trainingsdata nodig te hebben en met bijna geen rekenkracht. Deze rigide systemen lopen echter tegen een harde muur op wanneer de oorzaak verborgen is. Omdat zij volledig vertrouwen op oppervlakkige aanwijzingen, falen zij bijna volledig wanneer een tekst een relatie impliceert zonder specifieke verbindingswoorden te gebruiken.

De deep learning-modellen, die getraind zijn op geannoteerde voorbeelden, overbrugden deze kloof aanzienlijk. Zij bleken veel beter in het opsporen van verborgen oorzaken en het begrijpen van de context binnen een enkele zin of een korte paragraaf. Toch hadden zij moeite wanneer de oorzaak en het gevolg gescheiden werden door meerdere zinnen of wanneer de tekst een lange keten van gebeurtenissen beschreef. De krachtigste instrumenten, de grote taalmodellen, vertoonden de beste algehele capaciteit om deze verborgen en verre verbanden te vinden. Wanneer deze modellen zorgvuldig werden afgestemd met specifieke voorbeelden, presteerden zij beter dan de andere methoden, met name in de moeilijkste categorie: het vinden van oorzaken die zowel impliciet zijn als verspreid over een document. Deze superieure prestatie ging echter gepaard met een hoge prijs. De grote modellen vereisten aanzienlijk meer rekenkracht om te draaien en deden er veel langer over om elk document te verwerken dan de eenvoudigere modellen. Bovendien maakten zelfs de beste grote modellen een specifiek type fout: ze identificeerden vaak de juiste gedachte, maar kregen de exacte grenzen van de frase er net naast, een probleem dat bekend staat als 'boundary drift' (grensafwijking).

Misschien wel de belangrijkste ontdekking was dat geen enkele methode het probleem volledig oploste. Hoewel de grote taalmodellen de sterkste waren in algemene zin, faalden zij nog steeds in het volledig reconstrueren van de volledige causale structuur van een lang document in ongeveer de helft van de gevallen. De onderzoeker merkte op dat alle drie de benaderingen moeite hadden met causale ketens waarbij een tussenliggende gebeurtenis niet expliciet als oorzaak of gevolg werd gelabeld, wat suggereert dat de huidige manier waarop deze taken worden gedefinieerd te simpel is voor de complexiteit van echte narratieven. De studie toonde ook aan dat hoewel de grote modellen robuust genoeg waren om een verschuiving van het ene onderwerp naar het andere aan te kunnen, zoals de overgang van medische teksten naar veiligheidsrapporten, zij nog steeds een aanzienlijk verlies aan nauwkeurigheid leden ten opzichte van hun prestaties in hun eigen domein.

Het uiteindelijke beeld is er een van complementaire sterktes in plaats van een duidelijke winnaar. De onderzoeker concludeerde dat de keuze van de methode volledig afhangt van de specifieke behoeften van de toepassing. Als een systeem duizenden rapporten snel moet verwerken en de oorzaken meestal duidelijk zijn, is een eenvoudig regelgebaseerd systeem of een standaard neuraal netwerk wellicht de meest praktische keuze. Maar als het doel is om complexe, verborgen relaties in diverse en moeilijke teksten te begrijpen, zijn de grote taalmodellen de extra kosten waard, mits hun beperkingen worden beheerd. De studie suggereert dat de toekomst van dit veld niet ligt in het wachten tot één technologie de anderen verslaat, maar in het bouwen van hybride systemen die de snelheid en precisie van regels combineren met het redeneervermogen van grote modellen. Door te erkennen dat elke benadering blinde vlekken heeft, kunnen onderzoekers nu toe naar het bouwen van tools die werkelijk in staat zijn om het volledige verhaal van oorza en gevolg te begrijpen.