Technische Samenvatting: BeDiscovER

Probleemstelling

Hoewel Large Language Models (LLM's) opmerkelijke capaciteiten hebben getoond in redeneren over wiskunde, coderen en algemeen zinvolle taken, blijft hun vermogen om discourskennis te verwerken en te begrijpen — de wisselwerking tussen zinnen en informatie in lange contexten — een openstaande vraag. Eerdere evaluaties van discoursbegrip waren gefragmenteerd, waarbij gebruik werd gemaakt van uiteenlopende modellen, metrieken (bijv. probing, prompting, acceptabiliteitsoordeel) en nauw gedefinieerde taken (bijv. specifieke theoretische kaders zoals PDTB of SDRT, of specifieke domeinen). Deze fragmentatie verhindert een holistische beoordeling van hoe state-of-the-art redeneermodellen omgaan met discoursfenomenen, variërend van lexicale deeltjes tot documentcoherentie. Bovendien missen bestaande benchmarks vaak dekking voor nieuwe uitdagingen, zoals de disambiguatie van polyfunctionele discoursdeeltjes, of falen ze in het verenigen van meertalige en multi-framework perspectieven.

Methodologie

De auteurs introduceren BeDiscovER (Benchmark of Discourse Understanding in the Era of Reasoning Language Models), een uitgebreide evaluatiesuite ontworpen om het discoursniveau-begrip te beoordelen over drie hiërarchische niveaus: Lexicon, (Multi-)Zinnen, en Document.

Samenstelling van de Benchmark

BeDiscovER aggregeert 52 publiekelijk beschikbare datasets (totaal ~30.000 testinstanties) verspreid over 16 talen en 6 theoretische kaders. De benchmark is georganiseerd in vijf kerntaken:

1. Begrip van Discoursmarkeerders: Evalueert de gevoeligheid voor polyfunctionele deeltjes (bijv. "just", "otherwise") met behulp van nieuw gecureerde datasets (Just-Manual, Just-Subtitle, Otherwise).
2. Temporeel Redeneren: Test event-event redeneren over aangrenzende en verre zinnen, inclusief rekenkundige temporele inferentie (TimeBank-Dense, TDDiscourse, Test-of-Time).
3. Herkenning van Discoursrelaties: Maakt gebruik van de DISRPT 2025 shared task data, die meer dan 300 relatietypes verenigt in 17 categorieën over 38 datasets en meerdere kaders (PDTB, RST, SDRT, etc.).
4. Zinsordening: Beoordeelt het vermogen om coherente tekst te reconstrueren uit door elkaar gehusselde zinnen binnen wetenschappelijke abstracts en narratieve verhalen (bijv. AAN, ROC Stories, Wiki Movie Plots).
5. Dialoog-discoursparsing: Richt zich op het construeren van discoursstructuren (SDRT-stijl) voor multi-party dialogen (STAC, Molweni, MSDC).

Evaluatieprotocol

De auteurs evalueren een suite van redeneringsgerichte LLM's (Qwen3-serie, DeepSeek-R1, GPT-5-mini) naast non-redenerende baselines (GPT-4o-mini, LLaMA-4-Scout, Qwen2.5-72B).

• Prompting Strategie: Alle taken worden gegoten in een verenigd open einde Vraag en Antwoord (QA) formaat. Voor classificatietaken worden de labelsets expliciet in de system prompt meegegeven.
• Redeneerinspanning: De studie maakt onderscheid tussen "denken" (hoge redeneerinspanning) en "niet-denken" (lage redeneerinspanning) modi voor modellen die dit ondersteunen.
• Metrieken: Prestaties worden primair gemeten via accuratesse of micro-F1 scores. De auteurs analyseren ook de correlatie tussen subtaakprestaties en de overlap van onderliggende typen discourskennis (lexicaal, temporeel, retorisch, etc.).

Belangrijkste Resultaten

De evaluatie onthult duidelijke sterktes en zwaktes in huidige redeneermodellen:

• Temporeel Redeneren: Modellen vertonen sterke prestaties in rekenkundige temporele redenering (bijv. Test-of-Time), waarbij redeneren lijkt op wiskundige berekening. Ze worstelen echter met redeneren met lange afhankelijkheden en logische temporele inferentie in volledige documenten (bijv. TimeBank-Dense, TDDiscourse), waarbij ze vaak onderpresteren vergeleken met gesuperviseerde baselines die zijn getraind op kleinere modellen.
• Discoursrelaties: Hoewel redeneermodellen hun non-redenerende tegenhangers overtreffen, blijven ze nog steeds aanzienlijk achter (met ~20 punten) bij de classificatie van retorische relaties vergeleken met gesuperviseerde systemen. De prestaties variëren per framework, waarbij nieuwere frameworks (eRST) lagere scores opleveren, waarschijnlijk door beperkte blootstelling in de pretraining-data.
• Discoursmarkeerders: Het bieden van rijkere context (definities en voorbeelden) verbetert over het algemeen de prestaties voor grote redeneermodellen (>32B), wat suggereert dat ze profiteren van in-context leren. Echter, overmatige context kan de prestaties voor kleinere modellen verslechteren.
• Documentstructuur: Grotere modellen vertonen een duidelijke schalingstrend in zinsordening en dialoogparsing, waarbij ze concurrerende resultaten behalen op narratieve coherentietaken, hoewel volledige structuurvoorspelling in dialoogparsing een bottleneck blijft.
• Redeneerinspanning: Verhoogde redeneerinspanning (langere "thinking" traces) verbetert consistent de prestaties op rekenkundige temporele taken, maar garandeert geen betere uitkomsten op andere taken; in sommige gevallen leidt het tot verbositeit zonder verbeterde accuratesse.

Belangrijkste Bijdragen

1. Verenigde Benchmark: BeDiscovER is de eerste uitgebreide benchmark die discoursbegrip evalueert over lexicale, zins- en documentniveaus, met dekking van 52 datasets en meerdere frameworks.
2. Nieuwe Taken: Het introduceert evaluaties voor de disambiguatie van discoursdeeltjes en aggregeert de meertalige/multi-framework DISRPT 2025 relatieclassificatietaak.
3. Empirische Analyse: Het artikel biedt een gedetailleerde analyse van hoe redeneerinspanning, modelgrootte en kennisoverlap de prestaties beïnvloeden, waarbij wordt vastgesteld dat huidige modellen uitblinken in data-rijke, rekenkundig-achtige redenering maar worstelen met subtiele semantische fenomenen en langetermijn-afhankelijkheden.
4. Open Bronnen: De auteurs stellen een verenigde evaluatiepipeline beschikbaar om toekomstige beoordelingen en continu benchmarken te faciliteren.

Betekenis en Claims

De auteurs positioneren BeDiscovER als een noodzakelijk instrument om de specifieke beperkingen van redeneringsgerichte LLM's in discoursbegrip te diagnosticeren. Zij beweren dat hoewel state-of-the-art modellen aanzienlijke redeneercapaciteiten vertonen, deze sterktes vaak geconcentreerd zijn in fenomenen die goed vertegenwoordigd zijn in de trainingsdata (bijv. frequente deeltjes, rekenkundige logica). De benchmark benadrukt hardnekkige tekortkomingen in logische temporele redenering, retorische relatieclassificatie en coherentie in lange contexten.

Het artikel concludeert dat BeDiscovER dient als baseline voor toekomstig onderzoek, en suggereert dat het verbeteren van discoursbewuste LLM's vereist dat de transfer van abstracte redeneervaardigheden wordt aangepakt en mogelijk het gebruik van hoogwaardige redeneertraces in pre- en post-training strategieën. De auteurs merken expliciet op dat BeDiscovER momenteel discourskennis (antwoordcorrectheid) beoordeelt in plaats van direct de kwaliteit van het redeneren, en erkennen dit als een beperking voor toekomstig werk.