💬 NLP

Towards Empowering Consumers through Sentence-level Readability Scoring in German ESG Reports

Dit onderzoek breidt een bestaande dataset van Duitse ESG-rapporten uit met crowdsourced leesbaarheidsannotaties en concludeert dat een klein, fijngetuned transformer-model menselijke leesbaarheidsperceptie het nauwkeurigst voorspelt, hoewel het subjectieve karakter van leesbaarheid en de potentie van LLM-prompting ook worden erkend.

Oorspronkelijke auteurs: Benjamin Josef Schüßler, Jakob Prange

Gepubliceerd 2026-04-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Benjamin Josef Schüßler, Jakob Prange

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De "Leesbaarheidstest" voor Groene Bankverklaringen

Stel je voor dat je een nieuwe bank wilt kiezen. Je wilt weten: is deze bank echt groen en duurzaam, of is het alleen maar "groenwassen" (een mooie verpakking voor een leeg product)? Om dit te weten, kijken consumenten naar de ESG-rapporten van banken. Dit zijn dikke, vaak saaie documenten vol met cijfers en juridisch taalgebruik over milieu, sociale zaken en bestuur.

Het probleem? Deze rapporten zijn vaak zo moeilijk te lezen dat een gemiddelde mens ze niet begrijpt. Het is alsof je een recept in een vreemde taal probeert te lezen terwijl je hongerig bent. Je wilt weten of je de bank kunt vertrouwen, maar de taal is een muur.

De auteurs van dit paper (Benjamin en Jakob) wilden een oplossing vinden. Ze vroegen zich af: "Kunnen we een computerprogramma bouwen dat deze zinnen controleert en zegt: 'Dit is makkelijk te lezen' of 'Dit is onbegrijpelijk'?"

Hier is hoe ze dat aanpakken, vertaald naar alledaags taalgebruik:

1. De Proefpersonen: De "Gemiddelde Jantje"

In plaats van experts (zoals economen) te vragen, vroegen ze "gewone mensen" (native sprekers van het Duits) om de zinnen te beoordelen.

Het experiment: Ze gaven mensen zinnen uit deze rapporten en vroegen: "Hoe goed begrijp jij deze zin?"
De verrassing: De meeste mensen vonden de zinnen eigenlijk best wel begrijpelijk! Maar... er was een groot verschil tussen mensen. Wat voor de één makkelijk was, was voor de ander onduidelijk. Lezen is dus subjectief, net als smaken in eten.

2. De Drie Kampioenen: Wie kan het beste lezen?

De auteurs testten drie verschillende soorten "computers" om te zien wie het beste de leesbaarheid kon voorspellen.

De Oude Man (De Formules):
Dit zijn de klassieke regels uit de schoolboeken. Ze tellen simpelweg: "Hoe lang is de zin? Hoeveel lettergrepen heeft het woord?"
- Analogie: Dit is als een chef die alleen naar de lengte van de ingrediëntenlijst kijkt. "Oh, de lijst is kort, dus het recept moet makkelijk zijn."
- Resultaat: Het werkt redelijk, maar mist de nuance.
De Slimme Student (De "Witdoos"-Model):
Dit is een klein computerprogramma dat specifiek is getraind om naar de grammatica te kijken. Het let op dingen als: "Is er een lijdende vorm gebruikt?" (bijv. "Het werd gedaan" in plaats van "Ik deed het") of "Zit er een ingewikkelde bijzin in?"
- Analogie: Dit is een taalkundige die de zinsbouw analyseert. Hij kijkt niet alleen naar de lengte, maar naar de structuur van het gebouwtje.
- Resultaat: Dit was de winnaar in termen van nauwkeurigheid. Het voorspelde het beste wat een mens zou vinden, en was bovendien snel en transparant.
De Super-Intelligente AI (De "Zwarte Doos" LLM's):
Dit zijn de grote, moderne AI-modellen (zoals Qwen of Llama) die alles weten.
- Analogie: Dit is een genie dat miljoenen boeken heeft gelezen. Het kan een zin lezen en zeggen: "Dit voelt als een moeilijke zin."
- Resultaat: Het was heel goed in het onderscheiden van makkelijke en moeilijke zinnen (het kon de rangorde goed zetten), maar het gaf vaak de verkeerde cijfers (het zei bijvoorbeeld dat iets een 2 was, terwijl mensen een 4 zeiden). Het was ook traag en duur om te draaien.

3. De Grote Les: Kleiner is soms beter

Het meest interessante resultaat is dit: Je hebt geen supercomputer nodig om te weten of een zin makkelijk te lezen is.

Een klein, specifiek getraind model (de "Slimme Student") deed het beter dan de enorme AI-modellen. Het was sneller, goedkoper en je kon precies zien waarom het een zin als moeilijk bestempelde (bijvoorbeeld: "Omdat er een passieve vorm in staat").

Waarom is dit belangrijk voor jou?

Stel je een app voor die je helpt bij het kiezen van een duurzame bank.

Je typt de naam van de bank.
De app haalt de ESG-rapporten op.
Het leesbaarheidssysteem (onze "Slimme Student") scant de zinnen.
Het resultaat: De app zegt: "Deze bank gebruikt veel moeilijke, onduidelijke zinnen. Wees voorzichtig, ze verbergen misschien iets." Of: "Deze bank schrijft helder en transparant. Dat is een goed teken."

Dit stelt consumenten in staat om slimme keuzes te maken, zonder dat ze zelf een taalkundige of econoom hoeven te zijn. Het maakt de wereld van duurzaamheid toegankelijker voor iedereen.

Kortom: De auteurs hebben bewezen dat we met slimme, kleine hulpmiddelen de "taalbarrière" in duurzaamheidsrapporten kunnen doorbreken, zodat consumenten eindelijk kunnen zien wat er echt gebeurt.

Probleemstelling

Met de toenemende urgentie van duurzaamheid in economie en maatschappij, geproduceerd door een enorme stroom aan informatie, hebben consumenten betrouwbare toegang nodig tot ESG-rapporten (Environmental, Social, and Governance). Hoewel deze rapporten vaak wettelijk verplicht zijn, zijn ze vaak te complex voor niet-experts (zoals consumenten die een duurzame bank of energieleverancier kiezen). Bestaande rapporten richten zich vaak op financiële experts, terwijl de "Empowering Consumers Directive" van de EU vereist dat informatie voor consumenten duidelijk, relevant en betrouwbaar is.

De kernvraag is: Zijn deze rapporten duidelijk genoeg geschreven voor de gemiddelde leek?
Er is een gebrek aan systemen die de leesbaarheid op zinsniveau kunnen beoordelen in het Duits, specifiek binnen de ESG-domein. Bestaande methoden (zoals de Flesch-Reading-Ease) zijn vaak gericht op documentniveaus, werken op het Engels, of zijn niet specifiek getraind op de complexiteit van zakelijke duurzaamheidsrapporten.

Methodologie

De auteurs hebben een uitgebreide studie uitgevoerd die bestaat uit drie hoofdfasen: dataverzameling, annotatie en modelontwikkeling.

1. Dataset en Annotatie:

Bron: Het paper gebruikt een dataset van korte uittreksels uit het Deutscher Nachhaltigkeitskodex (Duitse Duurzaamheidscodes), specifiek van de SustainEval shared task.
Structuur: Elke datapunt bestaat uit vier opeenvolgende zinnen in het Duits, waarbij de laatste zin het doel is voor annotatie en de voorgaande drie dienen als context.
Crowdsourcing: De auteurs hebben de dataset uitgebreid met leesbaarheidsannotaties van "laypeople" (niet-experts). Annotatoren (moedertaalsprekers) beoordeelden hoe goed ze de doelzin begrepen op een Likert-schaal van 1 (niet begrijpelijk) tot 4 (zeer duidelijk).
Data-eigenschappen: De dataset toont een sterke scheefheid (class imbalance) naar zeer leesbare zinnen (meer dan 2/3 kreeg een score van 4), wat een uitdaging vormt voor het trainen van modellen.

2. Modelbenaderingen:
De auteurs vergelijken drie categorieën van modellen om zinsniveau-leesbaarheid te voorspellen:

A. Witte-bak modellen (Whitebox / Syntactische Features):
- Een feed-forward neurale netwerk dat is getraind op handmatig geëxtraheerde syntactische kenmerken.
- Kenmerken: POS-tag n-grams (bigrams en trigrams), diepte van de dependency tree, gemiddelde dependency-afstand, het POS-tag van de wortel, passieve constructies en het voorkomen van bijzinnen.
- Doel: Transparantie en interpretabiliteit.
B. Baselines:
- Zinslengte: Een simpele lineaire regressie op het aantal woorden.
- Leesbaarheidsformules: Een XGBoost-model dat is getraind op scores van traditionele formules (Flesch-Amstad, HKPS, Gunning Fox, Vienna Educational Text Formula, LIX), aangepast voor het Duits.
C. Zwarte-bak modellen (Blackbox / LLMs):
- Finetuned Transformer: Een XLM-RoBERTa encoder (base en large variant) die specifiek is gefinetuned voor de regressietaken.
- Generatieve LLMs: Instruction-tuned modellen (Qwen 3, Gemma 3, Llama 3) die via prompting (met één voorbeeld, "one-shot") worden gevraagd de leesbaarheid te classificeren.

3. Evaluatiemetrics:

MSE (Mean Squared Error) & MAE (Mean Absolute Error): Om de nauwkeurigheid van de voorspelde scores ten opzichte van menselijke scores te meten.
Kendall $\tau$ : Om te meten hoe goed het model de rangorde van zinnen kan onderscheiden (d.w.z. welke zinnen moeilijker zijn dan andere), zelfs als de absolute scores niet perfect kloppen.

Belangrijkste Resultaten

Menselijke Perceptie: Over het algemeen worden zinnen in Duitse ESG-rapporten door moedertaalsprekers als vrij makkelijk te lezen ervaren (gemiddelde score > 3.5). Echter, er is aanzienlijke subjectiviteit in de beoordelingen.
Prestatie van Modellen:
- Beste Algemene Prestatie: Een klein, specifiek gefinetuned transformer-model (XLM-RoBERTa base) presteert het beste qua voorspellingsfout (laagste MSE en MAE). Het leert de specifieke domein-kenmerken van ESG-rapporten effectief.
- LLM's: Generatieve LLMs (zoals Qwen) zijn uitstekend in het onderscheiden van makkelijke van moeilijke zinnen (hoge Kendall $\tau$ correlatie), maar presteren slecht in het voorspellen van de exacte numerieke score die overeenkomt met menselijke beoordelingen (hoge MSE). Ze neigen naar systematische bias (vaak lagere scores dan mensen).
- Witte-bak vs. Blackbox: Het syntactische model presteert vergelijkbaar met de traditionele formules, maar is minder nauwkeurig dan de gefinetuned transformer. De transparantie van het witte-bak model is echter een voordeel voor interpretatie.
- Zinslengte: Zinslengte alleen is een slechte predictor voor leesbaarheid in dit domein.
Feature Importance (Ablatiestudie):
- Trigrams (POS-tag sequenties van drie woorden) bleken het meest invloedrijke kenmerk voor de syntactische modellen.
- Passieve constructies en de diepte van de zinsstructuur zijn ook belangrijke factoren.
- Interessant genoeg leek het verwijderen van bigrams de prestaties licht te verbeteren, wat suggereert dat de informatie daar al in de trigrams zit of dat de compressie van de vector hierbij helpt.
Ensembles: Het middelen van voorspellingen van meerdere modellen (bijv. Syntax + XLM-RoBERTa) leidt tot een marginale verbetering in prestaties, maar ten koste van een langzamere inferentie.

Bijdragen

Dataset: Uitbreiding van een bestaande dataset met crowdsourced leesbaarheidsannotaties voor Duitse ESG-rapporten op zinsniveau.
Analyse: Een diepgaande analyse van de leesbaarheid van ESG-rapporten, waarbij wordt aangetoond dat deze over het algemeen goed leesbaar zijn voor leken, maar met subjectieve variatie.
Modelvergelijking: Een systematische vergelijking van witte-bak (syntactisch), traditionele formules, gefinetuned transformers en generatieve LLMs.
Inzicht: Het aantonen dat kleine, gespecialiseerde modellen vaak beter presteren dan grote LLMs voor specifieke regressietaken, terwijl LLMs wel sterk zijn in rangschikking.

Significantie en Toekomstperspectief

Dit werk is significant voor de consumentenbescherming en duurzaamheid. Door automatische systemen te ontwikkelen die de leesbaarheid van ESG-rapporten kunnen scannen, kunnen:

Retrieval-Augmented Generation (RAG) systemen worden verbeterd om alleen duidelijke zinnen aan consumenten te tonen.
Onduidelijke zinnen automatisch worden gemarkeerd voor vereenvoudiging.
Transparantie worden vergroot, wat bijdraagt aan de "Empowering Consumers Directive" van de EU.

De auteurs concluderen dat hoewel LLMs potentie hebben, een klein, gespecialiseerd model (XLM-RoBERTa) de beste balans biedt tussen nauwkeurigheid en snelheid voor het voorspellen van menselijke leesbaarheid. Toekomstig werk zou zich kunnen richten op personalisatie van leesbaarheid (per gebruiker) en het oplossen van de class imbalance in de data.