Large Language Models Readability Classification: A Variability Analysis of Sources and Metrics

Deze studie toont aan dat de leesbaarheid van gezondheidsinformatie gegenereerd door grote taalmodellen aanzienlijk varieert afhankelijk van het gekozen systeem en de leesbaarheidsmetriek, wat impliceert dat transparante, taalbewuste evaluatieprotocollen essentieel zijn voor toegankelijke cross-linguale communicatie.

De kern

De Kernboodschap: Zelfs slimme robots praten niet allemaal even makkelijk

Stel je voor dat je een heel belangrijke medische vraag stelt, bijvoorbeeld over gehoorverlies. Je wilt een antwoord dat niet alleen waar is, maar ook begrijpelijk voor een gemiddelde mens. Je vraagt dit aan zeven verschillende, super-slimme kunstmatige intelligenties (zoals ChatGPT, Claude, Gemini, etc.).

Dit onderzoek kijkt naar twee verrassende dingen:

1. De robots zijn niet allemaal even goed in 'simpel praten'.
2. De meetlat om te zien hoe 'simpel' iets is, werkt ook niet altijd hetzelfde.

---

1. De Robots en de "Wikipedia-Bril"

De situatie:
De onderzoekers gaven de robots twee taken.

• Taak A (De basis): "Vertel me wat je weet over gehoorverlies."
• Taak B (Met Wikipedia): "Vertel me wat je weet over gehoorverlies, maar kijk eerst in Wikipedia voor de feiten."

Het resultaat (De vergelijking):

• Zonder Wikipedia: Alle robots praten ongeveer even makkelijk. Het is alsof ze allemaal een standaard uniform dragen. Ze zijn allemaal redelijk begrijpelijk.
• Met Wikipedia: Zodra ze de instructie kregen om naar Wikipedia te kijken, ging het mis. De robots werden heel verschillend.
  • Sommige robots (zoals een bepaalde versie van ChatGPT) bleven heel simpel praten, alsof ze de moeilijke woorden uit Wikipedia eruit haalden.
  • Andere robots (zoals een bepaalde versie van Copilot) begonnen te klinken als een professor die net een boek heeft gelezen. Ze gebruikten heel moeilijke woorden en zinnen, zelfs als ze dezelfde informatie uit Wikipedia haalden.

De les:
Het is alsof je zeven verschillende koks dezelfde ingrediënten (Wikipedia) geeft om een soep te maken.

• De ene kok maakt een romige, lichte soep die iedereen kan drinken.
• De andere kok maakt een soep met hele grote, harde stukken groente die je niet kunt kauwen.
• Conclusie: Het feit dat een robot "gebaseerd is op feiten" (Wikipedia) betekent niet automatisch dat het antwoord voor een patiënt makkelijk te begrijpen is. Soms maakt het juist moeilijker!

---

2. De Meetlat is Verwarrend

De onderzoekers gebruikten vijf verschillende "meetlatten" (wiskundige formules) om te zien hoe moeilijk een tekst is. Denk aan deze meetlatten als vijf verschillende weegschalen.

• Meetlat 1 (FRE): Kijkt naar zinslengte en woordlengte.
• Meetlat 2 (SMOG): Telt woorden met veel lettergrepen.
• Meetlat 3, 4, 5: Kijken naar andere dingen, zoals het aantal letters per woord.

Het probleem:
Als je dezelfde tekst op deze vijf schalen legt, geven ze verschillende resultaten.

• Schaal 1 zegt: "Dit is makkelijk, een 10-jarige kan dit lezen."
• Schaal 2 zegt: "Dit is erg moeilijk, dit is voor een doctorandus."

De les:
Je kunt niet zomaar één meetlat kiezen en zeggen: "Oké, dit is de waarheid." Het is alsof je je gewicht meet op een schaal die je in de badkamer hebt, en dan op een schaal in de sportschool. Ze geven verschillende getallen. Als je wilt weten of een medisch advies goed is, moet je alle vijf de schalen gebruiken, niet alleen één.

---

Waarom is dit belangrijk voor jou?

Stel je voor dat je een medisch advies krijgt van een app of een chatbot.

• Als de app te moeilijk is (te veel moeilijke woorden), begrijp je het niet. Je gaat dan misschien niet naar de dokter, terwijl je dat wel moet doen.
• Als de app te makkelijk is, maar onjuist, is het ook gevaarlijk.

Deze studie zegt: "Pas op!"
Zelfs als we zorgen dat de informatie waar is (door Wikipedia te gebruiken), kunnen we per ongeluk zorgen dat de informatie onbegrijpelijk wordt. En omdat elke robot (LLM) anders werkt, moet je voor elke nieuwe robot opnieuw controleren of de taal nog wel begrijpelijk is.

Samenvattend in één zin:

Het is niet genoeg om te vragen of een robot het antwoord kent; je moet ook controleren of de robot het antwoord uitlegt in een taal die jij kunt begrijpen, want elke robot doet dat op zijn eigen, soms heel moeilijke, manier.

Technische samenvatting

Titel: Classificatie van leesbaarheid door Large Language Models: Een variabiliteitsanalyse van bronnen en metrics

Auteurs: Hector Gabriel Corrale de Matos et al.
Publicatie: MedRxiv preprint (2026)

---

1. Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker worden ingezet in de gezondheidszorg (bijvoorbeeld voor informatie over gehoorverlies), wordt de focus voornamelijk gelegd op de feitelijke juistheid (vermijden van "hallucinaties"). Een cruciaal aspect van bruikbaarheid, de taalkundige toegankelijkheid (leesbaarheid) voor patiënten, blijft vaak onderbelicht.

De kernvraag van deze studie is: Is de leesbaarheid van door LLM's gegenereerde gezondheidsinformatie consistent, of varieert deze significant afhankelijk van het gekozen model en de gebruikte meetmethode?
Specifiek wordt onderzocht of het gebruik van Retrieval-Augmented Generation (RAG) – waarbij modellen worden gedwongen om informatie te baseren op een geverifieerde bron (Wikipedia) – de leesbaarheid verbetert of juist introduceert variabiliteit die de toegankelijkheid voor patiënten in gevaar brengt.

2. Methodologie

De studie is een cross-sectioneel onderzoek dat de leesbaarheid analyseert van tekst gegenereerd door zeven verschillende LLM-systemen in twee talen (Engels en Portugees).

• Datacollectie:

  • Bron: Prompten waren gebaseerd op WHO-richtlijnen voor gehoorapparaten in laag- en middeninkomenslanden.
  • Twee condities:
    1. Baseline: Genereer antwoord uitsluitend op basis van het vooraf getrainde kennisbestand.
    2. Wikipedia-geground (Grounded): Genereer antwoord door informatie te integreren uit Wikipedia-artikelen (via prompt-instructie).
  • LLM's: Zeven systemen, waaronder GPT-4o, DeepSeek-R1, Claude-3.7, Gemini-2.0, Mistral, Maritaca-10B (Braziliaans model) en Microsoft Copilot.
  • Dataset: 224 unieke teksten (112 Engels, 112 Portugees) × 7 modellen × 2 condities = 1120 datapunten.

• Leesbaarheidsmetrics:
  Vijf standaard metrics werden gebruikt om de complexiteit te meten:

  1. Flesch Reading Ease (FRE)
  2. Flesch-Kincaid Grade Level (FKG)
  3. Simple Measure of Gobbledygook (SMOG)
  4. Automated Readability Index (ARI)
  5. Coleman-Liau Index (CLI)
     Deze metrics werden binair gecategoriseerd: 'Upper' (laag complexiteit, hoge leesbaarheid) vs. 'Lower' (hoog complexiteit, lage leesbaarheid).

• Statistische Analyse:

  • Gebruik van de G-test (likelihood-ratio test) om homogeniteit te toetsen.
  • Hypothese H1: Variatie in classificatie tussen verschillende LLM-modellen.
  • Hypothese H2: Variatie in classificatie tussen de verschillende leesbaarheidsmetrics.
  • Post-hoc analyse met gestandaardiseerde residuen om afwijkende modellen/metrics te identificeren.

3. Belangrijkste Resultaten

A. Variabiliteit tussen Modellen (H1)

• Baseline: In de basisconditie (zonder externe bron) waren de leesbaarheidsclassificaties statistisch homogeen over de zeven modellen heen voor zowel Engels als Portugees. De modellen produceerden over het algemeen vergelijkbare complexiteitsniveaus.
• Wikipedia-geground: Zodra de modellen werden gedwongen om Wikipedia-informatie te integreren, ontstond er significante heterogeniteit.
  • Voorbeeld (Engels): GPT produceerde 50% 'Upper' (makkelijk leesbaar), terwijl Claude 92,5% 'Lower' (moeilijk leesbaar) genereerde.
  • Voorbeeld (Portugees): Copilot produceerde 97,5% 'Lower', terwijl Gemini 32,5% 'Upper' genereerde.
• Conclusie: Dezelfde instructie om een geverifieerde bron te gebruiken leidt tot verschillende leesbaarheidsuitkomsten, afhankelijk van de modelarchitectuur. Dit fenomeen wordt "integratievariabiliteit" genoemd.

B. Variabiliteit tussen Metrics (H2)

• Alle vijf leesbaarheidsmetrics toonden significante heterogeniteit in hun classificaties, ongeacht de taal of conditie.
• Metrics die gebaseerd zijn op lettergrepen (zoals SMOG) classificeerden teksten vaak anders dan metrics die gebaseerd zijn op karakters (zoals CLI).
• Conclusie: Leesbaarheidsmetrics zijn niet uitwisselbaar. De keuze van de metric bepaalt mede of een tekst als "leesbaar" wordt bestempeld, wat een significante bron van systematische bias introduceert.

4. Kernbijdragen en Innovatie

1. Trade-off tussen Verifieerbaarheid en Toegankelijkheid: De studie toont aan dat het gebruik van RAG (bron-grounding) om de feitelijke juistheid te verhogen, onbedoeld de leesbaarheid kan verlagen en de consistentie tussen modellen kan destabiliseren.
2. Integratievariabiliteit: Een nieuw concept dat beschrijft hoe verschillende LLM-architecturen dezelfde externe kennisbron op verschillende manieren verwerken, wat leidt tot uiteenlopende taalkundige complexiteit.
3. Methodologische Waarschuwing: Het bewijs dat het gebruik van één enkele leesbaarheidsmetric onvoldoende is voor evaluatie; een "battery" van metrics is noodzakelijk om bias te voorkomen.
4. Taal- en Modelonafhankelijkheid: De bevindingen zijn consistent in zowel Engels als Portugees, wat suggereert dat dit een fundamenteel probleem is in de huidige generatieve AI-architecturen.

5. Betekenis en Implicaties

• Gezondheidsrechtvaardigheid: In gebieden met lage gezondheidsgeletterdheid (zoals veel ontwikkelingslanden) kan onleesbare informatie, zelfs als deze feitelijk correct is, leiden tot uitgestelde zorg en slechtere gezondheidsuitkomsten.
• Beleid en Governance: Evaluatieprotocollen voor gezondheids-LLM's moeten transparante, leveranciersonafhankelijke criteria hanteren. Het is niet voldoende om alleen op "feitelijke juistheid" te testen; leesbaarheid moet systematisch worden geauditeerd, vooral bij het introduceren van bron-grounding.
• Toekomstig Onderzoek: Er is behoefte aan longitudinale studies en validatie in echte klinische settingen. Ook moet worden onderzocht of deze variabiliteit zich voordoet bij geautomatiseerde RAG-systemen (in plaats van prompt-based) en in andere medische domeinen.

Samenvattend: Deze studie waarschuwt dat het vertrouwen op LLM's voor gezondheidsinformatie niet alleen draait om het vermijden van hallucinaties, maar ook om het garanderen van toegankelijkheid. Zonder gestandaardiseerde evaluatie van leesbaarheid kunnen nieuwe technologieën onbedoeld de kloof in gezondheidszorgverdeling vergroten.