Making Knowledge Accessible: Divergent Readability-Accuracy Strategies of Mistral and QWen in Biomedical Text Simplification

Dit artikel vergelijkt empirisch instructie-gefineerde Mistral-Small 3 en redenerings-versterkte QWen2.5 op het gebied van biomedische tekstvereenvoudiging en onthult dat, hoewel beide modellen de leesbaarheid verbeteren, Mistral een superieur evenwicht bereikt met menselijke discoursgetrouwheid, terwijl QWen een disconnect vertoont tussen leesbaarheid en nauwkeurigheid.

De kern

Stel je een bibliotheek voor met medische handboeken die zijn geschreven in een geheim, uiterst complex code. Deze boeken bevatten levensreddende informatie, maar ze zijn zo moeilijk te lezen dat de gemiddelde mens geen enkele zin kan begrijpen. Het doel van deze studie was om te onderzoeken of twee verschillende "AI-vertalers" deze boeken konden decoderen naar gewoon Nederlands zonder de belangrijke feiten te verliezen.

De onderzoekers testten twee specifieke AI-modellen:

1. Mistral: Een model dat is afgestemd om instructies zeer nauwkeurig op te volgen.
2. Qwen: Een model dat is ontworpen om "harder na te denken" en complexe problemen te doorgronden.

Ze vroegen deze AI's om 750 moeilijke medische samenvattingen te herschrijven in eenvoudige taal, en vergeleken vervolgens de resultaten met wat menselijke experts hadden gedaan. Hier is wat ze vonden, gebruikmakend van alledaagse analogieën:

De "Vertaler"-Showdown

Stel je de taak voor als het vertalen van een dichte, technische juridische overeenkomst naar een vriendelijke brief. Je moet de betekenis exact hetzelfde houden, maar het leesbaar maken.

1. Mistral: De Voorzichtige Redacteur
Mistral gedroeg zich als een conservatieve redacteur. Het nam de complexe medische tekst en verving grote, angstaanjagende woorden door eenvoudigere, maar het was zeer voorzichtig om het verhaal niet te veranderen.

• Het Resultaat: Het leverde tekst op die makkelijk te lezen was en, cruciaal, trouw bleef aan de oorspronkelijke betekenis. Zijn "trouw" (hoe goed het de feiten behield) was bijna identiek aan wat een menselijke expert zou produceren.
• De Strategie: Het vervangde vooral jargon door gewone woorden en hield de zinsstructuur grotendeels hetzelfde. Het probeerde geen nieuwe ideeën toe te voegen of dingen te veel uit te leggen; het maakte de bestaande tekst gewoon duidelijker.

2. Qwen: De Oververklarer
Qwen gedroeg zich als een enthousiaste leraar die wil dat je alles begrijpt. Het verving niet alleen woorden; het probeerde concepten uit te breiden, uitleg toe te voegen en dingen verder op te splitsen.

• Het Resultaat: Hoewel de tekst die het produceerde zeer makkelijk te lezen was (soms zelfs makkelijker dan die van Mistral), verloor het af en toe de draad van de oorspronkelijke betekenis. Het was als een leraar die een concept zo goed uitlegt dat hij per ongeluk een klein beetje van zijn eigen mening toevoegt of een klein detail uit de oorspronkelijke tekst mist.
• De Strategie: Het nam meer risico's. Het probeerde door de tekst heen te "redeneren", wat leidde tot enkele creatieve vereenvoudigingen, maar ook tot enige feitelijke afwijking.

Het "Scorebord"

De onderzoekers gebruikten een scorebord om de AI's te beoordelen:

• Leesbaarheid: Beide AI's deden een uitstekende baan om de tekst makkelijker te lezen. Sterker nog, ze waren vaak beter in het maken van de tekst "kort en krachtig" dan de mensen.
• Nauwkeurigheid: Hier verschilden ze. Mistral hield de feiten 91% van de tijd veilig (overeenkomend met menselijke experts). Qwen hield de feiten 89% van de tijd veilig. Dat 2% verschil klinkt misschien klein, maar in de wereld van medische informatie betekent het dat Qwen iets waarschijnlijker per ongeluk een feit zou veranderen of een cruciaal detail zou laten vallen.

Het "Werkkist"-Probleem

De studie keek ook naar hoe we succes meten. De onderzoekers ontdekten dat veel van de tools die worden gebruikt om leesbaarheid te beoordelen (zoals formules die lettergrepen of zinslengte tellen), eigenlijk hetzelfde meten op iets verschillende manieren. Het is alsof je vijf verschillende linialen hebt die allemaal centimeters meten, maar met iets verschillende markeringen.

Ze ontdekten dat het moeilijkste deel van het vereenvoudigen van medische tekst niet het opbreken van lange zinnen is (syntaxis); het gaat om het hanteren van de gespecialiseerde woordenschat (lexicon).

• Mistral hanteerde de woordenschat door conservatief te zijn: "Als ik niet zeker ben, houd ik het originele woord of vervang ik het zeer voorzichtig."
• Qwen hanteerde de woordenschat door avontuurlijk te zijn: "Ik zal proberen dit woord uit te leggen of een totaal andere manier te vinden om het te zeggen," wat soms leidde tot verwarring.

De Conclusie

Het paper concludeert dat als je wilt dat een AI medische tekst vereenvoudigt zonder de feiten te veranderen, Mistral momenteel de veiligste keuze is. Het gedraagt zich als een betrouwbare vertaler die precies weet wanneer hij moet stoppen en niet te veel moet uitleggen.

Qwen is ook zeer capabel en produceert zeer leesbare tekst, maar zijn "redenerende" stijl maakt hem iets vatbaarder om af te wijken van de oorspronkelijke feiten. De studie suggereert dat voor medische informatie, waar nauwkeurigheid levens of dood betekent, de aanpak van de "voorzichtige redacteur" momenteel superieur is aan de aanpak van de "creatieve uitlegger".

Belangrijke Opmerking: De studie keek alleen naar hoe goed deze modellen tekst op dit moment vereenvoudigden met standaard prompts. Het testte niet hoe deze modellen zouden presteren in een echt ziekenhuis, noch suggereerde het dat ze artsen of menselijke beoordelaars zouden moeten vervangen. Het vergelijkte simpelweg hun vermogen om één specifieke taak te doen: moeilijke medische woorden omzetten in eenvoudige woorden.

Technische samenvatting

Technische Samenvatting: Divergerende Strategieën voor Leesbaarheid en Nauwkeurigheid van Mistral en QWen bij Biomedische Tekstvereenvoudiging

Probleemstelling

Toegang tot begrijpelijke gezondheidsinformatie is cruciaal voor de volksgezondheid en onderbouwde besluitvorming, toch overschrijden biomedische materialen die voor patiënten bestemd zijn, vaak de aanbevolen leesniveaus. Hoewel Large Language Models (LLM's) een schaalbare oplossing bieden voor tekstvereenvoudiging, staan ze voor een aanhoudende afweging: het verbeteren van leesbaarheid gaat vaak ten koste van feitelijke onjuistheden, semantische drift en ongewenste weglatingen. Bestaand onderzoek suggereert dat domeinadaptatie noodzakelijk is voor biomedische tekst, maar de resultaten zijn tegenstrijdig, waarbij sommige studies tonen dat algemene modellen gespecialiseerde modellen overtreffen. Bovendien ontbreekt er een uitgebreid begrip van hoe verschillende LLM-architecturen de spanning tussen het maximaliseren van leesbaarheid en het behoud van discoursgetrouwheid navigeren zonder fine-tuning.

Methodologie

Deze studie vergelijkt empirisch twee middelgrote, algemene LLM's: Mistral-Small 3 24B (instructie-geoptimaliseerd) en Qwen 2.5 32B (redeneringsversterkt) in de taak van biomedische tekstvereenvoudiging.

• Data: De primaire benchmark bestaat uit 750 biomedische abstracts gekoppeld aan door mensen vereenvoudigde teksten. Een secundaire, niet-gecurateerde dataset die Traditionele Chinese Geneeskunde (TCM) en Oncologie bestrijkt, werd gebruikt om robuustheid te testen.
• Systemen: De studie evalueert vier LLM-configuraties (twee modellen × twee temperatuurinstellingen: strikt $T=0.2$ en flexibel $T=0.4$) tegen een benchmark van menselijke experts.
• Prompting: Een gestandaardiseerde zero-shot prompt werd gebruikt, waarbij modellen werden geïnstrueerd om zinsgewijze adaptatie uit te voeren zonder samenvatting. De prompt verbood expliciet inhoudsdistillatie en vereiste dat de modellen zelf de specifieke toegepaste transformatie rapporteerden (bijvoorbeeld jargon vervangen, details weglaten) en de redenering voor elke wijziging.
• Evaluatie: Een uitgebreide suite van 21 metrieken werd gebruikt, gecategoriseerd als:
  • Leesbaarheid: Dale-Chall, Gunning Fog, FKGL, SMOG, ARI, Flesch Reading Ease en SARI.
  • Nauwkeurigheid/Discoursgetrouwheid: BERTScore, Semantische Similariteit (LLM-embeddings), ROUGE-L, SacreBLEU, LDA-topics, woordenschatmatching en het aandeel moeilijke woorden.
  • Veiligheid: Classificatie van toxiciteit.
• Analyse: Statistische vergelijkingen (Welch's t-toets) werden uitgevoerd, samen met correlatieanalyses en Principal Component Analysis (PCA) regressie om de relaties tussen leesbaarheids- en nauwkeurigheidsmetrieken te onderzoeken.

Belangrijkste Resultaten

1. Systeemprestaties en SARI-scores

Beide modellen presteerden beter dan eerdere encoder-decoder baselines (T5, BART). Mistral toonde superieure prestaties met SARI-scores van 42,46 (flexibel) en 42,37 (strikt), wat dicht bij de prestaties van GPT-4.1-mini ligt. QWen scoorde lager met 38,38 (strikt) en 37,84 (flexibel).

2. Afweging tussen Leesbaarheid en Nauwkeurigheid

• Mistral: Vertoonde een "gematigde" strategie voor lexicale vereenvoudiging. Het bereikte verbeteringen in leesbaarheid over meerdere metrieken terwijl het een BERTScore van 0,91 behield, wat statistisch niet te onderscheiden was van menselijke prestaties. Het toonde een hoog behoud van woordenschat en een conservatieve behandeling van gespecialiseerde termen.
• QWen: Bereikte verbeterde leesbaarheid (rangorde als beste op Flesch-Kincaid en Flesch Reading Ease), maar vertoonde een disconnectie tussen leesbaarheid en nauwkeurigheid. De BERTScore was 0,89, statistisch lager dan de menselijke benchmark. De aanpak van QWen omvatte agressievere lexicale substitutie en conceptuele uitbreiding, wat leidde tot grotere semantische verschuiving.

3. Correlaties en Redundantie van Metrieken

• Redundantie: Er werden sterke functionele redundanties gevonden tussen leesbaarheidsmetrieken (correlaties $\ge 0,7$ voor SMOG, FKGL, ARI en Flesch), wat suggereert dat een gereduceerde set metrieken voldoende zou kunnen zijn voor evaluatie.
• Divergerende Strategieën: Correlatieanalyse toonde aan dat de leesbaarheids- en nauwkeurigheidsmetrieken van Mistral strakker gekoppeld waren (coëfficiënten $[0,2, 0,4]$) in vergelijking met QWen ($[-0,2, 0,1]$). Dit geeft aan dat Mistral optimaliseert voor beide doelen tegelijkertijd, terwijl de strategieën van QWen blijkbaar meer losgekoppeld zijn.
• Lexicale Controle: De studie vond dat lexicale controle, en niet syntactische herstructurering, de primaire hindernis is. Het conservatieve behoud van gespecialiseerde woordenschat door Mistral correleerde sterk met nauwkeurigheid, terwijl de agressieve substitutie van QWen negatief correleerde met semantische integriteit.

4. Zelfgerapporteerde Redeneringen

Analyse van de zelfgerapporteerde wijzigingen van de modellen bevestigde hun architecturale filosofieën:

• Mistral leunde voornamelijk op "jargon/taalgebruik vervangen" en "onnodige details weglaten", en opereerde conservatief binnen de grenzen van de input.
• QWen ging vaak over tot "toevoegen van uitleg" en "abstracteren/generaliseren", wat een meer verkennende aanpak weerspiegelt die risico's op semantische degradatie met zich meebrengt.

Betekenis en Beweringen

Het artikel beweert dat instructie-geoptimaliseerde modellen (Mistral) een robuustere "sweet spot" kunnen bieden voor biomedische tekstvereenvoudiging in vergelijking met redeneringsversterkte modellen (QWen) wanneer ze opereren in een zero-shot setting. De studie benadrukt dat:

1. Architectueel Voordeel: De instructie-tuning van Mistral lijkt een conservatieve strategie te begunstigen die lexicale vereenvoudiging in evenwicht brengt met semantische getrouwheid, waardoor menselijke discoursgetrouwheid wordt bereikt zonder fine-tuning.
2. Metrische Inzichten: Het onderzoek levert bewijs voor sterke redundanties in leesbaarheidsmetrieken en verduidelijkt de spanning tussen leesbaarheid en nauwkeurigheid, wat suggereert dat huidige suites van metrieken de nuances van vereenvoudigingsprocessen van redeneringsversterkte modellen mogelijk niet volledig vastleggen.
3. Praktische Baseline: De bevindingen actualiseren praktische baselines voor biomedische tekstvereenvoudiging, wat aangeeft dat voor algemene LLM's de primaire uitdaging ligt in lexicale controle en niet in syntactische herstructurering.

De auteurs concluderen dat QWen weliswaar bekwaam is en hoge scores voor leesbaarheid behaalt, maar dat zijn agressieve verkenning van de lexicale zoekruimte de semantische integriteit riskeert. Daarentegen biedt de gematigde aanpak van Mistral een betrouwbaarder evenwicht voor schaalbare, toegankelijke biomedische informatie. De studie erkent beperkingen en merkt op dat verdere evaluatie over een breder scala aan LLM's en domeinen vereist is om architecturale verschillen definitief te karakteriseren.