Making Knowledge Accessible: Divergent Readability-Accuracy Strategies of Mistral and QWen in Biomedical Text Simplification

Dieser Artikel vergleicht empirisch den instruktionsangepassten Mistral-Small 3 und das durch Reasoning erweiterte QWen2.5 im Bereich der biomedizinischen Textvereinfachung und zeigt, dass zwar beide Modelle die Lesbarkeit verbessern, Mistral jedoch eine überlegene Balance mit einer auf menschlichem Niveau liegenden Diskursgetreue erreicht, während QWen eine Diskrepanz zwischen Lesbarkeit und Genauigkeit aufweist.

Das Wesentliche

Stellen Sie sich vor, Sie besitzen eine Bibliothek medizinischer Lehrbücher, die in einem geheimen, hochkomplexen Code verfasst sind. Diese Bücher enthalten lebensrettende Informationen, sind jedoch so schwer zu lesen, dass der Durchschnittsmensch keinen einzigen Satz verstehen kann. Das Ziel dieser Studie war es zu prüfen, ob zwei verschiedene „KI-Übersetzer" diese Bücher in verständliches Englisch entschlüsseln können, ohne die wichtigen Fakten zu verlieren.

Die Forscher testeten zwei spezifische KI-Modelle:

1. Mistral: Ein Modell, das darauf trainiert ist, Anweisungen sehr sorgfältig zu befolgen.
2. Qwen: Ein Modell, das darauf ausgelegt ist, „intensiver zu denken" und komplexe Probleme zu durchdenken.

Sie baten diese KIs, 750 schwierige medizinische Zusammenfassungen in einfache Sprache umzuschreiben, und verglichen die Ergebnisse anschließend mit denen menschlicher Experten. Hier ist das Ergebnis, erläutert anhand einiger alltäglicher Analogien:

Das „Übersetzer"-Duell

Stellen Sie sich die Aufgabe vor wie die Übersetzung eines dichten, technischen Rechtsvertrags in einen freundlichen Brief. Sie müssen die Bedeutung exakt gleich lassen, aber den Text leicht lesbar machen.

1. Mistral: Der sorgfältige Redakteur
Mistral agierte wie ein konservativer Redakteur. Es nahm den komplexen medizinischen Text und ersetzte große, beängstigende Wörter durch einfachere, war jedoch sehr darauf bedacht, die Geschichte nicht zu verändern.

• Das Ergebnis: Es produzierte Texte, die leicht zu lesen waren und entscheidend blieb die ursprüngliche Bedeutung gewahrt. Seine „Treue" (wie gut es die Fakten bewahrte) war fast identisch mit dem, was ein menschlicher Experte produziert hätte.
• Die Strategie: Es tauschte hauptsächlich Fachjargon durch einfache Wörter aus und behielt die Satzstruktur größtenteils bei. Es versuchte nicht, neue Ideen hinzuzufügen oder Dinge übermäßig zu erklären; es machte lediglich den bestehenden Text klarer.

2. Qwen: Der übermäßig Erklärende
Qwen agierte wie ein begeisterter Lehrer, der sicherstellen möchte, dass Sie alles verstehen. Es tauschte nicht nur Wörter aus; es versuchte, Konzepte zu erweitern, Erklärungen hinzuzufügen und Dinge weiter aufzubrechen.

• Das Ergebnis: Obwohl der von ihm produzierte Text sehr leicht zu lesen war (manchmal sogar leichter als der von Mistral), verlor er gelegentlich den Faden der ursprünglichen Bedeutung. Es war wie ein Lehrer, der ein Konzept so gut erklärt, dass er versehentlich eine winzige eigene Meinung hinzufügt oder ein kleines Detail aus dem Originaltext vergisst.
• Die Strategie: Es ging mehr Risiken ein. Es versuchte, durch den Text zu „schließen", was zu einigen kreativen Vereinfachungen führte, aber auch zu einer gewissen faktischen Abweichung.

Der „Punktestand"

Die Forscher verwendeten eine Wertungstabelle, um die KIs zu benoten:

• Lesbarkeit: Beide KIs leisteten hervorragende Arbeit dabei, den Text leichter lesbar zu machen. Tatsächlich waren sie oft besser darin, den Text „kurz und bündig" zu gestalten als die Menschen.
• Genauigkeit: Hier unterschieden sie sich. Mistral bewahrte die Fakten in 91 % der Fälle sicher (entsprechend menschlichen Experten). Qwen bewahrte die Fakten in 89 % der Fälle sicher. Dieser Unterschied von 2 % mag klein klingen, aber in der Welt medizinischer Informationen bedeutet er, dass Qwen etwas wahrscheinlicher versehentlich eine Tatsache verändert oder ein entscheidendes Detail weglässt.

Das „Werkzeugkasten"-Problem

Die Studie untersuchte auch, wie wir Erfolg messen. Die Forscher stellten fest, dass viele der Werkzeuge zur Bewertung der Lesbarkeit (wie Formeln, die Silben oder Satzlängen zählen) tatsächlich dasselbe auf leicht unterschiedliche Weise messen. Es ist, als hätte man fünf verschiedene Lineale, die alle Zoll messen, aber leicht unterschiedliche Markierungen haben.

Sie entdeckten, dass der schwierigste Teil beim Vereinfachen medizinischer Texte nicht das Aufbrechen langer Sätze (Syntax) ist, sondern der Umgang mit dem spezialisierten Wortschatz (Lexikon).

• Mistral bewältigte den Wortschatz durch Konservatismus: „Wenn ich mir nicht sicher bin, behalte ich das Originalwort oder ersetze es sehr sorgfältig."
• Qwen bewältigte den Wortschatz durch Abenteuerlust: „Ich werde versuchen, dieses Wort zu erklären oder eine völlig andere Art zu finden, es auszudrücken", was manchmal zu Verwirrung führte.

Das Fazit

Die Studie kommt zu dem Schluss, dass, wenn Sie eine KI haben möchten, die medizinische Texte vereinfacht, ohne die Fakten zu verändern, Mistral derzeit die sicherere Wahl ist. Es agiert wie ein zuverlässiger Übersetzer, der genau weiß, wann er aufhören muss und nicht zu viel erklärt.

Qwen ist ebenfalls sehr fähig und produziert sehr gut lesbare Texte, aber sein „Schlussfolgerungs"-Stil macht es etwas anfälliger dafür, von den ursprünglichen Fakten abzuweichen. Die Studie legt nahe, dass für medizinische Informationen, bei denen Genauigkeit über Leben und Tod entscheidet, der Ansatz des „konservativen Redakteurs" derzeit dem Ansatz des „kreativen Erklärers" überlegen ist.

Wichtiger Hinweis: Die Studie untersuchte nur, wie gut diese Modelle Texte im Moment unter Verwendung standardisierter Eingabeaufforderungen vereinfachten. Sie testete nicht, wie diese Modelle in einem echten Krankenhaus abschneiden würden, noch schlug sie vor, dass sie Ärzte oder menschliche Prüfer ersetzen sollten. Sie verglich lediglich ihre Fähigkeit, eine spezifische Aufgabe zu erfüllen: schwierige medizinische Wörter in einfache umzuwandeln.

Technische Zusammenfassung

Technische Zusammenfassung: Divergente Strategien für Lesbarkeit und Genauigkeit von Mistral und QWen bei der Vereinfachung biomedizinischer Texte

Problemstellung

Der Zugang zu verständlichen Gesundheitsinformationen ist entscheidend für die öffentliche Gesundheit und informierte Entscheidungsfindung, doch patientenorientiertes biomedizinisches Material übersteigt häufig die empfohlenen Leselevel. Während Large Language Models (LLMs) eine skalierbare Lösung für die Textvereinfachung bieten, sehen sie sich einem anhaltenden Zielkonflikt gegenüber: Die Verbesserung der Lesbarkeit geht oft zulasten faktischer Ungenauigkeiten, semantischer Abweichungen und unerwünschter Auslassungen. Bestehende Forschungsergebnisse deuten darauf hin, dass eine Domänenanpassung für biomedizinische Texte notwendig ist, doch die Ergebnisse sind widersprüchlich, wobei einige Studien zeigen, dass allgemeine Modelle spezialisierte übertreffen. Darüber hinaus fehlt ein umfassendes Verständnis dafür, wie verschiedene LLM-Architekturen ohne Feinabstimmung die Spannung zwischen der Maximierung der Lesbarkeit und der Wahrung der Diskursfidelität bewältigen.

Methodik

Diese Studie vergleicht empirisch zwei mittelgroße, allgemeine LLMs – Mistral-Small 3 24B (instruktionsangepasst) und Qwen 2.5 32B (mit Reasoning-Erweiterung) – bei der Aufgabe der Vereinfachung biomedizinischer Texte.

• Daten: Der primäre Benchmark besteht aus 750 biomedizinischen Abstracts, die mit von Menschen vereinfachten Texten gepaart sind. Ein sekundärer, nicht kuratierter Datensatz, der Traditionelle Chinesische Medizin (TCM) und Onkologie abdeckt, wurde zur Prüfung der Robustheit verwendet.
• Systeme: Die Studie bewertet vier LLM-Konfigurationen (zwei Modelle × zwei Temperatur-Einstellungen: streng $T=0.2$ und flexibel $T=0.4$) im Vergleich zu einem Benchmark von menschlichen Experten.
• Prompting: Ein standardisierter Zero-Shot-Prompt wurde verwendet, der die Modelle anwies, eine Satz-für-Satz-Anpassung ohne Zusammenfassung durchzuführen. Der Prompt untersagte ausdrücklich eine Inhaltsverdünnung und forderte die Modelle auf, die spezifisch angewandte Transformation (z. B. Austausch von Fachjargon, Weglassen von Details) und die Begründung für jede Änderung selbst zu melden.
• Evaluation: Ein umfassender Satz von 21 Metriken wurde verwendet, kategorisiert in:
  • Lesbarkeit: Dale-Chall, Gunning Fog, FKGL, SMOG, ARI, Flesch Reading Ease und SARI.
  • Genauigkeit/Diskursfidelität: BERTScore, Semantische Ähnlichkeit (LLM-Embeddings), ROUGE-L, SacreBLEU, LDA-Themen, Vokabelübereinstimmung und Anteil schwieriger Wörter.
  • Sicherheit: Klassifizierung von Toxizität.
• Analyse: Statistische Vergleiche (Welch-t-Test) wurden durchgeführt, ergänzt durch Korrelationsanalysen und eine PCA-Regression (Principal Component Analysis), um die Beziehungen zwischen Lesbarkeits- und Genauigkeitsmetriken zu untersuchen.

Hauptergebnisse

1. Systemleistung und SARI-Scores

Beide Modelle übertrafen frühere Encoder-Decoder-Baselines (T5, BART). Mistral zeigte eine überlegene Leistung mit SARI-Scores von 42,46 (flexibel) und 42,37 (streng) und näherte sich damit der Leistung von GPT-4.1-mini an. QWen erzielte niedrigere Werte bei 38,38 (streng) und 37,84 (flexibel).

2. Zielkonflikt zwischen Lesbarkeit und Genauigkeit

• Mistral: Zeigte eine „gemäßigte" Strategie zur lexikalischen Vereinfachung. Es erzielte Verbesserungen der Lesbarkeit über mehrere Metriken hinweg, während es einen BERTScore von 0,91 beibehielt, der statistisch nicht von der menschlichen Leistung zu unterscheiden war. Es zeigte eine hohe Beibehaltung des Wortschatzes und einen konservativen Umgang mit Fachbegriffen.
• QWen: Erzielte eine verbesserte Lesbarkeit (rangte bei Flesch-Kincaid und Flesch Reading Ease am besten), zeigte jedoch eine Diskrepanz zwischen Lesbarkeit und Genauigkeit. Sein BERTScore betrug 0,89, was statistisch niedriger war als der menschliche Benchmark. Der Ansatz von QWen umfasste aggressivere lexikalische Substitutionen und konzeptionelle Erweiterungen, was zu einer größeren semantischen Verschiebung führte.

3. Metrik-Korrelationen und Redundanz

• Redundanz: Starke funktionale Redundanzen wurden unter den Lesbarkeitsmetriken festgestellt (Korrelationen $\ge 0,7$ für SMOG, FKGL, ARI und Flesch), was darauf hindeutet, dass eine reduzierte Menge an Metriken für die Evaluation ausreichen könnte.
• Divergente Strategien: Die Korrelationsanalyse ergab, dass die Lesbarkeits- und Genauigkeitsmetriken von Mistral enger gekoppelt waren (Koeffizienten $[0,2, 0,4]$) im Vergleich zu QWen ($[-0,2, 0,1]$). Dies deutet darauf hin, dass Mistral beide Ziele gleichzeitig optimiert, während QWens Strategien eher entkoppelt erscheinen.
• Lexikalische Kontrolle: Die Studie ergab, dass die lexikalische Kontrolle, und nicht die syntaktische Umstrukturierung, das Haupthindernis darstellt. Die konservative Beibehaltung von Fachvokabular durch Mistral korrelierte stark mit der Genauigkeit, während QWens aggressive Substitution negativ mit der semantischen Integrität korrelierte.

4. Selbstberichtete Begründungen

Die Analyse der selbstberichteten Änderungen der Modelle bestätigte deren architektonische Philosophien:

• Mistral verließ sich hauptsächlich auf den „Austausch von Fachjargon/Redewendungen" und das „Weglassen unnötiger Details" und agierte konservativ innerhalb der Grenzen des Eingabetextes.
• QWen engagierte sich häufig für das „Hinzufügen von Erklärungen" und das „Abstrahieren/Generalisieren", was einen explorativeren Ansatz widerspiegelt, der das Risiko einer semantischen Verschlechterung birgt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass instruktionsangepasste Modelle (Mistral) im Zero-Shot-Betrieb eine robustere „Sweet Spot"-Lösung für die Vereinfachung biomedizinischer Texte bieten könnten als Modelle mit Reasoning-Erweiterung (QWen). Die Studie hebt Folgendes hervor:

1. Architektonischer Vorteil: Die Instruktionstuning von Mistral scheint eine konservative Strategie zu begünstigen, die lexikalische Vereinfachung mit semantischer Fidelität ausbalanciert und so eine Diskursfidelität auf menschlichem Niveau ohne Feinabstimmung erreicht.
2. Metrische Erkenntnisse: Die Forschung liefert Belege für starke Redundanzen in Lesbarkeitsmetriken und klärt die Spannung zwischen Lesbarkeit und Genauigkeit auf, was darauf hindeutet, dass aktuelle Metrik-Suiten die Nuancen der Vereinfachungsprozesse von Modellen mit Reasoning-Erweiterung möglicherweise nicht vollständig erfassen.
3. Praktische Baseline: Die Ergebnisse aktualisieren praktische Baselines für die Vereinfachung biomedizinischer Texte und zeigen, dass die primäre Herausforderung für allgemeine LLMs in der lexikalischen Kontrolle liegt und nicht in der syntaktischen Umstrukturierung.

Die Autoren kommen zu dem Schluss, dass QWen zwar leistungsfähig ist und hohe Lesbarkeitswerte erzielt, seine aggressive Erkundung des lexikalischen Suchraums jedoch die semantische Integrität gefährdet. Im Gegensatz dazu bietet Mistlars gemäßigter Ansatz eine zuverlässigere Balance für skalierbare, zugängliche biomedizinische Informationen. Die Studie erkennt Einschränkungen an und stellt fest, dass eine weitere Evaluation über einen breiteren Bereich von LLMs und Domänen hinweg erforderlich ist, um architektonische Unterschiede endgültig zu charakterisieren.