Large Language Models Readability Classification: A Variability Analysis of Sources and Metrics

Diese Studie zeigt, dass die Lesbarkeitsbewertung von Gesundheitsinformationen durch Large Language Models sowohl durch die Wahl des Modells als auch durch die gewählte Metrik erheblich variiert, wobei die Verwendung von Wikipedia als Wissensquelle zwar die Genauigkeit erhöht, aber zu inkonsistenten Lesbarkeitswerten führt und somit sprachübergreifende, metrik-spezifische Evaluierungsprotokolle erfordert.

Das Wesentliche

🎙️ Wenn KI über Gesundheit spricht: Ist die Sprache zu schwer?

Stellen Sie sich vor, Sie gehen zum Arzt und erhalten eine wichtige Anweisung zur Behandlung Ihres Gehörs. Der Arzt gibt Ihnen einen Zettel. Aber was, wenn dieser Zettel in einer Sprache geschrieben ist, die Sie nicht verstehen? Vielleicht ist er voller schwerer Fachbegriffe, wie wenn ein Physiker versucht, einem Kind zu erklären, wie ein Flugzeug fliegt – mit Formeln statt mit Bildern.

Genau dieses Problem untersucht diese Studie. Sie fragt: Wenn künstliche Intelligenz (KI) Gesundheitsinformationen schreibt, verstehen die Patienten sie wirklich? Und noch wichtiger: Verstehen alle KIs die Aufgabe gleich gut?

🤖 Das Experiment: Sieben Köche und fünf Maßstäbe

Die Forscher haben sich sieben verschiedene KI-Modelle (wie ChatGPT, Gemini, Claude usw.) vorgenommen. Man kann sich diese wie sieben verschiedene Köche vorstellen.

• Die Aufgabe: Alle sollen ein Rezept für eine gesunde Ernährung (hier: Informationen über Hörgeräte und Ohren) schreiben.
• Die Zutaten: Zuerst haben sie nur aus ihrem eigenen Gedächtnis gekocht (das nennt man "Baseline"). Dann haben sie ihnen gesagt: "Schaut bitte zuerst in das große Kochbuch Wikipedia nach, bevor ihr kocht" (das nennt man "Wikipedia-Grounding").

Anschließend haben sie die Gerichte (die Texte) von fünf verschiedenen Lebensmittel-Inspektoren (den "Lesbarkeits-Metriken") begutachten lassen. Jeder Inspektor hat eine andere Methode:

• Der eine zählt die langen Wörter (wie viele Silben).
• Der andere zählt die Buchstaben.
• Ein dritter schaut, wie viele Sätze auf einer Seite stehen.

🍽️ Was haben sie herausgefunden?

Hier kommen die zwei großen Überraschungen, die wie ein Aha-Effekt wirken:

1. Der "Wikipedia-Effekt" macht die Köche unterschiedlich
Als die Köche nur aus ihrem eigenen Gedächtnis gekocht haben, waren ihre Gerichte alle ziemlich ähnlich leicht zu verdauen. Aber sobald sie das Wikipedia-Kochbuch benutzen durften, passierte etwas Seltsames:

• Koch A (z. B. ChatGPT) hat das Kochbuch gelesen und das Rezept in einfache, kindgerechte Sprache übersetzt.
• Koch B (z. B. Claude) hat das Kochbuch gelesen und das Rezept fast wortwörtlich abgeschrieben – mit allen schweren Fachbegriffen.
• Koch C (z. B. Copilot) hat das Kochbuch gelesen und es so kompliziert gemacht, dass man fast eine Übersetzung braucht.

Die Lehre: Selbst wenn man allen KIs die gleiche Quelle (Wikipedia) gibt, verarbeiten sie die Informationen unterschiedlich. Für den Patienten bedeutet das: Wenn Sie heute eine KI nutzen, ist die Antwort vielleicht leicht verständlich. Wenn Sie morgen eine andere KI nutzen, könnte die Antwort über Ihren Kopf gehen – obwohl beide auf dieselbe Wahrheit zurückgreifen.

2. Die Inspektoren streiten sich
Das zweite Problem ist, dass die fünf Lebensmittel-Inspektoren (die Messmethoden) sich nicht einig waren.

• Inspektor 1 sagte: "Das Gericht ist perfekt für Kinder!"
• Inspektor 2 sagte: "Nein, das ist viel zu schwer für Laien!"

Die Lehre: Man kann sich nicht auf eine einzige Messmethode verlassen. Es ist wie beim Wiegen: Wenn Sie sich auf einer Waage wiegen, steht dort 70 kg. Auf einer anderen Waage stehen vielleicht 72 kg. Wenn Sie nur eine Waage nutzen, wissen Sie nie, ob Ihre Zahl stimmt. Bei KIs ist es genauso: Je nachdem, welches Messwerkzeug Sie nutzen, kommt ein anderes Ergebnis heraus.

🚨 Warum ist das wichtig?

Stellen Sie sich vor, Sie bauen eine Brücke. Wenn der Architekt sagt "Die Brücke ist sicher", aber der Statiker sagt "Nein, sie ist zu schwer", dann bauen Sie keine Brücke.

In der Medizin ist das noch kritischer. Wenn eine KI falsche Informationen liefert, ist das gefährlich. Aber wenn sie wahrheitsgemäße Informationen liefert, die aber zu schwer zu verstehen sind, ist das auch gefährlich. Der Patient versteht die Anweisung nicht, ignoriert sie und sein Gesundheitszustand verschlechtert sich.

Die Studie zeigt uns ein Ziel-Dilemma:

• Wenn wir KI anweisen, sich an Fakten (Wikipedia) zu halten, wird sie oft genauer, aber manchmal schwerer verständlich.
• Wenn wir sie anweisen, einfach zu sein, ist sie vielleicht leichter verständlich, aber manchmal weniger präzise.

💡 Was sollten wir tun?

Die Forscher schlagen vor, dass wir nicht blind auf KI vertrauen dürfen. Wir brauchen klare Regeln:

1. Nicht nur eine KI nutzen: Wir müssen testen, ob verschiedene KIs auch für verschiedene Sprachen (wie Deutsch oder Portugiesisch) gleich gut funktionieren.
2. Mehrere Messungen: Wir sollten nicht nur eine Methode nutzen, um zu prüfen, ob ein Text einfach ist, sondern mehrere.
3. Menschliche Kontrolle: Bevor eine KI-Empfehlung an Patienten geht, muss jemand prüfen: "Versteht ein normaler Mensch das?"

Zusammengefasst:
KI ist wie ein sehr kluger, aber manchmal verwirrter Dolmetscher. Wenn wir ihm ein schweres Buch geben, um es zu übersetzen, kann er es perfekt übersetzen (wahr), aber in einer Sprache, die niemand versteht (unlesbar). Oder er vereinfacht es so sehr, dass die Details verloren gehen. Unsere Aufgabe ist es, sicherzustellen, dass die Botschaft nicht nur wahr, sondern auch für jeden verständlich ist – egal welche KI sie spricht.

Technische Zusammenfassung

Titel: Large Language Models Readability Classification: A Variability Analysis of Sources and Metrics

(Klassifizierung der Lesbarkeit durch Large Language Models: Eine Variabilitätsanalyse von Quellen und Metriken)

---

1. Problemstellung und Hintergrund

Die Anwendung von generativer Künstlicher Intelligenz (KI) und Large Language Models (LLMs) im Gesundheitswesen, insbesondere in der Audiologie, wächst rasant. Während der Fokus bisher primär auf der faktischen Genauigkeit (Vermeidung von "Halluzinationen") lag, bleibt die sprachliche Zugänglichkeit (Lesbarkeit) oft unberücksichtigt.

• Das Kernproblem: Selbst faktisch korrekte Gesundheitsinformationen sind wirkungslos, wenn Patienten sie aufgrund ihrer Komplexität nicht verstehen.
• Der Kontext: Es wird zunehmend versucht, die Genauigkeit von LLMs durch Retrieval-Augmented Generation (RAG) zu verbessern, indem externe, verifizierte Quellen (wie Wikipedia) in die Antwortgenerierung einbezogen werden.
• Die Forschungsfrage: Wie wirkt sich die Einbindung verifizierter Quellen (Wikipedia) auf die Lesbarkeit der generierten Texte aus? Variieren die Lesbarkeitsklassifizierungen je nach verwendetem LLM-Modell und je nach verwendetem Lesbarkeits-Metrik?

2. Methodik

Die Studie ist eine querschnittliche Analyse, die nach den CHART-Richtlinien (Chatbot Health Advice studies) durchgeführt wurde.

• Datenkorpus:

  • Sprachen: Englisch und Portugiesisch.
  • LLMs: 7 verschiedene Systeme (OpenAI-ChatGPT-4o, DeepSeek-R1, Claude-3.7-Sonnet, Google-Gemini-2.0-Flash, Mistral-AI-LeChat-8x22B, Maritaca-10B-Sábia3, Microsoft-Copilot).
  • Prompts: 8 klinische Domänen basierend auf WHO-Richtlinien zur Hörgeräteversorgung (z. B. angeborene Anomalien, chronische Otitis media).
  • Bedingungen:
    1. Baseline: Generierung ausschließlich aus dem vortrainierten Wissen des Modells.
    2. Wikipedia-gegroundet: Instruktionsbasierte Integration von Informationen aus Wikipedia (simulierter RAG-Ansatz via Prompting).
  • Gesamtumfang: 1.120 Datenpunkte (224 Texte × 5 Metriken).

• Messinstrumente (Lesbarkeitsmetriken):
  Fünf etablierte Metriken wurden verwendet, um verschiedene Aspekte der Textkomplexität zu erfassen:

  1. Flesch Reading Ease (FRE)
  2. Flesch-Kincaid Grade Level (FKG)
  3. Simple Measure of Gobbledygook (SMOG)
  4. Automated Readability Index (ARI)
  5. Coleman-Liau Index (CLI)
     Hinweis: Die Metriken wurden binarisiert in "Upper" (einfach/zugänglich) und "Lower" (komplex/schwierig) klassifiziert, um Homogenitätstests durchzuführen.

• Statistische Analyse:

  • Verwendung des G-Tests (Likelihood-Ratio-Test) zur Prüfung der Homogenität der Klassifizierungen.
  • Zwei Hypothesen wurden getestet:
    • H1 (Modell-Architektur): Sind die Klassifizierungen über die 7 LLMs hinweg homogen?
    • H2 (Metrik-Konsistenz): Sind die Klassifizierungen über die 5 Metriken hinweg homogen?
  • Effektstärken wurden mittels Cramér's V berechnet; Post-hoc-Analysen (Standardisierte Residuen) identifizierten spezifische Abweichungen.

3. Wichtige Ergebnisse

A. Modell-Architektur-Variabilität (H1)

• Baseline-Bedingung: In beiden Sprachen (Englisch/Portugiesisch) waren die Lesbarkeitsklassifizierungen über die verschiedenen LLMs hinweg statistisch homogen. Die Modelle generierten ohne externe Quellen ähnliche Komplexitätsniveaus.
• Wikipedia-Bedingung: Sobald externe Quellen (Wikipedia) integriert wurden, entstand eine signifikante Heterogenität zwischen den Modellen (p < 0,05).
  • Beispiel: Während GPT-4o im englischen Wikipedia-Modus signifikant mehr zugängliche Inhalte ("Upper") generierte, produzierte Claude deutlich komplexere Texte ("Lower").
  • Schlussfolgerung: Die Integration desselben Wissensquellen führt zu unterschiedlichen Ergebnissen, je nach Modellarchitektur und dessen Mechanismus zur Synthese von Quelltexten (z. B. Zusammenfassung vs. direktes Zitieren). Dies wird als "Integrationsvariabilität" bezeichnet.

B. Metrik-Variabilität (H2)

• In allen Bedingungen (Baseline und Wikipedia, beide Sprachen) zeigten die fünf Lesbarkeitsmetriken signifikante Heterogenität in ihren Klassifizierungen.
• Metriken, die auf Silben basieren (SMOG), klassifizierten Texte oft anders als solche, die auf Zeichen basieren (CLI, ARI).
• Schlussfolgerung: Lesbarkeitsmetriken sind nicht austauschbar. Die Wahl der Metrik beeinflusst das Ergebnis der Bewertung so stark wie die Wahl des LLM-Modells selbst.

4. Hauptbeiträge und Signifikanz

• Trade-off zwischen Genauigkeit und Zugänglichkeit: Die Studie zeigt einen kritischen Zielkonflikt auf: Die Verwendung von RAG (Quellen-Grounding) zur Verbesserung der faktischen Genauigkeit kann die Lesbarkeit unvorhersehbar verschlechtern und die Konsistenz zwischen verschiedenen Modellen verringern.
• Neue Definition von "Integrationsvariabilität": Der Begriff beschreibt das Phänomen, dass unterschiedliche LLM-Architekturen identische externe Quellen unterschiedlich verarbeiten, was zu inkonsistenten Lesbarkeitsprofilen führt.
• Methodologische Warnung: Die Studie widerlegt die Annahme, dass Lesbarkeitsmetriken universell einsetzbar sind. Für die Evaluation von LLMs im Gesundheitswesen muss ein "Metrik-Set" verwendet werden, nicht nur eine einzelne Metrik.
• Implikationen für die Gesundheitsgerechtigkeit:
  • Inkonsistente Lesbarkeit kann die Gesundheitskompetenz (Health Literacy) in ressourcenschwachen Umgebungen weiter verschlechtern.
  • Es besteht die Gefahr, dass durch die Wahl unterschiedlicher Modelle oder Metriken neue Ungleichheiten in der Gesundheitsversorgung entstehen.
• Empfehlungen für die Praxis:
  • Evaluierungsprotokolle müssen transparent, herstellerneutral und sprachspezifisch sein.
  • Grounding-Konfigurationen (RAG) müssen nicht nur auf Fakten, sondern auch auf Lesbarkeit geprüft werden.
  • Es bedarf einer "kritischen KI-Literacy" bei Nutzern und Anbietern, um die Risiken der automatisierten Informationsgenerierung zu verstehen.

5. Fazit

Die Studie belegt, dass die Lesbarkeit von KI-generierten Gesundheitsinformationen nicht nur von der Qualität der Quelle abhängt, sondern stark von der Modellarchitektur und der Wahl der Messmetrik beeinflusst wird. Die Einführung von Quellen-Grounding (z. B. Wikipedia) löst das Problem der "Halluzinationen" nicht automatisch, sondern führt zu neuen Herausforderungen in der Konsistenz und Zugänglichkeit der Informationen. Für eine sichere und gerechte Gesundheitskommunikation ist daher eine ganzheitliche Evaluierung erforderlich, die sowohl Faktenprüfung als auch Lesbarkeitsaudits umfasst.