💻 computer science

Zero-shot Large Language Models for Automatic Readability Assessment

Dieser Beitrag stellt eine Zero-Shot-Prompting-Methode und ein hybrides Modell namens LAURAE vor, die große Sprachmodelle nutzen, um eine state-of-the-art-robuste, unüberwachte automatische Lesbarkeitsbewertung über diverse Datensätze, Sprachen und Textarten hinweg zu erreichen.

Ursprüngliche Autoren: Riley Grossman, Yi Chen

Veröffentlicht 2026-04-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Riley Grossman, Yi Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind Bibliothekar und versuchen, einen riesigen Stapel Bücher zu sortieren. Einige sind für Kleinkinder geschrieben, einige für Oberschüler und einige für Universitätsprofessoren. Ihr Ziel ist es herauszufinden, welche Bücher leicht zu lesen und welche schwierig sind, damit Sie die richtigen den richtigen Personen empfehlen können.

In der Vergangenheit verwendeten Bibliothekare ein einfaches Lineal, um dies zu messen. Sie zählten Dinge wie „Wie lang sind die Sätze?" und „Wie viele große Wörter gibt es?". Dies ist wie die Verwendung einer Lesbarkeitsformel. Es ist schnell und günstig, aber etwas umständlich. Es könnte denken, ein kurzer Satz mit einem einzigen riesigen medizinischen Wort sei „einfach", nur weil der Satz kurz ist, oder es könnte übersehen, dass ein langer Absatz tatsächlich sehr klar und einfach ist.

Später versuchten Bibliothekare, ein Team menschlicher Experten einzustellen, um jedes einzelne Buch zu lesen. Dies war genau, dauerte aber ewig und kostete ein Vermögen.

Dann wurden Computer schlauer. Forscher begannen, Large Language Models (LLMs) – superintelligente KI, die fast alles im Internet gelesen hat – als Experten einzusetzen. Die Idee war: „Lassen Sie uns die KI fragen: ‚Wie schwer ist das zu lesen?'"

Das Problem mit den ersten KI-Versuchen

Die Autoren dieses Papers stellten fest, dass die ersten Versuche, KI für diese Aufgabe einzusetzen, ein bisschen so waren, als würde man einem genialen Schüler einen Test geben, ohne ihm die Anweisungen oder die Bewertungsmatrix zu übergeben.

Das Problem der Bewertungsmatrix: Wenn Sie eine KI bitten, eine Note von 1 bis 10 zu geben, könnte sie raten, was „10" bedeutet. Aber wenn Sie ihr sagen: „1 bedeutet ein Niveau der ersten Klasse, und 10 bedeutet ein PhD-Niveau", und ihr die Definitionen geben, leistet sie viel bessere Arbeit.
Das Problem des Rätens: Wenn die KI antwortet, spuckt sie nicht nur eine Zahl aus; sie berechnet die Wahrscheinlichkeit vieler verschiedener Zahlen. Die alten Methoden nahmen einfach die wahrscheinlichste Zahl. Die Autoren stellten fest, dass Sie, wenn Sie alle Möglichkeiten betrachten, die die KI in Betracht gezogen hat, und diese mitteln (wie einen gewichteten Durchschnitt aller ihrer Vermutungen), eine viel genauere Note erhalten.

Die neue Lösung: „LAURAE"

Die Autoren schufen ein neues System namens LAURAE. Stellen Sie sich LAURAE als einen Super-Bibliothekar vor, der zwei Werkzeuge gleichzeitig verwendet:

Die intelligente KI: Sie liest den Text und versteht den Kontext, den Ton und die Bedeutung.
Das einfache Lineal: Es zählt die Satzlängen und Silben (auf die altmodische Weise).

LAURAE wählt nicht das eine oder das andere. Es fragt die KI: „Wie sicher sind Sie bei Ihrer Antwort?"

Wenn die KI sehr zuversichtlich ist (z. B. „Ich bin zu 90 % sicher, dass dies ein Text auf College-Niveau ist"), hört LAURAE hauptsächlich auf die KI.
Wenn die KI unsicher ist (z. B. „Ich bin nur zu 50 % sicher, vielleicht ist es schwer, vielleicht ist es einfach"), stützt sich LAURAE mehr auf das einfache Lineal, um die Entscheidung zu treffen.

Indem es das „kluge Gehirn" der KI mit der „zuverlässigen Mathematik" des Lineals mischt und es der Zuversicht der KI überlässt, wie viel Gewicht jedem beigemessen wird, wird LAURAE viel schwerer zu täuschen.

Was sie testeten

Um zu beweisen, dass dies funktioniert, testeten die Autoren es nicht nur auf einer Art von Text. Sie testeten es auf 14 verschiedenen Textsammlungen, darunter:

Medizinische Ratschläge für Patienten.
Geschichtsbücher auf Griechisch.
Nachrichtenartikel auf Französisch, Hindi, Arabisch und Russisch.
Kurze Sätze und lange Absätze.

Sie verglichen ihre neue Methode mit den alten „Lineal"-Formeln und den „dummen" KI-Methoden.

Die Ergebnisse

Die neue KI-Methode: Selbst ohne Hilfe des Lineals schlug die neue Art, die KI zu befragen (indem man ihr die Bewertungsmatrix gibt und ihre Vermutungen mittelt), die alten KI-Methoden bei fast allen Tests.
LAURAE (Die Kombination): Als sie die KI mit dem Lineal kombinierten, war das Ergebnis ein Champion. LAURAE schlug bei 13 von 14 Datensätzen jede andere Methode. Es war besonders gut darin, Texte in Sprachen außer Englisch und Texte zu verarbeiten, die sehr technisch oder sehr kurz waren.

Der Haken

Es gibt zwei kleine Nachteile bei der Verwendung dieses neuen Systems:

Sie müssen ein wenig Code kennen: Sie können nicht einfach einen Knopf auf einer Website drücken; Sie müssen den Code selbst ausführen.
Es benötigt einen leistungsstarken Computer: Die KI benötigt eine starke Grafikkarte (wie eine High-End-Videokarte), um zu laufen, was mehr Strom verbraucht als die einfachen Lineal-Formeln.

Das Fazit

Das Paper kommt zu dem Schluss, dass, wenn Sie automatisch die Leseschwierigkeit eines riesigen Stapels von Dokumenten bewerten müssen, LAURAE das beste derzeit verfügbare Werkzeug ist. Es ist genauer als die alten Formeln und zuverlässiger als das bloße Stellen einer einfachen Frage an eine KI. Es funktioniert wie ein Sicherheitsnetz: Wenn die KI zuversichtlich ist, führt sie; wenn die KI unsicher ist, greift die einfache Mathematik ein, um zu helfen.

1. Problemstellung

Die automatische Lesbarkeitsbewertung (ARA) ist entscheidend, um sicherzustellen, dass Bildungs- und medizinische Materialien für die Zielgruppen zugänglich sind. Während traditionelle Lesbarkeitsformeln (z. B. Flesch-Kincaid) einfach zu implementieren sind, basieren sie auf oberflächlichen Merkmalen (Satzlänge, Silbenanzahl) und erfassen oft keine kontextuellen Nuancen. Im Gegensatz dazu bieten überwachte maschinelle Lernverfahren eine höhere Genauigkeit, erfordern jedoch große, manuell annotierte Datensätze, deren Erstellung kostspielig und zeitaufwendig ist.

Neuere Forschungen haben unüberwachte Methoden mit Large Language Models (LLMs) mittels Zero-Shot-Prompting untersucht. Bestehende Studien (z. B. Trott & Rivière, 2024) weisen jedoch Einschränkungen auf:

Sie stützen sich auf enge Evaluationen (oft einzelne englische Datensätze).
Sie verwenden vereinfachte Prompting-Techniken (z. B. Aufforderung zu einer Zahl ohne Skalendefinitionen).
Sie testen primär geschlossene Modelle (GPT-4) anstatt diverser Open-Source-Alternativen.
Es fehlt ein Verständnis dafür, wie diese Methoden über verschiedene Sprachen, Textlängen und technische Domänen hinweg performen.

Das Papier schließt die Lücke in der umfassenden Evaluation und methodischen Strenge bei der Nutzung von Zero-Shot-LLMs als robustes, unüberwachtes ARA-Tool.

2. Methodik

Die Autoren schlagen zwei Hauptfortschritte in der Methodik vor: eine verfeinerte Zero-Shot-Prompting-Strategie für LLMs und eine neuartige Ensemble-Methode namens LAURAE.

A. Verfeinertes Zero-Shot-Prompting für LLMs

Die Autoren schlagen zwei spezifische Verbesserungen gegenüber Standard-Prompting-Techniken vor:

Skalendefinitionen: Anstatt eine willkürliche Punktzahl zu erfragen, wird der LLM unter Verwendung derselben Skala und Definitionen promptet, die auch von menschlichen Annotatoren verwendet werden (z. B. der Gemeinsame Europäische Referenzrahmen für Sprachen – GER). Für Datensätze ohne spezifische Skalen wird eine 1–9-Skala mit detaillierten Definitionen von Lesbarkeitsfaktoren (Grammatik, Klarheit) verwendet.
Erwartungswert-Bewertung: Anstatt nur das einzelne „vanilla"-Token zu akzeptieren, das vom Modell generiert wird (das Token mit der höchsten Wahrscheinlichkeit), berechnen die Autoren den Lesbarkeitswert als Erwartungswert über die Token-Wahrscheinlichkeiten der Modellausgabe.
- Formal: Generiert das Modell ein Token an Position $n$ , wird der Score $s_{LLM}$ berechnet, indem das Produkt aus Wahrscheinlichkeit und Tokenwert für alle numerischen Token in der ranghöchsten Wahrscheinlichkeitsverteilung summiert wird, bis ein nicht-numerisches Token auftritt. Dies reduziert Gleichstände und erfasst die Modellunsicherheit.

B. LAURAE (LLM-basierte automatische unüberwachte Lesbarkeitsbewertungs-Ensemble)

Um die Robustheit zu verbessern, führen die Autoren LAURAE ein, eine Ensemble-Methode, die kombiniert:

Tiefe kontextuelle Merkmale: Scores vom Zero-Shot-geprompten LLM.
Oberflächliche Merkmale: Scores von traditionellen Lesbarkeitsformeln (z. B. FKGL, ARI, Lix).

Gewichtungsmechanismus:
Da das Setting unüberwacht ist (kein Ground Truth zur Abstimmung), verwendet LAURAE das selbstberichtete verbale Vertrauen des LLM als Gewichtungsfaktor.

Der LLM wird aufgefordert, einen Vertrauensscore (1–9) auszugeben, wie gut seine Bewertung mit menschlichen Ratern übereinstimmt.
Dieser Vertrauensscore wird in ein Gewicht $c$ umgewandelt (normalisiert auf 0,1–0,9).
Der Endscore ist eine gewichtete Kombination des standardisierten LLM-Scores und des standardisierten Formel-Scores:
$\text{LAURAE} = c \cdot \left(\frac{s_{LLM} - \mu_{LLM}}{\sigma_{LLM}}\right) + (1-c) \cdot \left(\frac{s_{rf} - \mu_{rf}}{\sigma_{rf}}\right)$
Dabei ist $c$ das Vertrauensgewicht, und $\mu, \sigma$ repräsentieren Mittelwerte und Standardabweichungen auf Datenniveau.

3. Experimenteller Aufbau

Datensätze: 14 diverse Datensätze wurden verwendet, die folgende Aspekte abdecken:
- Sprachen: Englisch, Französisch, Hindi, Arabisch, Russisch und Griechisch.
- Längen: Satzebene (z. B. Asset, OneStop) bis Absatz-/Artikel-Ebene (z. B. MedReadMe, griechische Lehrbücher).
- Domänen: Allgemein, medizinisch (MedReadMe), pädagogisch (Lehrbücher) und technisch.
- Ground Truth: 11 Datensätze mit expliziten Bewertungen; 3 mit paarweisen Vergleichen.
Modelle: 10 diverse Open-Source, instruktionsfinetuned LLMs wurden evaluiert, darunter Llama 3.1/3.2, Aya Expanse, Gemma 2, Mixtral und Phi-4.
Basislinien: Traditionelle Lesbarkeitsformeln (FKGL, ARI, etc.), RSRS (eine PLM-basierte unüberwachte Methode) und eine Basis-Zero-Shot-LLM-Methode (LLM-v-ns), die frühere Arbeiten nachahmt.

4. Wichtige Ergebnisse

A. Zero-Shot-LLM-Performance

Prompting-Verbesserungen: Die vorgeschlagene Prompting-Methode (Skalendefinitionen + Erwartungswert) schnitt auf 13 von 14 Datensätzen besser ab als die Basis-Zero-Shot-Methode (LLM-v-ns).
Modellauswahl:
- Llama 3.1 70B performte am besten auf englischen Datensätzen.
- Aya Expanse 32B (ein mehrsprachiges Modell) schnitt auf nicht-englischen Datensätzen besser ab als Llama 70B, was die Bedeutung mehrsprachiger Trainingsdaten unterstreicht.
Generalisierung: Die vorgeschlagene Methode zeigte signifikante Gewinne auf nicht-englischen Datensätzen, was darauf hindeutet, dass explizite Skalendefinitionen LLMs helfen, einen Mangel an internalisiertem Wissen in ressourcenärmeren Sprachen zu überwinden.

B. LAURAE-Performance

Überlegenheit: LAURAE schnitt auf 13 von 14 Datensätzen besser ab als alle Basislinien (eigenständige LLMs, Formeln und RSRS).
Robustheit:
- Es überbrückte erfolgreich die Lücken, in denen eigenständige LLMs Schwierigkeiten hatten (z. B. sehr kurze Texte oder spezifische technische Domänen), indem es oberflächliche Formelmerkmale nutzte.
- Es behielt eine hohe Performance bei, wo Formeln versagten (z. B. komplexe kontextuelle Texte), indem es das LLM-Verständnis nutzte.
Ablationsstudien:
- Die Verwendung von verbalen Vertrauensscores als Gewichte erwies sich als überlegen gegenüber Entropie-basierten Gewichten oder gleicher Gewichtung (naives Ensemble).
- Der Ersatz von Lesbarkeitsformeln durch RSRS im Ensemble führte zu einer leicht geringeren Performance, was bestätigt, dass einfache Formeln eine effektivere „oberflächliche" Komponente für diese spezifische Aufgabe sind.

5. Wichtige Beiträge

Methodischer Fortschritt: Einführung eines robusten Zero-Shot-Prompting-Rahmens mit Skalendefinitionen und Erwartungswert-Bewertung, der die LLM-Performance gegenüber dem bisherigen Stand der Technik signifikant verbessert.
Neuartige Ensemble-Methode (LAURAE): Vorschlag eines vertrauensgewichteten Ensembles, das die kontextuelle Stärke von LLMs mit der Stabilität von Lesbarkeitsformeln kombiniert und damit state-of-the-art unüberwachte Performance erreicht.
Umfassende Evaluation: Bereitstellung der ersten groß angelegten Evaluation von 10 Open-Source-LLMs über 14 diverse Datensätze (Sprachen, Längen, Domänen), die die Annahme herausfordert, dass GPT-4 die einzige praktikable Option ist, und die Notwendigkeit mehrsprachiger Modelle für nicht-englische Aufgaben aufzeigt.
Offene Ressourcen: Veröffentlichung von Code, Datensätzen (einschließlich kuratierter griechischer Lehrbuchdatensätze) und Prompts zur Förderung zukünftiger Forschung.

6. Bedeutung

Praktische Adoption: LAURAE bietet eine praktikable, hochgenaue Alternative zur manuellen Annotation für Lesbarkeitsbewertungen, insbesondere nützlich für den Gesundheits- und Bildungsbereich, wo manuelle Kennzeichnung zu kostspielig ist.
Paradigmenwechsel: Das Papier zeigt, dass reine LLMs zwar leistungsstark sind, hybride Ansätze (Kombination von Deep Learning mit oberflächlichen Heuristiken) in unüberwachten Settings die robustesten Ergebnisse liefern.
Mehrsprachige Einsicht: Die Ergebnisse betonen, dass für globale Anwendungen mehrsprachig spezifische Modelle (wie Aya) unerlässlich sind und explizite Prompting-Strategien erforderlich sind, um Leistungslücken in nicht-englischen Sprachen zu überbrücken.
Zukünftige Richtungen: Die Arbeit legt nahe, dass die Kombination von Zero-Shot-LLM-Bewertungen mit oberflächlichen NLP-Tools andere unüberwachte Aufgaben wie Sentiment-Analyse oder Toxizitätserkennung verbessern könnte.

Festgestellte Einschränkungen: Die Methode erfordert Python-Kenntnisse und erhebliche Rechenressourcen (GPUs) im Vergleich zu einfachen Formelrechnern. Zudem wurde die „Black-Box"-Natur von LLM-Erklärungen in dieser Studie nicht vollständig auf Plausibilität evaluiert.