Eye Tracking Based Cognitive Evaluation of Automatic Readability Assessment Methods
Dieses Paper führt ein auf Eye-Tracking basierendes kognitives Evaluierungsframework ein, das aufzeigt, dass traditionelle Lesbarkeitsformeln, NLP-Methoden, kommerzielle Systeme und wegweisende LLMs im Vergleich zu psycholinguistischen Wort-Eigenschaften schlechte Prädiktoren für die Echtzeit-Lesbarkeit sind, was die Notwendigkeit neuer, kognitiv getriebener Scoring-Ansätze hervorhebt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, wie leicht ein Buch zu lesen ist. Seit über hundert Jahren versuchen Wissenschaftler und Lehrer, „Lesbarkeitsformeln“ zu entwickeln – mathematische Rezepte, die einen Text analysieren und ein Sprachniveau ausspucken, wie etwa „dies ist ein Text für die 5. Klasse“ oder „dies ist ein Text für die 12. Klasse“. Meistens machen sie das, indem sie Dinge zählen, wie zum Beispiel die Länge der Sätze oder wie viele lange Wörter darin vorkommen. Aber hier liegt der knifflige Teil: Nur weil ein Text kurze Sätze hat, bedeutet das noch lange nicht, dass sich ein Mensch beim Lesen auch tatsächlich so anfühlt, als wäre er leicht zu lesen. Um wirklich zu wissen, ob ein Text leicht ist, muss man sehen, wie das Gehirn eines Menschen in Echtzeit arbeitet. Hier kommt das „Eye Tracking“ ins Spiel. Es ist so, als würde man eine winzige Kamera auf das Auge einer Person setzen, um genau zu sehen, wohin sie schaut, wie lange sie auf einem Wort verweilt und ob sie zurückblicken muss (Regression), weil sie verwirrt ist. Es ist der Unterschied zwischen dem Versuch, die Geschwindigkeit eines Autos zu erraten, indem man sich nur die Motorengröße ansieht, im Gegensatz dazu, es tatsächlich zu fahren und die Geschwindigkeit zu spüren.
Dieses Papier mit dem Titel „Eye Tracking Based Cognitive Evaluation of Automatic Readability Assessment Methods“ ist ein massiver Realitätscheck für die Welt der Textanalyse. Die Forscher, angeführt von Keren Gruteke Klein und ihrem Team am Technion in Israel, beschlossen, die populärsten Methoden zu testen, mit denen wir derzeit die Textschwierigkeit bewerten. Sie versammelten eine riesige Gruppe von 638 erwachsenen Lesern – einige Muttersprachler Englisch und einige, die Englisch als Zweitsprache gelernt haben – und ließen sie Nachrichtenartikel an einem Computer lesen, während ihre Augen mit einer extrem hohen Geschwindigkeit von 1.000 Mal pro Sekunde verfolgt wurden. Sie wandten einen klugen Trick an: Sie nahmen dieselben Nachrichtenartikel und ließen menschliche Lehrer diese einfacher umschreiben. Dies ermöglichte es den Forschern, die „schwere“ Version und die „leichte“ Version desselben Inhalts zu vergleichen, wodurch der Schreibstil vom Thema isoliert wurde.
Das Team stellte dann eine einfache Frage: Welches Computerprogramm ist am besten darin vorherzusagen, wie viel leichter sich die „leichte“ Version den Lesern tatsächlich angefühlt hat? Sie testeten alles, von alten mathematischen Formeln (wie dem Flesch Reading Ease Score) bis hin zu modernen KI-Systemen, kommerziellen Tools, die in Schulen verwendet werden, und wegweisenden Large Language Models (LLMs). Bemerkenswerterweise untersuchte die Studie Modelle wie GPT-4o und andere hochmoderne Systeme (einschließlich Versionen, die im Paper mit zukünftigen Daten wie 2025 bezeichnet werden) unter Verwendung spezifischer Prompts, die die KI aufforderten, ein Sprachniveau oder einen Schwierigkeitsgrad von 1 bis 100 zuzuweisen. Sie verglichen diese High-Tech-Tools mit sehr einfachen, altmodischen Messgrößen aus der Psychologie, wie etwa wie oft ein Wort in der Sprache vorkommt oder wie überraschend es ist, das nächste Wort zu sehen.
Die Ergebnisse waren ein Schock. Trotz all der schicken Technologie und der unglaublichen Kraft moderner KI waren die populären Lesbarkeits-Tools schlecht darin, vorherzusagen, wie einfach sich ein Text in Echtzeit zu lesen anfühlte. Die alten Formeln, die kommerziellen Schul-Tools und sogar die hochmodernen KI-Modelle scheiterten alle daran, die Augenbewegungen der Leser nachzuahmen. Tatsächlich erwiesen sich die besten Prädiktoren als die einfachsten Dinge: wie lang ein Wort ist, wie gebräuchlich es ist und ein Maß namens „Surprisal“ (was im Grunde eine mathematische Art ist zu sagen: „Wie unerwartet ist dieses Wort?“). Die Studie legt nahe, dass unsere derzeitigen Werkzeuge zwar gut darin sind, vorherzusagen, welches Sprachniveau ein Text hat, aber das eigentliche menschliche Erlebnis des Lesens verfehlen. Die Autoren kommen zu dem Schluss, dass wir aufhören müssen, uns auf diese alten Methoden für Entscheidungen mit hoher Tragweite zu verlassen, und statlich anfangen müssen, neue Systeme zu entwickeln, die tatsächlich davon getrieben werden, wie unser Gehirn Wörter im Moment des Lesens verarbeitet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.