Automated auditing of statistical quality in university theses: why lexical rules fail and what a language layer adds
Diese Studie zeigt, dass die regelbasierte automatisierte Prüfung der statistischen Qualität in Universitätsarbeiten aufgrund grundlegender lexikalischer Einschränkungen schlechter als der Zufall abschneidet, aber die Integration einer Sprachmodellschicht die Übereinstimmung mit Expertenurteil signifikant verbessert, während gleichzeitig eine hohe Trefferquote und geringe Kosten beibehalten werden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Seit Jahrzehnten machen sich Wissenschaftler Sorgen darüber, wie Forschung berichtet wird. Wenn eine Studie behauptet, ein signifikantes Ergebnis gefunden zu haben, stützt sie sich in der Regel auf Zahlen und Tests, um dies zu beweisen. Experten wissen schon lange, dass diese Berichte oft Fehler enthalten, wie etwa falsch zugeordnete Zahlen oder fehlende Details, die die Ergebnisse unzuverlässig machen können. Um dies zu beheben, haben Forscher versucht, Computerprogramme zu entwickeln, die automatisch tausende wissenschaftliche Arbeiten scannen können, um diese Fehler zu finden. Die Hoffnung war, dass eine Maschine die Arbeit vieler Autoren schnell überprüfen könnte, indem sie Probleme aufspürt, die menschlichen Gutachtern aufgrund von Müdigkeit oder Zeitmangel entgehen könnten. Diese Idee der automatisierten Überprüfung ist populär geworden, insbesondere für die Überprüfung der massiven Menge an Forschung, die von Universitäten produziert wird, wo studentische Abschlussarbeiten eine primäre Form des Outputs darstellen.
Eine neue Studie von Forschern aus Peru stellt jedoch die Annahme infrage, dass diese einfachen Computerprogramme tatsächlich eine gute Arbeit leisten. Das Team entwickelte ein System, um fast tausend Universitätsarbeiten zu prüfen, wobei es nach häufigen statistischen Fehlern suchte. Sie begannen mit einem unkomplizierten Ansatz: Sie programmierten den Computer so, dass er nach bestimmten Wörtern und Phrasen sucht, wie etwa den Namen statistischer Tests oder Erwähnungen von „p-Werten“, bei denen es sich um Zahlen handelt, die verwendet werden, um zu entscheiden, ob ein Ergebnis bedeutsam ist. Die Idee war, dass der Computer eine Arbeit als Fehler markieren würde, wenn eine Abschlussarbeit einen Test erwähnt, aber nicht erwähnt, ob dessen Voraussetzungen geprüft wurden, oder wenn sie behauptete, ein Ergebnis sei signifikant, ohne die richtigen Zahlen zu nennen. Diese Methode ist kostengünstig, schnell und liefert ordentliche Prozentsätze, die auf den ersten Blick beeindruckend wirken.
Die Forscher testeten dieses einfache Wortsuchsystem dann gegen einen viel strengeren Standard: das sorgfältige, doppelt geprüfte Urteil von menschlichen Experten. Sie baten zwei unabhängige Experten, dieselben Abschlussarbeiten zu lesen und zu entscheiden, ob diese echte Probleme enthielten. Als sie die Liste des Computers mit den Fehlern mit der Liste der Experten verglichen, waren die Ergebnisse schockierend. Der Computer war nicht nur leicht daneben; er schnitt schlechter ab, als wenn er einfach auf Zufall basierend geraten hätte. Tatsächlich war die Übereinstimmung des Computers mit den Experten negativ, was bedeutet, dass er aktiv die falschen Dinge fand. Er markierte Arbeiten oft als fehlerhaft, obwohl sie eigentlich in Ordnung waren, und übersah die Arbeiten, die tatsächlich ernsthafte Probleme hatten.
Die Studie ging der Frage nach, warum dies geschah, und fand zwei Hauptgründe. Erstens konnte der Computer nicht zwischen einem Test unterscheiden, den ein Student tatsächlich durchgeführt hat, und einem Test, den der Student nur erwähnte, während er über die Arbeit eines anderen sprach. Wenn eine Arbeit sagte: „Smith verwendete einen t-Test“, dachte der Computer, der Student habe einen t-Test verwendet, und markierte es als Fehler, falls der Student nicht die notwendigen Bedingungen geprüft hatte. Zweitens, und noch wichtiger, konnte der Computer die Logik der Zahlen nicht verstehen. In einem klaren Beispiel behauptete eine Arbeit, ein Ergebnis sei signifikant, weil eine Zahl kleiner als eine andere Zahl sei, aber die Zahlen waren so geschrieben, dass die Behauptung mathematisch unmöglich war. Der Computer sah die Wörter „signifikant“ und eine Zahl, und dachte daher, alles sei korrekt. Er konnte nicht erkennen, dass die Logik, die sie verband, unterbrochen war.
Um dies zu lösen, fügten die Forscher eine dritte Ebene zu ihrem System hinzu. Anstatt nur nach Wörtern zu suchen, speisten sie kleine, fokussierte Textstücke in ein hochentwickeltes Sprachmodell ein. Dieses Modell agiert eher wie ein menschlicher Leser; es betrachtet den Kontext, um zu sehen, wer das Experiment durchgeführt hat, und prüft, ob die Schlussfolgerung tatsächlich aus den bereitgestellten Zahlen folgt. Als sie diesen intelligenteren Ansatz verwendeten, wurde das System viel zuverlässiger. Es fand alle echten Fehler, die die Experten fanden, einschließlich der kniffligen, die der einfache Wortsucher übersehen hatte, und hörte auf, Arbeiten als fehlerhaft zu markieren, die eigentlich korrekt waren. Die Kosten für den Betrieb dieses intelligenteren Systems waren unglaublich gering und beliefen sich auf nur wenige Cent pro Abschlussarbeit, was es für jede Universität praktikabel machte.
Die wichtigste Erkenntnis dieser Arbeit ist nicht nur, dass das neue System besser funktioniert, sondern dass die alte Art des Vorgehens grundlegend fehlerhaft ist. Die Studie zeigt, dass das bloße Zählen von Wörtern oder Mustern nicht sagen kann, ob ein wissenschaftlicher Bericht gut oder schlecht ist. Ein Computerprogramm, das sich nur auf das Finden spezifischer Phrasen verlässt, wird Zahlen produzieren, die zwar wissenschaftlich aussehen, aber tatsächlich bedeutungslos sind. Die Forscher kommen zu dem Schluss, dass jeder, der automatisierte Werkzeuge zur Überprüfung der Qualität von Forschung einsetzt, zuerst beweisen muss, dass sein Werkzeug mit menschlichen Experten übereinstimmt. Ohne diesen Beweis sind die Statistiken, die sie über die Anzahl der Fehler in einem Fachbereich veröffentlichen, nicht nur ungenau, sondern uninterpretierbar. Der Weg nach vorn erfordert Systeme, die in der Lage sind, die Bedeutung des Textes zu verstehen, und nicht nur die Wörter auf der Seite.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.