Invisible to humans, visible to machines: a preregistered audit of Unicode fidelity across four biomedical bibliographic APIs
Dieser vorregistrierte Audit offenbart, dass vier bedeutende biomedizinische bibliografische APIs signifikante, undokumentierte Verluste der Zeichentreue – insbesondere bei typografischer Interpunktion und speziellen Whitespaces – im Vergleich zum JATS-XML-Ground-Truth von PubMed Central aufweisen, was Risiken für Text Mining, Korpuskonstruktion und das Training von LLMs darstellt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Bibliothekar, der versucht, eine riesige, perfekte digitale Bibliothek medizinischer Forschung aufzubauen. Sie haben vier verschiedene Lieferwagen (APIs), die Ihnen die Zusammenfassungen (Abstracts) dieser Arbeiten bringen. Sie gehen davon aus, dass der Inhalt der Boxen, wenn ein LKW eine Lieferung bringt, exakt das ist, was der Autor geschrieben hat.
Dieses Papier ist ein Audit, das prüft, ob diese LKWs tatsächlich exakt denselben Inhalt liefern oder ob sie im Stillen bestimmte Gegenstände innerhalb der Boxen austauschen, bevor sie sie übergeben.
Hier ist die Aufschlüsselung dessen, was die Studie herausgefunden hat, unter Verwendung einfacher Analogien:
Das Setup: Der „Perfekte Kopie“-Test
Die Forscher nahmen 4.000 medizinische Arbeiten aus einer Master-Quelle (PubMed Central) und baten vier große Lieferdienste – PubMed, Crossref, OpenAlex und Semantic Scholar – die Abstracts zu senden. Sie verglichen dann den gelieferten Text Zeichen für Zeichen mit der ursprünglichen „Goldstandard“-Datei.
Sie suchten nicht nach fehlenden Wörtern oder ganzen Sätzen. Sie suchten nach winzigen, unsichtbaren Details: spezieller Interpunktion (wie schicken Gedankenstrichen oder geschwungenen Anführungszeichen) oder wissenschaftlichen Symbolen (wie griechischen Buchstaben oder Plus/Minus-Zeichen) und speziellen Arten von Leerzeichen.
Die große Enthüllung: „Für Menschen unsichtbar, für Maschinen sichtbar“
Die wichtigste Erkenntung ist, dass Menschen den Unterschied nicht bemerken können, aber Computer schon.
- Die menschliche Sicht: Wenn Sie einen Artikel von PubMed und einen von Crossref lesen, sehen sie identisch aus. Ein Strich sieht aus wie ein Strich. Ein Leerzeichen sieht aus wie ein Leerzeichen.
- Die maschinelle Sicht: Für ein Computerprogramm (wie eine KI oder eine Suchmaschine) sind ein „schicker Gedankenstrich“ und ein „normaler Gedankenstrich“ völlig unterschiedliche Dinge. Das eine ist ein spezieller Code, das andere ein basaler Code. Wenn der Lieferwagen diesen tauscht, denkt der Computer, es handele sich um ein völlig anderes Wort.
Die zwei großen „Leckagen“
Die Studie fand heraus, dass zwei der vier LKWs systematisch bestimmte Arten von Gegenständen verloren oder veränderte:
1. Der PubMed-LKW: Die „Plain-Text“-Politik
- Was passierte: PubMed nimmt den Originaltext und „flacht“ ihn aggressiv ab. Wenn der Autor ein schickes geschwungenes Anführungszeichen (
') oder einen speziellen Gedankenstrich (—) verwendet hat, tauscht PubMed dies gegen eine einfache, langweilige Version ('oder-) aus. - Die Analogie: Stellen Sie sich vor, Sie senden einen Brief mit einem Wachssiegel. Der Lieferdienst (PubMed) schmilzt das Wachssiegel ab und ersetzt es durch einen einfachen Aufkleber. Für den menschlichen Leser sagt der Brief immer noch dasselbe. Aber für eine Maschine, die „Wachssiegel“ als ein spezifisches Signal zählt, ist das Siegel verschwunden.
- Das Ergebnis: In fast jedem Abstract, der diese speziellen Zeichen enthielt, ersetzte PubMed sie. Nur 0,6 % der Zeit überlebte das spezielle Zeichen.
2. Der OpenAlex-LKW: Das „Unsichtbare Leerzeichen“-Problem
- Was passierte: OpenAlex speichert Abstracts auf eine Weise, die nur die Wörter und deren Reihenfolge behält, dabei aber die spezifischen Leerzeichen zwischen ihnen wegwirft. Wenn ein Autor ein „geschütztes Leerzeichen“ (ein spezielles Leerzeichen, das zwei Wörter zusammenhält) verwendet hat, verwandelt OpenAlex dies in ein reguläres Leerzeichen.
- Die Analogie: Stellen Sie sich ein Puzzle vor, bei dem die Teile die Wörter sind. OpenAlex nimmt das Puzzle auseinander, legt die Wörter in einen Beutel und schüttet sie dann mit Standard-Abständen wieder aus. Es erinnert sich nicht daran, dass zwei spezifische Teile mit einem speziellen Kleber zusammengehalten werden sollten.
- Das Ergebnis: 0 % der speziellen Leerzeichen überlebten. Sie wurden alle in reguläre Leerzeichen umgewandelt.
Die guten Nachrichten: Die „sicheren“ Gegenstände
Nicht alles ging verloren. Die Studie fand heraus, dass die anderen zwei LKWs (Crossref und Semantic Scholar) sehr vorsichtig mit den „wichtigen“ Dingen waren.
- Wissenschaftliche Symbole & Griechische Buchstaben: Alle vier LKWs lieferten diese perfekt. Wenn ein Paper „Beta“ (β) oder „Plus-Minus“ (±) erwähnte, lieferte jeder einzelne LKW das exakte Symbol.
- Warum das wichtig ist: Das bedeutet, dass die Bedeutung der Wissenschaft sicher ist, aber der Stil und die Formatierung nicht.
Das „Fehlende Box“-Problem (Crossref)
Es wurde noch ein anderes großes Problem gefunden, aber es ging nicht darum, Text zu verändern; es ging darum, ganze Boxen komplett zu verlieren.
- Das Problem: Der Crossref-LKW brachte für etwa 25 % der Papiere keinen Abstract mit.
- Die Ursache: Es lag nicht daran, dass Crossref den Text verloren hatte, sondern dass einige große Verlage (wie Elsevier und die American Chemical Society) Crossref die Abstracts gar nicht erst gegeben hatten.
- Die Analogie: Es ist, als würde ein Lieferdienst nur Pakete aus bestimmten Vierteln annehmen. Wenn Sie in einem Viertel wohnen, das er nicht bedient, erhalten Sie gar kein Paket.
Warum sollten Sie das interessieren?
Das Papier argumenttiert, dass dies wichtig ist, weil wir zunehmend Bücher mit Maschinen lesen, nicht nur mit Menschen.
- KI und Forschung: Wenn eine KI versucht zu zählen, wie oft Autoren einen spezifischen „schicken Gedankenstrich“ verwenden, um zu erkennen, ob sie ein KI-Schreibwerkzeug genutzt haben, und der Lieferwagen (PubMed) diesen Gedankenstrich bereits gegen einen einfachen getauscht hat, wird die KI eine falsche Zählung erhalten. Sie könnte denken, der Autor hätte das Werkzeug nicht benutzt, obwohl er es tatsächlich getan hat.
- Suche und Duplikate: Wenn ein Computer versucht, Duplikate von Papern zu finden, indem er den exakten Text vergleicht, könnte er sie übersehen, wenn eine Version einen schicken Gedankenstrich und die andere einen normalen Gedankenstrich hat. Für uns sehen sie gleich aus, aber der Computer sieht sie als unterschiedlich an.
Das Fazum
Der Text, den Sie in einem medizinischen Abstract lesen, hängt vollständig davon ab, welche Website oder welches Tool Sie nutzen, um ihn abzurufen.
- Wenn Sie PubMed nutzen, erhalten Sie eine „bereinigte“ Version, bei der die spezielle Interpunktion abgeflacht wurde.
- Wenn Sie OpenAlex nutzen, erhalten Sie eine Version, in der die speziellen Abstände verloren gegangen sind.
- Wenn Sie Crossref nutzen, erhalten Sie unter Umständen gar keinen Abstract, wenn der Verlag ihn nicht gesendet hat.
- Wenn Sie Semantic Scholar nutzen, erhalten Sie den Text im Allgemeinen so, wie er ist.
Das Papier kommt zu dem Schluss, dass diese Änderungen für das menschliche Auge unsichtbar sind, aber enorme, systematische Fehler für die Maschinen darstellen, die nun die schwere Arbeit des Lesens, Analysierens und Organisierens wissenschaftlicher Literatur leisten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.