Invisible to humans, visible to machines: a preregistered audit of Unicode fidelity across four biomedical bibliographic APIs
Deze vooraf geregistreerde audit onthult dat vier belangrijke biomedische bibliografische API's significante, ongedocumenteerde verliezen in karaktergetrouwheid vertonen — met name in typografische interpunctie en speciale witruimte — wanneer deze worden vergeleken met de JATS XML-grondwaarheid van PubMed Central, wat risico's inhoudt voor tekstextractie, corpusconstructie en het trainen van LLM's.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een bibliothecaris bent die een enorme, perfecte digitale bibliotheek van medisch onderzoek probeert op te bouwen. Je hebt vier verschillende vrachtwagens (API's) die de samenvattingen (abstracts) van deze artikelen bij je afleveren. Je gaat ervan uit dat wanneer een vrachtwagen een doos aflevert, de inhoud precies is wat de auteur heeft geschreven.
Dit artikel is een audit die controleert of die vrachtwagens daadwerkelijk exact dezelfde inhoud leveren, of dat ze stiekem specifieke items in de dozen aan het verwisselen zijn voordat ze ze aan je overhandigen.
Hier is de uitslag van het onderzoek, uitgelegd met eenvoudige analogieën:
De Opzet: De "Perfecte Kopie" Test
De onderzoekers namen 4.000 medische artikelen uit een bron van topkwaliteit (PubMed Central) en vroegen vier grote leveranciers — PubMed, Crossref, OpenAlex en Semantic Scholar — om de samenvattingen van deze artikelen te sturen. Ze vergeleken de geleverde tekst vervolgens karakter voor karakter met het originele "gouden standaard" bestand.
Ze keken niet naar ontbrekende woorden of hele zinnen. Ze zochten naar minuscule, onzichtbare details: speciale leestekens (zoals sierlijke streepjes of kromme aanhalingstekens), wetenschappelijke symbolen (zoals Griekse letters of plus/min-tekens) en speciale soorten spaties.
De Grote Onthulling: "Onzichtbaar voor Mensen, Zichtbaar voor Machines"
De belangrijkste bevinding is dat mensen het verschil niet zien, maar computers wel.
- Het menselijke perspectief: Als je een artikel van PubMed leest en een artikel van Crossref, zien ze er identiek uit. Een streepje ziet eruit als een streepje. Een spatie ziet eruit als een spatie.
- Het machineperspectief: Voor een computerprogramma (zoals een AI of een zoekmachine) zijn een "sierlijk streepje" en een "gewoon streepje" totaal verschillende dingen. De één is een speciaal code, de ander is een basiscode. Als de vrachtwagen het streepje verwisselt, denkt de computer dat het een heel ander woord is.
De Twee Grote "Lekkages"
Het onderzoek toonde aan dat twee van de vier vrachtwagens systematisch specifieke soorten items kwijtraakten of veranderden:
1. De PubMed Vrachtwagen: Het "Platte Tekst" Beleid
- Wat er gebeurde: PubMed neemt de originele tekst en "vlakt" deze agressief af. Als een auteur een sierlijk aanhalingsteken (
') of een speciaal em-dash (—) gebruikte, vervangt PubMed dit door een basisversie ('of-). - De analogie: Stel je voor dat je een brief stuurt met een lakzegel. De bezorgdienst (PubMed) smelt het lakzegel eraf en vervangt het door een gewone sticker. Voor de menselijke lezer zegt de brief nog steeds hetzelfde. Maar voor een machine die "lakzegels" als een specifiek signaal telt, is het zegel verdwenen.
- Het resultaat: In bijna elk abstract waarin deze speciale tekens voorkwamen, verving PubMed ze. Slechts 0,6% van de tijd bleef het speciale teken behouden.
2. De OpenAlex Vrachtwagen: Het "Onzichtbare Spatie" Probleem
- Wat er gebeurde: OpenAlex slaat abstracts op een manier op waarbij alleen de woorden en hun volgorde worden bewaard, waarbij de specifieke spaties tussen hen worden weggegooid. Als een auteur een "non-breaking space" (een speciale spatie die twee woorden aan elkaar plakt) gebruikte, verandert OpenAlex dit in een gewone spatie.
- De analogie: Stel je een puzzel voor waarbij de stukjes de woorden zijn. OpenAlex haalt de puzzel uit elkaar, doet de woorden in een zak en stort ze er dan weer uit met standaard tussenruimtes. Het onthoudt niet dat twee specifieke stukjes met een speciale lijm aan elkaar zaten.
- Het resultaat: 0% van de speciale spaties overleefde. Ze werden allemaal omgezet in gewone spaties.
Het Goede Nieuws: De "Veilige" Items
Niet alles ging verloren. Het onderzoek vond dat de andere twee vrachtwagens (Crossref en Semantic Scholar) erg voorzichtig waren met de "belangrijke" zaken.
- Wetenschappelijke Symbolen & Griekse Letters: Alle vier de vrachtwagens leverden deze perfect aan. Als een artikel verwees naar "Beta" (β) of "plus of minus" (±), leverde elke vrachtwagen exact hetzelfde symbool.
- Waarom dit belangrijk is: Dit betekent dat de betekenis van de wetenschap veilig is, maar de stijl en de opmaak niet.
Het "Ontbrekende Doos" Probleen (Crossref)
Er werd ook een ander groot probleem gevonden, maar dat ging niet over het veranderen van tekst; het ging over het volledig ontbreken van dozen.
- Het probleem: De Crossref vrachtwagen bracht voor ongeveer 25% van de artikelen geen abstract mee.
- De oorzaak: Het was niet dat Crossref de tekst verloor; het was dat sommige grote uitgevers (zoals Elsevier en de American Chemical Society) de abstracts simpelweg niet aan Crossref hadden gegeven.
- De analogie: Het is alsozijn een bezorgdienst die alleen pakketten accepteert uit bepaalde wijken. Als je in een wijk woont die zij niet bedienen, krijg je helemaal geen pakket.
Waarom Moet Je Dit Wissen?
Het artikel betoogt dat dit ertoe doet omdat we steeds meer boeken lezen met machines, niet alleen met mensen.
- AI en Onderzoek: Als een AI probeert te tellen hoe vaak auteurs een specifiek "sierlijk streepje" gebruiken om te detecten of ze een AI-schrijftool hebben gebruikt, en de leveringsvrachtwagen (PubMed) heeft dat streepje al vervangen voor een gewoon streepje, krijgt de AI een verkeerde telling. De AI kan denken dat de auteur de tool niet heeft gebruikt, terwijl dat wel degelijk het geval was.
- Zoeken en Duplicaten: Als een computer probeert duplicaten van artikelen te vinden door de exacte tekst te vergelijken, kan het artikelen missen als de ene versie een sierlijk streepje heeft en de andere een gewoon streepje. Ze zien er voor ons hetzelfde uit, maar de computer ziet ze als verschillende zaken.
De Kern van de Zaak
De tekst die je leest in een medisch abstract hangt volledig af van welke website of tool je gebruikt om het te verkrijgen.
- Als je PubMed gebruikt, krijg je een "opgeschoonde" versie waarbij speciale leestekens zijn afgeplat.
- Als je OpenAlex gebruikt, krijg je een versie waarbij speciale spaties verloren zijn gegaan.
- Als je Crossref gebruikt, krijg je misschien geen abstract als de uitgever het niet heeft meegestuurd.
- Als je Semantic Scholar gebruikt, krijg je over het algemeen de tekst zoals deze is.
Het artikel concludeert dat hoewel deze veranderingen onzichtbaar zijn voor het menselijk oog, het enorme, systematische fouten zijn voor de machines die nu het zware werk doen bij het lezen, analyseren en organiseren van wetenschappelijke literatuur.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.