Invisible to humans, visible to machines: a preregistered audit of Unicode fidelity across four biomedical bibliographic APIs

Sintesi Tecnica: Invisibile agli Umani, Visibile alle Macchine

Problematica
Il text mining biomedico, l'analisi scientometrica e la costruzione di corpora di addestramento per i Large Language Models (LLM) si basano su un presupposto fondamentale, ma raramente testato: che il testo astratto recuperato tramite le API bibliografiche riproduca fedelmente l'abstract pubblicato. Tra il manoscritto dell'autore e lo strumento del ricercatore intercorre una catena di trasformazioni (preparazione del manoscritto, deposito dell'editore, serializzazione dell'API) che può silenziosamente scartare informazioni a livello di carattere. Mentre le caratteristiche lessicali composte da lettere latine di base sono generalmente preservate, i caratteri Unicode rari — come la punteggiatura tipografica, i simboli matematici, le lettere greche e gli spazi bianchi speciali — possono essere alterati o persi. Questi cambiamenti sono spesso invisibili ai lettori umani, ma critici per le pipeline di lettura del testo delle macchine, dove la tokenizzazione, la generazione di embedding e gli indicatori a livello di carattere (ad esempio, per il rilevamento della scrittura assistita da IA) dipendono da specifici code point. Studi precedenti hanno affrontato la completezza dei metadati o la classificazione dei documenti, ma non hanno quantificato sistematicamente la fedeltà a livello di carattere attraverso le principali API rispetto a una verità di base (ground truth) comune sotto un design pre-registrato.

Metodologia
Questo studio ha condotto un audit pre-registrato (OSF osf.io/269b5) confrontando quattro API pubbliche biomediche ampiamente utilizzate: PubMed E-utilities, Crossref, OpenAlex e Semantic Scholar. La verità di base è stata stabilita utilizzando i file JATS XML dal subset Open Access di PubMed Central (PMC) per l'anno di pubblicazione 2024.

• Campionamento: Un campione casuale semplice di 4.000 articoli di ricerca in lingua inglese è stato estratto da un'enumerazione completa del subset PMC OA (≈700.000 record).
• Caratteri Target: Cinquantuno code point Unicode sono stati tracciati, raggruppati in sei classi. Sono state analizzate quattro classi primarie: punteggiatura tipografica (es. trattini em, virgolette curve), simboli matematici/scientifici, lettere greche e spazi bianchi speciali (es. spazi non interruttivi). Sono state inoltre rilevate due classi esplorative (apici/pedici e varie) .
• Estimandi: Per ogni cella API × classe di caratteri sono stati calcolati due metriche co-primarie:
  1. Preservazione Condizionale (RQ1a): La quota di articoli che preserva almeno un carattere della classe tra gli articoli idonei (quelli con il carattere presente nel JATS e con un abstract non vuoto nell'API). Questo isola lo strato di gestione dei caratteri dell'API.
  2. Disponibilità Preservata End-to-End (RQ1b): La quota tra tutti i documenti positivi al JATS dove l'API restituisce un abstract non vuoto e il carattere è preservato. Questo combina disponibilità e fedeltità.
• Regole Decisionali: Una cella era classificata come "perdita sistematica" se il limite superiore dell'intervallo di confidenza di Wilson al 95% era inferiore al 5%, "fedele" se il limite inferiore superava il 90%, e "parziale" altrimenti.
• Audit del Meccanismo: Per le celle che soddisfacevano il criterio di perdita sistematica, è stato eseguito un audit del meccanismo in cieco su 50 record discordanti. Un modello linguistico (Claude Haiku), agendo come auditor in cieco, ha identificato la causa della perdita (es. sostituzione, perdita di serializzazione). La affidabilità intra-rater è stata misurata tramite il kappa di Cohen.

Risultati Chiave
L'audit ha rivelato che la fedeltà a livello di carattere è altamente dipendente dall'API e spesso non documentata.

1. Due Perdite Sistematiche e Deterministiche:

   • PubMed (Punteggiatura Tipografica): Il campo <AbstractText> ha preservato la punteggiatura tipografica Unicode in solo lo 0,6% degli abstract idonei (95% CI 0,3–1,0%). L'audit ha confermato che si tratta di una sostituzione deterministica di caratteri (es. trattini em, virgolette curve) con equivalenti ASCII (es. trattini brevi, virgolette dritte).
   • OpenAlex (Spazi Bianchi Speciali): OpenAlex ha preservato gli spazi bianchi speciali nello 0,0% degli abstract idonei (95% CI 0,0–0,4%). Questa perdita è strutturale; l' abstract_inverted_index memorizza solo i token delle parole e le loro posizioni, ricostruendo il testo con un singolo spazio standard (U+0020), rendendo il non-standard whitespace irrecuperabile.

2. Preservazione Fedele dei Caratteri Semantici:

   • Tutte e quattro le API hanno preservato i simboli matematici/scientifici e le lettere greche con alta fedeltà (>95% di preservazione condizionale). I limiti inferiori degli intervalli di confidenza al 95% hanno superato il 90% per tutte le otto celle in queste categorie.

3. Preservazione Parziale:

   • OpenAlex ha mostrato una preservazione parziale per la punteggiatura tipografica (34,0%), poiché alcuni caratteri all'interno dei token sono sopravvissuti alla tokenizzazione mentre altri no.
   • Semantic Scholar ha mostrato una preservazione parziale per gli spazi bianchi speciali (59,6%), performando meglio di OpenAlex ma peggio di PubMed e Crossref.

4. Lacune di Copertura (Crossref):

   • Crossref non ha restituito alcun abstract per il 24,6% dei documenti campionati (copertura del 75,4%). Questo gap è dipendente dall'editore, con Elsevier e l'American Chemical Society che hanno depositato lo 0% degli abstract, mentre MDPI, Frontiers e altri hanno depositato il 100%. Questo è un problema di deposito dell'editore, non di normalizzazione dei caratteri.

5. Conferma del Meccanismo:

   • L'audit in cieco ha confermato entrambe le perdite sistematiche come deterministiche. La perdita di PubMed era una sostituzione al 100%; la perdita di OpenAlex era non ambigua al 100% (42% perdita di serializzazione, 8% sostituzione), superando la soglia del ≥90%.

Significatività e Rivendicazioni
Il documento afferma che la bibliometria a livello di carattere dipende dalla fonte. Senza la validazione a livello di API, un segnale stilistico misurato può riflettere le politiche di normalizzazione della pipeline dei metadati piuttosto che la letteratura stessa.

• Invisibile agli Umani, Visibile alle Macchine: Le trasformazioni (es. sostituire un trattino em con un trattino breve) sono indistinguibili per i lettori umani ma alterano fondamentalmente la sequenza di byte, la tokenizzazione e gli embedding elaborati dalle macchine.
• Conseguenze per il Rilevamento della Scrittura Assistita da IA: Gli studi che inferiscono l'autoria IA da segnali a livello di carattere (es. frequenza del trattino em) sono compromessi se l'API normalizza tali caratteri. Ad esempio, misurare la frequenza del trattino em in PubMed significa effettivamente misurare la politica di normalizzazione di NCBI, poiché il carattere viene perso nel 99% dei casi.
• Conseguenze per i Corpora e la Ricerca: I corpora costruiti da abstract di Crossref portano un bias di selezione correlato all'editore (omettendo Elsevier e ACS). Inoltre, lo stesso articolo produce token ed embedding differenti a seconda dell'API, influenzando la deduplicazione, la ricerca semantica e la riproducibilità dei benchmark.
• Nota Metodologica sull'Auditing: Lo studio dimostra che, nell'era dell'IA, gli "auditor" per i compiti a livello di carattere potrebbero dover essere modelli linguistici operanti sui code point piuttosto che esseri umani, poiché i caratteri in questione sono spesso visivamente indistinguibili all'occhio umano (es. NBSP vs spazio).

Lo studio conclude che, per la punteggiatura tipografica, i ricercatori dovrebbero fare affidamento su Crossref o Semantic Scholar; per i caratteri matematici e greci, qualsiasi delle quattro API è sufficiente; e per gli spazi bianchi speciali, le fonti con indice invertito come OpenAlex dovrebbero essere evitate. I risultati sottolineano la necessità di validare le pipeline di metadati prima di trarre conclusioni dai segnali a livello di carattere.