Measuring Latent Documentary Quality in Scholarly Communication: An Indicator Framework Based on PDF Validation and Technical Debt

Immaginate una biblioteca dove ogni libro è aperto al pubblico, elencato in un catalogo gigante e citato da studiosi di tutto il mondo. Sulla carta, questo sembra perfetto. Ma cosa succederebbe se le pagine di quei libri fossero fatte di un materiale che si sbriciola dopo pochi anni, o se il testo fosse scritto in un codice che nessuna macchina può leggere? Nel mondo della ricerca accademica, abbiamo trascorso decenni a costruire sistemi per misurare quanto uno studio sia aperto, visibile e influente. Contiamo quante volte un articolo viene citato o controlliamo se è disponibile gratuitamente. Queste sono misure utili, ma ci dicono solo se un articolo può essere trovato. Non ci dicono se l'articolo stesso è costruito per durare, o se è strutturato in modo da permettere a computer, lettori di schermo per non vedenti e archivi futuri di comprendere e utilizzare effettivamente le informazioni contenute in esso.

Questo divario è l'oggetto di un nuovo studio del ricercatore Kemal Yayla. Lo studio esamina la "qualità documentale" degli articoli accademici. Questo è un modo sofisticato per chiedere: il file digitale che trasporta la ricerca è abbastanza stabile da sopravvivere per decenni, ed è organizzato abbastanza bene affinché le macchine possano elaborarlo? Il ricercatore tratta il file digitale non solo come un contenitore di parole, ma come un oggetto fragile che necessita di specifiche caratteristiche tecniche per rimanere utile. Per scoprire se queste caratteristiche siano presenti, lo studio ha esaminato 1.340 versioni finali di articoli di ricerca pubblicati da riviste gestite da biblioteche negli Stati Uniti e in Canada. Questi articoli sono stati verificati rispetto a rigorosi standard tecnici progettati per garantire che possano essere preservati per sempre e letti da tecnologie assistive. I risultati rivelano una realtà sorprendente: sebbene questi articoli siano facili da trovare, i file stessi sono spesso guasti in modi che minacciano la loro sopravvivenza a lungo termine e l'accessibilità.

Lo studio è iniziato raccogliendo un set specifico di documenti. Il ricercatore ha selezionato riviste che fanno parte della Library Publishing Coalition, un gruppo di biblioteche negli Statiنا Uniti e in Canada che gestiscono le proprie riviste accademiche. Queste riviste sono note per essere aperte e trasparenti. Il ricercatore ha poi estratto i file PDF finali pubblicati per gli articoli pubblicati tra il 2024 e il 2025. In totale, sono stati raccolti 1.340 file. Questi file sono stati poi sottoposti a strumenti di test automatizzati che controllano la conformità a tre diversi standard tecnici. Il primo standard, noto come PDF/A-1b, è un regolamento di base per garantire che un documento possa essere aperto e letto da qualsiasi computer in futuro. Il secondo, PDF/A-2u, è una versione più rigorosa che richiede che il file porti la propria carta d'identità digitale in modo che gli archivi possano identificarlo automaticamente. Il terzo standard, PDF/UA-1, è un regolamento per l'accessibilità, che assicura che il documento abbia una struttura logica che i lettori di schermo possano navigare e che il testo possa essere copiato e cercato dalle macchine.

Quando i test sono iniziati, i risultati sono stati drastici. Dei 1.340 documenti, solo 18 hanno superato il test base per la preservazione a lungo termine. Nessuno di essi ha superato il test più rigoroso per l'identificazione digitale. Solo 10 hanno superato il test per l'accessibilità. Ciò significa che per quasi ogni singolo articolo controllato, il file non soddisfaceva i requisiti minimi per essere un record affidabile e permanente. Tuttavia, lo studio sostiene che dire semplicemente "questi file sono falliti" trascuri la parte più importante della storia. Il ricercatore ha sviluppato un nuovo modo di guardare a questi fallimenti, raggruppandoli in nove diverse categorie basate su ciò che esattamente era rotto e se potesse essere riparato.

L'analisi ha mostato che i fallimenti non erano tutti uguali. Alcuni problemi erano come etichette mancanti su una scatola. Ad esempio, quasi tutti i file sono falliti perché mancavano di una specifica dichiarazione digitale che dice a un archivio che tipo di file sia. Questo è un errore piccolo e riparabile. Non significa che il contenuto dell'articolo sia errato; significa solo che un pezzo di metadati è stato tralasciato durante l'esportazione finale. Questo tipo di errore è classificato come "post-hoc patchable" (riparabile ex post), il che significa che può essere corretto in seguito senza cambiare l'opera originale. Al contrario, altri fallimenti erano molto più seri. Lo studio ha scoperto che il 98,4% dei file ha fallito il test di accessibilità perché mancava di una struttura logica. Ciò significa che il testo non era etichettato in modo da dire a un computer dove finisce il titolo e dove inizia il corpo del testo, o dove inizia e finisce una tabella. Questi sono problemi "upstream-only" (solo a monte). Avvengono quando il documento viene creato per la prima volta. Una volta che il file è salvato come PDF, questa informazione strutturale non può essere aggiunta o corretta in modo affidabile. Il danno è fatto prima ancora che il file raggiunga il pubblico.

Lo studio ha anche osservato se questi problemi variassero per materia o per paese. I risultati hanno mostato che la mancanza di etichettatura strutturale era un problema universale. Appariva in quasi ogni documento, indipendentemente dal fatto che l'articolo riguardasse la biologia, la storia o l'ingegneria. Ciò suggerisce che il problema non sia l'autore o i campi di studio specifici, ma i software e i sistemi utilizzati per creare i file. Tuttavia, altri tipi di errori variavano. Ad esempio, i problemi con il testo che poteva essere copiato o cercato erano molto più comuni nei documenti scientifici e matematici rispetto a quelli di arte o legge. Questo ha senso, poiché i documenti scientifici utilizzano spesso simboli complessi e caratteri speciali che sono più difficili da gestire correttamente per i computer. Lo studio ha anche confrontato le riviste degli Stati Uniti e del Canada. Sebbene entrambi i gruppi avessero tassi di superamento complessivamente molto bassi, i tipi specifici di errori differivano leggermente, con le riviste canadesi che performavano leggermente meglio nei controlli di preservazione di base ma peggio nei controlli di accessibilità.

Il punto più importante di questo lavoro è che non possiamo giudicare la qualità di un articolo di ricerca solo guardando il suo titolo, il suo abstract o quante volte è stato citato. Un articolo può essere ampiamente letto e molto lodato, eppure il suo file digitale potrebbe essere illeggibile per un cieco, non ricercabile per un computer o impossibile da aprire tra cinquant'anni. Il nuovo framework del ricercatore dimostra che possiamo misurare queste falle nascoste. Scomponendo gli errori tecnici in categorie specifiche, possiamo vedere esattamente cosa è rotto e dove deve avvenire la riparazione. Alcune correzioni sono facili e possono essere fatte dopo la pubblicazione dell'articolo. Altre richiedono un cambiamento fondamentale nel modo in cui gli articoli vengono creati in primo luogo.

Questo studio non sostiene che l'editoria bibliotecaria stia fallendo. In realtà, utilizza l'editoria bibliotecaria come caso di studio perché queste istituzioni dovrebbero essere le più attente alla preservazione e alla condivisione della conoscenza. Se i file sono così guasti in un sistema progettato per essere perfetto, il problema è probabilmente ancora peggiore in altri ambienti editoriali. La ricerca non offre una soluzione magica, ma fornisce una mappa chiara del problema. Mostra che gli strumenti che usiamo per valutare la scienza sono ciechi rispetto alla salute fisica e tecnica dei documenti stessi. Finché non inizieremo a misurare se i file sono stabili e accessibili, staremo misurando solo metà del record accademico. Lo studio conclude che dobbiamo trattare il file digitale come una prova critica che richiede i propri controlli di qualità, garantendo che la conoscenza che produciamo oggi possa essere effettivamente utilizzata dal mondo domani.