How much of an LLM-generated clinical corpus is actually new? A production-scale measurement of content redundancy for provenance classification

Sintesi Tecnica: "Quanto è realmente nuovo un corpus clinico generato da un LLM?"

Problematica
L'apprendimento automatico clinico si affida sempre più a corpora di addestramento generati da Modelli di Linguaggio di Grandi Dimensioni (LLM) piuttosto che annotati manualmente dai clinici. Questi corpora sintetici vengono tipicamente descritti, condivisi e consumati in base alla loro scala riportata (ad esempio, il conteggio totale dei token o il numero di elementi estratti). Tuttavia, questa pratica assume che il volume equivalga al contenuto informativo. Gli autori sostengono che i corpora sintetici generati applicando regole di estrazione coerenti a testi clinici ripetitivi possano contenere una sostanziale duplicazione, dove la dimensione apparente del corpus supera significativamente l'informazione distinta che trasporta. Questa inflazione influisce su come vengono stimati i costi di addestramento e, criticamente, su come viene interpretata la distribuzione dei dati per l'uso clinico. Prima di questo lavoro, il contenuto informativo dell'output di un LLM clinico multi-task non era stato misurato rispetto alla sua dimensione grezza su scala di produzione.

Metodologia
Lo studio analizza l'output completo di una pipeline di estrazione clinica multi-agente applicata a 167.034 narrazioni di pazienti dal corpus PMC-Patients. La pipeline utilizza un modello generatore (Llama-3.3-70B) e un modello verificatore (MMed-Llama-3.1-70B) per produrre output strutturati attraverso undici canali di task, di cui dieci contengono testo libero.

La metodologia centrale consiste nella Decomposizione della Ridondanza basata sulla Provenienza (PRD), un sistema di classificazione a livello di token che categorizza ogni token di output in cinque categorie di provenienza:

1. Testo sorgente unico: Narrazioni di pazienti de-duplicate.
2. Contenuto generato unico: Testo prodotto dal modello che appare una sola volta.
3. Contenuto generato duplicato: Testo prodotto dal modello che si ripete tra i record.
4. Contesto copiato: Narrazioni sorgente riprodotte verbatim all'interno dei campi di contesto per ogni item.
5. Scaffold: Metadati strutturali (identificatori, offset, valori enumerati).

Per validare questi risultati indipendentemente dalle etichette di provenienza, gli autori hanno applicato la compressione lossless (utilizzando gzip, bzip2, LZMA e PPMD) a quattro flussi di token distinti: l'intero corpus, il sottoinsieme unico addestrabile, lo stream del contesto copiato e lo stream della generazione duplicata.

Infine, gli autori hanno condotto un esperimento controllato a valle per misurare l'impatto della ridondanza sulle prestazioni del modello. Hanno adattato un encoder clinico (BioClinical ModernBERT) su tre versioni del corpus (grezzo, de-duplicato e privo di contesto) sotto un budget di token identico. Gli encoder adattati sono stati valutati su tre benchmark esterni di riconoscimento delle malattie annotati da umani (NCBI-Disease e BC5CDR-Disease) utilizzando una sonda lineare.

Contributi Chiave

1. Misurazione su Scala di Produzione: Il documento fornisce la prima misurazione del divario tra contenuto informativo apparente e reale in un corpus clinico LLM multi-task, stabilendo che il conteggio dei token grezzi può sovrastimare il contenuto di circa nove volte.
2. Identificazione del Meccanismo: Identifica e quantifica separatamente due meccanismi di ridondanza strutturalmente distinti:
   • Ridondanza da copia di contesto: Copia verbatim delle narrazioni sorgente nei campi per item (rimovibile senza perdita di informazioni).
   • Ridondanza da duplicazione della generazione: Ripetizione del testo generato tra i record a causa delle regolarità del modello (richiede la de-duplicazione del contenuto).
3. Standard di Reporting e Strumenti: Gli autori propongono uno standard di reporting compatto per i corpora clinici sintetici, introducendo il Rapporto di Unicità Addestrabile (TUR) e il Rapporto di Copia del Contesto (CCR). Rilasciano anche uno strumento open-source che implementa la PRD per calcolare queste metriche per qualsiasi pipeline di estrazione multi-task.

Risultati

• Entità della Ridondanza: Dei 2,51 miliardi di token generati, solo il 10,9% (272,6 milioni di token) costituisce contenuto unico addestrabile. Il 79,4% è ridondante e il 9,7% è scaffold. Il contenuto ridondante da solo è 19,1 volte la dimensione del testo sorgente unico.
• Distribuzione dei Meccanismi:
  • La ridondanza da copia di contesto domina nei canali di Question-Answering-with-Reasoning (QAR) e Relation Extraction (RE), rappresentando rispettivamente l'81,0% e l'80,0% dei loro token.
  • La ridondanza da duplicazione della generazione domina nei canali Risk-QA, Recommendations e Risks.
  • Il canale Summary funge da controllo interno, mostrando quasi nessuna ridondanza (0% di contesto copiato, 0,0005% di duplicazione), dimostrando che la ridondanza è una funzione del design del canale piuttosto che una proprietà intrinseca dell'estrazione LLM.
• Struttura dei Costi:
  • Archiviazione: Il contesto copiato rappresenta circa 7,5 GB dei ~10 GB di impronta testuale. Ri-serializzare i riferimenti alle narrazioni una sola volta per paziente potrebbe ridurre questo valore a ~2,5 GB senza perdita di informazione.
  • Calcolo: Il 64% del calcolo della generazione di testo libero (298,3 milioni di token) è stato speso per ri-emettere stringhe che il modello aveva già prodotto. Questo costo è irrecuperabile.
  • Elaborazione: L'addestramento sul corpus grezzo impone un moltiplicatore di elaborazione di 9,2× rispetto al sottoinsieme unico.
• Impatto a Valle: A un budget di token uguale, un encoder addestrato sul corpus de-duplicato ha superato l'encoder addestrato sul corpus grezzo su entrambi i benchmark esterni (es. +0,029 F1 su NCBI-Disease). Il miglioramento è stato costante attraverso le profondità di adattamento e si è replicato su BC5CDR-Disease.
  • L'ablazione "senza contesto" (rimozione solo del contesto copiato) ha recuperato la maggior parte del beneficio, indicando che la componente rimovibile senza perdita di informazioni guida la maggior parte del costo a valle.
  • Contrariamente all'ipotesi che la ridondanza danneggi sproporzionatamente il riconoscimento di malattie rare, non è stata osservata alcuna riduzione affidabile specifica per le malattie rare; i guadagni sono stati costanti complessivamente e concentrati nelle malattie comuni.

Significatività e Rivendicazioni
Il documento sostiene che il volume dei corpora clinici sintetici è un cattivo indicatore del contenuto informativo. Le scoperte hanno implicazioni dirette sulla riproducibilità e l'equità dell'IA clinica:

• Integrità del Reporting: Descrivere un corpus tramite il conteggio dei token grezzi (ad esempio, "2,51 miliardi di token") rappresenta erroneamente la sua ricchezza informativa. Gli autori raccomandano di riportare la dimensione del contenuto unico insieme alla dimensione grezza.
• Efficienza dell'Addestramento: La ridondanza non corretta dà un peso eccessivo alle presentazioni più lunghe e complesse, sbilanciando la distribuzione dei token durante l'addestramento. De-duplicare prima dell'addestramento è un passaggio a basso costo e alto impatto che migliora le prestazioni del modello senza richiedere ulteriori dati.
• Controllo Qualità: Poiché la ridondanza è invisibile a livello di singolo record (ogni record è ben formato) ma emerge solo in aggregato, la classificazione della provenienza dovrebbe diventare una routine di controllo qualità per i dati sintetici.
• Implicazioni di Design: La variazione della ridondanza tra i canali (es. Summary vs QAR) dimostra che la ridondanza non è una proprietà inevitabile dell'estrazione LLM, ma una conseguenza del design della pipeline, specificamente se un canale emette molti elementi carichi di contesto per paziente.

Gli autori concludono che i corpora clinici sintetici rimangono una necessità pratica per i dati a questa scala, ma il loro contenuto informativo deve essere misurato e descritto onestamente per garantire un uso equo ed efficace nel machine learning clinico.