DLT-Corpus: A Large-Scale Text Collection for the Distributed Ledger Technology Domain

Riepilogo Tecnico: DLT-Corpus

Enunciato del Problema
Il dominio della Tecnologia del Registro Distribuito (DLT), nonostante abbia raggiunto una capitalizzazione di mercato di circa 3 trilioni di dollari e introdotto concetti complessi come stablecoin, Exchange Decentralizzati (DEX) e Market Maker Automatizzati (AMM), manca di un corpus testuale completo e su larga scala. Le risorse esistenti di Elaborazione del Linguaggio Naturale (NLP) sono frammentate e si concentrano strettamente su compiti specifici a valle, come la previsione dei prezzi delle criptovalute, il trading e l'analisi degli smart contract. Queste risorse fanno prevalentemente affidamento su dati dei social media o registri transazionali, trascurando notevoli asset testuali presenti nella letteratura scientifica, nei depositi di brevetti e nella documentazione tecnica. Questo divario ostacola lo sviluppo di applicazioni NLP robuste, inclusi sistemi di Generazione Aumentata con Recupero (RAG) per ridurre le allucinazioni dei Modelli Linguistici di Grande Formato (LLM), il monitoraggio del panorama brevettuale e il rilevamento delle tendenze tecnologiche. Inoltre, è stato dimostrato che piccoli modelli linguistici addestrati su corpora specifici di dominio superano gli LLM generici in compiti specializzati, evidenziando l'urgente necessità di una risorsa testuale DLT dedicata.

Metodologia
Gli autori hanno costruito DLT-Corpus, una raccolta specifica di dominio che aggrega 2,98 miliardi di token da 22,12 milioni di documenti provenienti da tre fonti complementari:

1. Letteratura Scientifica: 37.440 pubblicazioni open access (1978–2025) recuperate da Semantic Scholar. La raccolta ha coinvolto l'analisi dei PDF, il filtraggio in inglese, la rimozione degli outlier e un rigoroso processo di filtraggio della rilevanza di dominio utilizzando un modello BERT fine-tuned per il Riconoscimento di Entità Nominate (NER) per escludere sistemi "distribuiti" non DLT (ad esempio, ricerca biomedica).
2. Brevetti: 49.023 depositi (1990–2025) dall'USPTO (database US-PGPUB e USPAT), selezionati per la mancanza di restrizioni sul copyright per facilitare l'uso commerciale e di ricerca.
3. Social Media: 22 milioni di post (2013–metà 2023) aggregati da fonti accademiche e industriali raccolti prima delle restrizioni dell'API di Twitter/X del 2023. I nomi utente sono stati rimossi per conformarsi ai principi di privacy.

Per validare la qualità e l'utilità del corpus, gli autori hanno sviluppato LedgerBERT, un encoder adattato al dominio inizializzato da SciBERT e pre-addestrato in modo continuativo su DLT-Corpus. Hanno inoltre costruito un Dataset di Analisi del Sentiment composto da 23.301 titoli di notizie sulle criptovalute con annotazioni raccolte tramite crowdsourcing da membri attivi della comunità.

Lo studio ha impiegato due approcci analitici principali:

• Valutazione della Qualità del Corpus: Confronto della densità delle parole chiave e della distribuzione del vocabolario rispetto a corpora generici (RefinedWeb, C4) utilizzando la divergenza di Jensen-Shannon.
• Analisi della Diffusione dell'Innovazione: Tracciamento dell'emergere temporale di tecnologie specifiche (stablecoin, DEX, AMM) e criptovalute (Bitcoin, Ethereum, XRP, Hedera) attraverso i tre tipi di documenti per identificare modelli di diffusione.
• Correlazione Mercato-Innovazione: Analisi delle correlazioni di rango di Spearman tra i volumi dei documenti e la capitalizzazione di mercato, incluse correlazioni con ritardo temporale per determinare causalità o precedenza temporale.

Principali Contributi

1. DLT-Corpus: La più grande raccolta testuale specifica di dominio per la ricerca DLT a oggi, dotata di metadati ricchi (autori, inventori, timestamp, etichette di sentiment) che abilitano la ricerca interdisciplinare.
2. LedgerBERT: Un modello linguistico adattato al dominio che ottiene un miglioramento del 23% rispetto a BERT-base e un miglioramento del 3,5% rispetto a SciBERT su compiti specifici di Riconoscimento di Entità Nominate (NER) nel dominio DLT, dimostrando l'efficacia del pre-addestramento continuativo su questo corpus.
3. Dataset di Analisi del Sentiment: Un dataset etichettato di 23.301 articoli di notizie con annotazioni guidate dalla comunità, che affronta la scarsità di dati etichettati specifici di dominio.
4. Evidenza sulla Diffusione dell'Innovazione: Evidenza empirica che mostra che i concetti DLT appaiono costantemente nella letteratura scientifica prima che nei brevetti e nei social media, seguendo i tradizionali modelli di trasferimento tecnologico.
5. Insight sulle Dinamiche di Mercato: Risultati che indicano che l'attività scientifica e brevettuale traccia l'espansione complessiva del mercato con un anticipo di due anni (ρ = 0,95), mentre il sentiment dei social media rimane prevalentemente rialzista anche durante gli "inverni crypto", suggerendo che la ricerca guida la crescita del mercato in un ciclo virtuoso piuttosto che reagire meramente al sentiment a breve termine.

Risultati

• Specificità del Corpus: DLT-Corpus presenta una densità di parole chiave 8,7 volte superiore (43,96 parole chiave ogni 1.000 parole) rispetto ai corpora web generici (RefinedWeb, C4), con una copertura documentale del 98,7% contro circa il 54% nei corpora generici.
• Prestazioni del Modello: LedgerBERT ha ottenuto un punteggio F1 di 0,299 sul NER in dominio, superando significativamente le linee di base generiche. Crucialmente, su compiti di analisi del sentiment fuori dominio (utilizzando dati di notizie non presenti nel corpus di addestramento), LedgerBERT ha mantenuto prestazioni comparabili a SciBERT, indicando l'assenza di oblio catastrofico delle capacità linguistiche generali.
• Modelli di Diffusione: Tecnologie come stablecoin, AMM e DEX emergono prima nella letteratura scientifica, seguite dai brevetti e infine dai social media. Al contrario, l'interesse degli utenti per criptovalute specifiche (ad esempio Bitcoin) spesso diverge dall'attività di ricerca; ad esempio, Bitcoin mostra un'attività brevettuale in declino nonostante un interesse degli utenti sostenuto, mentre Ethereum mostra una crescita parallela nella ricerca e nel coinvolgimento degli utenti.
• Sentiment vs Innovazione: Mentre il sentiment dei social media è altamente correlato alla capitalizzazione di mercato (ρ = 0,98) e rimane rialzista durante i ribassi, l'attività scientifica e brevettuale è meno legata al sentiment a breve termine e più correlata all'espansione di mercato a lungo termine, con la ricerca che anticipa la crescita del mercato di circa due anni.

Significato
Il documento posiziona DLT-Corpus come una risorsa fondamentale che abilita lo sviluppo di applicazioni NLP pratiche su misura per il dominio DLT, come sistemi RAG e strumenti di monitoraggio brevettuale. Dimostrando che il pre-addestramento specifico di dominio produce guadagni significativi nelle prestazioni senza sacrificare la generalizzazione, gli autori validano la necessità di corpora specializzati. L'analisi della diffusione dell'innovazione fornisce un quadro per comprendere come le tecnologie DLT maturano, suggerendo che l'impegno con la letteratura scientifica può identificare tecnologie emergenti prima che raggiungano l'adozione di massa. Inoltre, l'identificazione di un "ciclo virtuoso" in cui la ricerca precede e abilita la crescita economica, che a sua volta finanzia ulteriore innovazione, offre una comprensione strutturale dell'evoluzione dell'ecosistema DLT. Gli autori sottolineano che il rilascio del corpus, dei modelli e degli strumenti supporta la riproducibilità e la ricerca futura, navigando al contempo i vincoli legali ed etici attraverso l'uso di dati open access e di pubblico dominio.