DLT-Corpus: A Large-Scale Text Collection for the Distributed Ledger Technology Domain

Technische Samenvatting: DLT-Corpus

Probleemstelling
Het domein van Distributed Ledger Technology (DLT), ondanks het bereiken van een marktwaarde van ongeveer 3 biljoen dollar en het introduceren van complexe concepten zoals stablecoins, Decentralized Exchanges (DEX's) en Automated Market Makers (AMM's), mist een uitgebreid, grootschalig tekstcorpus. Bestaande Natural Language Processing (NLP)-bronnen zijn gefragmenteerd en gericht op specifieke downstream-taken zoals voorspelling van cryptomuntkoersen, trading en analyse van slimme contracten. Deze bronnen vertrouwen voornamelijk op socialemediadata of transactieregistraties, waarbij aanzienlijke tekstuele activa in wetenschappelijke literatuur, octrooiaanvragen en technische documentatie worden genegeerd. Deze lacune belemmert de ontwikkeling van robuuste NLP-toepassingen, waaronder Retrieval-Augmented Generation (RAG)-systemen om hallucinaties van Large Language Models (LLM) te verminderen, monitoring van octrooilandschappen en detectie van technologietrends. Bovendien is aangetoond dat kleine taalmodellen die zijn getraind op domeinspecifieke corpora, beter presteren dan algemene LLM's op gespecialiseerde taken, wat de dringende behoefte aan een toegewijd DLT-tekstbron onderstreept.

Methodologie
De auteurs hebben DLT-Corpus opgebouwd, een domeinspecifieke collectie die 2,98 miljard tokens uit 22,12 miljoen documenten uit drie complementaire bronnen samenvoegt:

1. Wetenschappelijke Literatuur: 37.440 open-access publicaties (1978–2025) opgehaald bij Semantic Scholar. De collectie omvatte PDF-parsing, filtering op Engels, verwijdering van uitschieters en een rigoureus proces voor filtering op domeinrelevantie met behulp van een fijngefineerd BERT-model voor Named Entity Recognition (NER) om niet-DLT "gedistribueerde" systemen (bijvoorbeeld biomedisch onderzoek) uit te sluiten.
2. Octrooien: 49.023 aanvragen (1990–2025) van de USPTO (US-PGPUB- en USPAT-databases), geselecteerd op basis van het ontbreken van auteursrechtbeperkingen om commercieel en onderzoeksgebruik te faciliteren.
3. Sociale Media: 22 miljoen berichten (2013–medio 2023) samengevoegd uit academische en industriële bronnen die zijn verzameld voordat de API-beperkingen van Twitter/X in 2023 van kracht werden. Gebruikersnamen zijn verwijderd om te voldoen aan privacyprincipes.

Om de kwaliteit en bruikbaarheid van het corpus te valideren, ontwikkelden de auteurs LedgerBERT, een domein-aangepaste encoder die is geïnitieerd vanuit SciBERT en verder is vooringesloten op DLT-Corpus. Zij construeerden ook een Sentimentanalyse-dataset van 23.301 nieuwskoppen over cryptomunten met crowdsourced annotaties van actieve communityleden.

De studie hanteerde twee primaire analytische benaderingen:

• Corpuskwaliteitsevaluatie: Vergelijking van woorddichtheid en vocabulaireverdeling met algemene corpora (RefinedWeb, C4) met behulp van Jensen-Shannon-divergentie.
• Analyse van Innovatiediffusie: Het volgen van het temporale ontstaan van specifieke technologieën (stablecoins, DEX's, AMM's) en cryptomunten (Bitcoin, Ethereum, XRP, Hedera) over de drie documenttypes om diffusiepatronen te identificeren.
• Correlatie Markt-Innovatie: Analyse van Spearman's rangcorrelaties tussen documentvolumes en marktwaarde, inclusief vertraagde correlaties om causaliteit of temporale prioriteit te bepalen.

Belangrijkste Bijdragen

1. DLT-Corpus: De grootste domeinspecifieke tekstcollectie voor DLT-onderzoek tot nu toe, met rijke metadata (auteurs, uitvinders, tijdstempels, sentimentlabels) die interdisciplinair onderzoek mogelijk maakt.
2. LedgerBERT: Een domein-aangepast taalmodel dat een verbetering van 23% behaalt ten opzichte van BERT-base en een verbetering van 3,5% ten opzichte van SciBERT op DLT-specifieke Named Entity Recognition (NER)-taken, wat de effectiviteit van verdere vooringesloten training op dit corpus aantoont.
3. Sentimentanalyse-dataset: Een gelabelde dataset van 23.301 nieuwsitems met door de community aangedreven annotaties, die de schaarste aan domeinspecifieke gelabelde data aanpakt.
4. Bewijs voor Innovatiediffusie: Empirisch bewijs dat aantoont dat DLT-concepten consequent in wetenschappelijke literatuur verschijnen voordat ze in octrooien en sociale media voorkomen, in lijn met traditionele technologieoverdrachtpatronen.
5. Inzicht in Marktdynamiek: Bevindingen die aangeven dat wetenschappelijke en octrooiaactiviteit de algehele marktuitbreiding volgt met een voorsprong van twee jaar (ρ = 0,95), terwijl sentiment op sociale media zelfs tijdens "crypto winters" overweldigend positief blijft, wat suggereert dat onderzoek de marktgroei in een deugdelijke cyclus drijft in plaats van slechts te reageren op kortetermijnsentiment.

Resultaten

• Corpusspecificiteit: DLT-Corpus vertoont een 8,7 keer hogere woorddichtheid (43,96 trefwoorden per 1.000 woorden) in vergelijking met algemene webcorpora (RefinedWeb, C4), met een documentdekking van 98,7% versus ongeveer 54% in algemene corpora.
• Modelprestaties: LedgerBERT behaalde een F1-score van 0,299 op domeinspecifieke NER, wat aanzienlijk beter presteert dan algemene baselines. Cruciaal is dat LedgerBERT op domeinoverstijgende sentimentanalyse-taken (met nieuwsdata die niet in het trainingscorpus aanwezig was) prestaties behaalde die vergelijkbaar waren met SciBERT, wat aangeeft dat er geen catastrofale vergetelheid van algemene taalvaardigheden heeft plaatsgevonden.
• Diffusiepatronen: Technologieën zoals stablecoins, AMM's en DEX's verschijnen eerst in wetenschappelijke literatuur, gevolgd door octrooien en uiteindelijk sociale media. Omgekeerd wijkt de gebruikersinteresse in specifieke cryptomunten (bijvoorbeeld Bitcoin) vaak af van onderzoeksactiviteit; Bitcoin vertoont bijvoorbeeld een afnemende octrooiaactiviteit ondanks aanhoudende gebruikersinteresse, terwijl Ethereum parallelle groei laat zien in onderzoek en gebruikersbetrokkenheid.
• Sentiment versus Innovatie: Hoewel sentiment op sociale media sterk gecorreleerd is met de marktwaarde (ρ = 0,98) en positief blijft tijdens neergaande markten, is wetenschappelijke en octrooiaactiviteit minder gekoppeld aan kortetermijnsentiment en meer gecorreleerd met langetermijnmarktuitbreiding, waarbij onderzoek de marktgroei met ongeveer twee jaar voorloopt.

Betekenis
Het artikel positioneert DLT-Corpus als een fundamentele bron die de ontwikkeling van praktische NLP-toepassingen op maat voor het DLT-domein mogelijk maakt, zoals RAG-systemen en tools voor octrooimonitoring. Door aan te tonen dat domeinspecifieke vooringesloten training aanzienlijke prestatiewinst oplevert zonder generalisatie te offeren, valideren de auteurs de noodzaak van gespecialiseerde corpora. De analyse van innovatiediffusie biedt een kader voor het begrijpen hoe DLT-technologieën rijpen, wat suggereert dat het betrekken van wetenschappelijke literatuur opkomende technologieën kan identificeren voordat ze mainstream adoptie bereiken. Bovendien biedt de identificatie van een "deugdelijke cyclus" waarbij onderzoek voorafgaat aan en economische groei mogelijk maakt, wat op zijn beurt verdere innovatie financiert, een structureel begrip van de evolutie van het DLT-ecosysteem. De auteurs benadrukken dat de vrijgave van het corpus, de modellen en de tools reproduceerbaarheid en toekomstig onderzoek ondersteunt, terwijl juridische en ethische beperkingen worden omzeild door het gebruik van open-access en publiek domein-gegevens.