DLT-Corpus: A Large-Scale Text Collection for the Distributed Ledger Technology Domain

Resumo Técnico: DLT-Corpus

Declaração do Problema
O domínio da Tecnologia de Ledger Distribuído (DLT), apesar de atingir uma capitalização de mercado de aproximadamente 3 trilhões de dólares e introduzir conceitos complexos como stablecoins, Exchanges Descentralizadas (DEXs) e Criadores de Mercado Automatizados (AMMs), carece de um corpus de texto abrangente e em grande escala. Os recursos existentes de Processamento de Linguagem Natural (PLN) estão fragmentados e focados estreitamente em tarefas específicas downstream, como previsão de preços de criptomoedas, negociação e análise de contratos inteligentes. Esses recursos dependem predominantemente de dados de mídias sociais ou registros transacionais, negligenciando ativos textuais substanciais encontrados em literatura científica, registros de patentes e documentação técnica. Essa lacuna impede o desenvolvimento de aplicações robustas de PLN, incluindo sistemas de Geração Aumentada por Recuperação (RAG) para reduzir alucinações de Modelos de Linguagem Grandes (LLMs), monitoramento de paisagem de patentes e detecção de tendências tecnológicas. Além disso, modelos de linguagem pequenos treinados em corpora específicos de domínio demonstraram superar LLMs de propósito geral em tarefas especializadas, destacando a necessidade urgente de um recurso de texto dedicado à DLT.

Metodologia
Os autores construíram o DLT-Corpus, uma coleção específica de domínio agregando 2,98 bilhões de tokens de 22,12 milhões de documentos provenientes de três fontes complementares:

1. Literatura Científica: 37.440 publicações de acesso aberto (1978–2025) recuperadas do Semantic Scholar. A coleção envolveu análise de PDF, filtragem em inglês, remoção de valores atípicos e um processo rigoroso de filtragem de relevância de domínio utilizando um modelo BERT ajustado para Reconhecimento de Entidades Nomeadas (NER) para excluir sistemas "distribuídos" não-DLT (por exemplo, pesquisa biomédica).
2. Patentes: 49.023 registros (1990–2025) do USPTO (bancos de dados US-PGPUB e USPAT), selecionados por sua ausência de restrições de direitos autorais para facilitar o uso comercial e de pesquisa.
3. Mídias Sociais: 22 milhões de postagens (2013–meio de 2023) agregadas de fontes acadêmicas e industriais coletadas antes das restrições da API do Twitter/X em 2023. Os nomes de usuário foram removidos para cumprir os princípios de privacidade.

Para validar a qualidade e a utilidade do corpus, os autores desenvolveram o LedgerBERT, um codificador adaptado ao domínio inicializado a partir do SciBERT e continuado no pré-treinamento no DLT-Corpus. Eles também construíram um Conjunto de Dados de Análise de Sentimento com 23.301 manchetes de notícias sobre criptomoedas com anotações de crowdsourcing de membros ativos da comunidade.

O estudo empregou duas abordagens analíticas principais:

• Avaliação da Qualidade do Corpus: Comparação da densidade de palavras-chave e distribuição de vocabulário contra corpora de propósito geral (RefinedWeb, C4) usando divergência de Jensen-Shannon.
• Análise de Difusão de Inovação: Rastreamento do surgimento temporal de tecnologias específicas (stablecoins, DEXs, AMMs) e criptomoedas (Bitcoin, Ethereum, XRP, Hedera) entre os três tipos de documento para identificar padrões de difusão.
• Correlação Mercado-Inovação: Análise das correlações de posto de Spearman entre volumes de documentos e capitalização de mercado, incluindo correlações defasadas para determinar causalidade ou precedência temporal.

Principais Contribuições

1. DLT-Corpus: A maior coleção de texto específica de domínio para pesquisa em DLT até a data, apresentando metadados ricos (autores, inventores, carimbos de data/hora, rótulos de sentimento) que permitem pesquisa interdisciplinar.
2. LedgerBERT: Um modelo de linguagem adaptado ao domínio que alcança uma melhoria de 23% sobre o BERT-base e uma melhoria de 3,5% sobre o SciBERT em tarefas de Reconhecimento de Entidades Nomeadas (NER) específicas de DLT, demonstrando a eficácia do pré-treinamento contínuo neste corpus.
3. Conjunto de Dados de Análise de Sentimento: Um conjunto de dados rotulado de 23.301 itens de notícias com anotações impulsionadas pela comunidade, abordando a escassez de dados rotulados específicos de domínio.
4. Evidência de Difusão de Inovação: Evidência empírica mostrando que os conceitos de DLT aparecem consistentemente na literatura científica antes das patentes e das mídias sociais, seguindo padrões tradicionais de transferência de tecnologia.
5. Insight sobre Dinâmicas de Mercado: Descobertas indicando que a atividade científica e de patentes acompanha a expansão geral do mercado com uma liderança de dois anos (ρ = 0,95), enquanto o sentimento das mídias sociais permanece extremamente otimista mesmo durante os "invernos cripto", sugerindo que a pesquisa impulsiona o crescimento do mercado em um ciclo virtuoso, em vez de apenas reagir ao sentimento de curto prazo.

Resultados

• Especificidade do Corpus: O DLT-Corpus exibe uma densidade de palavras-chave 8,7 vezes maior (43,96 palavras-chave por 1.000 palavras) em comparação com corpora da web geral (RefinedWeb, C4), com 98,7% de cobertura de documentos versus ~54% em corpora gerais.
• Desempenho do Modelo: O LedgerBERT alcançou uma pontuação F1 de 0,299 em NER no domínio, superando significativamente as linhas de base gerais. Crucialmente, em tarefas de análise de sentimento fora do domínio (usando dados de notícias não presentes no corpus de treinamento), o LedgerBERT manteve desempenho comparável ao SciBERT, indicando nenhuma perda catastrófica das capacidades gerais de linguagem.
• Padrões de Difusão: Tecnologias como stablecoins, AMMs e DEXs surgem primeiro na literatura científica, seguidas por patentes e, finalmente, mídias sociais. Por outro lado, o interesse do usuário em criptomoedas específicas (por exemplo, Bitcoin) frequentemente diverge da atividade de pesquisa; por exemplo, o Bitcoin mostra atividade de patentes em declínio apesar do interesse sustentado dos usuários, enquanto o Ethereum mostra crescimento paralelo na pesquisa e no engajamento do usuário.
• Sentimento vs. Inovação: Enquanto o sentimento das mídias sociais está altamente correlacionado com a capitalização de mercado (ρ = 0,98) e permanece otimista durante quedas, a atividade científica e de patentes está menos ligada ao sentimento de curto prazo e mais correlacionada com a expansão de longo prazo do mercado, com a pesquisa liderando o crescimento do mercado em aproximadamente dois anos.

Significado
O artigo posiciona o DLT-Corpus como um recurso fundamental que permite o desenvolvimento de aplicações práticas de PLN adaptadas ao domínio da DLT, como sistemas RAG e ferramentas de monitoramento de patentes. Ao demonstrar que o pré-treinamento específico de domínio gera ganhos significativos de desempenho sem sacrificar a generalização, os autores validam a necessidade de corpora especializados. A análise da difusão de inovação fornece um quadro para entender como as tecnologias de DLT amadurecem, sugerindo que o engajamento com a literatura científica pode identificar tecnologias emergentes antes que elas alcancem a adoção mainstream. Além disso, a identificação de um "ciclo virtuoso" onde a pesquisa precede e permite o crescimento econômico, que por sua vez financia mais inovação, oferece uma compreensão estrutural da evolução do ecossistema de DLT. Os autores enfatizam que o lançamento do corpus, modelos e ferramentas apoia a reprodutibilidade e a pesquisa futura, ao mesmo tempo em que navega por restrições legais e éticas por meio do uso de dados de acesso aberto e domínio público.