DLT-Corpus: A Large-Scale Text Collection for the Distributed Ledger Technology Domain

Resumen Técnico: DLT-Corpus

Enunciado del Problema
El dominio de la Tecnología de Libro Mayor Distribuido (DLT), a pesar de haber alcanzado una capitalización de mercado de aproximadamente 3 billones de dólares y de introducir conceptos complejos como stablecoins, Exchanges Descentralizados (DEX) y Creadores de Mercado Automatizados (AMM), carece de un corpus de texto integral y a gran escala. Los recursos existentes de Procesamiento del Lenguaje Natural (PLN) están fragmentados y se centran estrechamente en tareas específicas posteriores, como la predicción de precios de criptomonedas, el comercio y el análisis de contratos inteligentes. Estos recursos dependen predominantemente de datos de redes sociales o registros transaccionales, pasando por alto importantes activos textuales encontrados en literatura científica, solicitudes de patentes y documentación técnica. Esta brecha obstaculiza el desarrollo de aplicaciones robustas de PLN, incluidos sistemas de Generación Aumentada por Recuperación (RAG) para reducir las alucinaciones de los Modelos de Lenguaje Grande (LLM), la supervisión del panorama de patentes y la detección de tendencias tecnológicas. Además, se ha demostrado que los modelos de lenguaje pequeños entrenados en corpus específicos del dominio superan a los LLM de propósito general en tareas especializadas, lo que resalta la necesidad urgente de un recurso de texto dedicado a la DLT.

Metodología
Los autores construyeron DLT-Corpus, una colección específica del dominio que agrega 2.98 mil millones de tokens procedentes de 22.12 millones de documentos de tres fuentes complementarias:

1. Literatura Científica: 37,440 publicaciones de acceso abierto (1978–2025) recuperadas de Semantic Scholar. La colección implicó el análisis sintáctico de PDF, filtrado en inglés, eliminación de valores atípicos y un proceso riguroso de filtrado de relevancia del dominio utilizando un modelo BERT ajustado finamente para el Reconocimiento de Entidades Nombradas (NER) para excluir sistemas "distribuidos" no DLT (por ejemplo, investigación biomédica).
2. Patentes: 49,023 solicitudes (1990–2025) de la USPTO (bases de datos US-PGPUB y USPAT), seleccionadas por su falta de restricciones de derechos de autor para facilitar el uso comercial y de investigación.
3. Redes Sociales: 22 millones de publicaciones (2013–mediados de 2023) agregadas de fuentes académicas e industriales recopiladas antes de las restricciones de la API de Twitter/X en 2023. Se eliminaron los nombres de usuario para cumplir con los principios de privacidad.

Para validar la calidad y utilidad del corpus, los autores desarrollaron LedgerBERT, un codificador adaptado al dominio inicializado desde SciBERT y continuado con preentrenamiento en DLT-Corpus. También construyeron un Conjunto de Datos de Análisis de Sentimientos de 23,301 titulares de noticias sobre criptomonedas con anotaciones obtenidas mediante crowdsourcing de miembros activos de la comunidad.

El estudio empleó dos enfoques analíticos principales:

• Evaluación de la Calidad del Corpus: Comparación de la densidad de palabras clave y la distribución del vocabulario frente a corpus de propósito general (RefinedWeb, C4) utilizando la divergencia de Jensen-Shannon.
• Análisis de Difusión de Innovación: Seguimiento de la aparición temporal de tecnologías específicas (stablecoins, DEX, AMM) y criptomonedas (Bitcoin, Ethereum, XRP, Hedera) en los tres tipos de documentos para identificar patrones de difusión.
• Correlación Mercado-Innovación: Análisis de las correlaciones de rango de Spearman entre los volúmenes de documentos y la capitalización de mercado, incluidas correlaciones con retraso para determinar causalidad o precedencia temporal.

Contribuciones Clave

1. DLT-Corpus: La colección de texto específica del dominio más grande para la investigación en DLT hasta la fecha, que cuenta con metadatos ricos (autores, inventores, marcas de tiempo, etiquetas de sentimiento) que permiten investigación interdisciplinaria.
2. LedgerBERT: Un modelo de lenguaje adaptado al dominio que logra una mejora del 23% sobre BERT-base y una mejora del 3.5% sobre SciBERT en tareas específicas de DLT de Reconocimiento de Entidades Nombradas (NER), demostrando la eficacia del preentrenamiento continuo en este corpus.
3. Conjunto de Datos de Análisis de Sentimientos: Un conjunto de datos etiquetado de 23,301 elementos de noticias con anotaciones impulsadas por la comunidad, que aborda la escasez de datos etiquetados específicos del dominio.
4. Evidencia de Difusión de Innovación: Evidencia empírica que muestra que los conceptos de DLT aparecen consistentemente en la literatura científica antes que en las patentes y las redes sociales, siguiendo patrones tradicionales de transferencia tecnológica.
5. Perspectiva de Dinámica de Mercado: Hallazgos que indican que la actividad científica y de patentes rastrea la expansión general del mercado con un adelanto de dos años (ρ = 0.95), mientras que el sentimiento en redes sociales permanece abrumadoramente alcista incluso durante los "inviernos cripto", lo que sugiere que la investigación impulsa el crecimiento del mercado en un ciclo virtuoso en lugar de reaccionar meramente al sentimiento a corto plazo.

Resultados

• Especificidad del Corpus: DLT-Corpus exhibe una densidad de palabras clave 8.7 veces mayor (43.96 palabras clave por cada 1,000 palabras) en comparación con los corpus web generales (RefinedWeb, C4), con una cobertura de documentos del 98.7% frente a ~54% en corpus generales.
• Rendimiento del Modelo: LedgerBERT obtuvo una puntuación F1 de 0.299 en NER dentro del dominio, superando significativamente a las líneas base generales. Crucialmente, en tareas de análisis de sentimientos fuera del dominio (utilizando datos de noticias no presentes en el corpus de entrenamiento), LedgerBERT mantuvo un rendimiento comparable al de SciBERT, lo que indica que no hubo un olvido catastrófico de las capacidades generales del lenguaje.
• Patrones de Difusión: Tecnologías como stablecoins, AMM y DEX aparecen primero en la literatura científica, seguidas por patentes y finalmente redes sociales. Por el contrario, el interés de los usuarios en criptomonedas específicas (por ejemplo, Bitcoin) a menudo diverge de la actividad de investigación; por ejemplo, Bitcoin muestra una actividad de patentes en declive a pesar de un interés sostenido de los usuarios, mientras que Ethereum muestra un crecimiento paralelo en investigación y participación de usuarios.
• Sentimiento vs. Innovación: Si bien el sentimiento en redes sociales está altamente correlacionado con la capitalización de mercado (ρ = 0.98) y permanece alcista durante las caídas, la actividad científica y de patentes está menos vinculada al sentimiento a corto plazo y más correlacionada con la expansión a largo plazo del mercado, con la investigación liderando el crecimiento del mercado aproximadamente dos años antes.

Significado
El artículo posiciona a DLT-Corpus como un recurso fundamental que permite el desarrollo de aplicaciones prácticas de PLN adaptadas al dominio de la DLT, como sistemas RAG y herramientas de monitoreo de patentes. Al demostrar que el preentrenamiento específico del dominio produce ganancias significativas de rendimiento sin sacrificar la generalización, los autores validan la necesidad de corpus especializados. El análisis de la difusión de la innovación proporciona un marco para comprender cómo maduran las tecnologías DLT, sugiriendo que el compromiso con la literatura científica puede identificar tecnologías emergentes antes de que alcancen la adopción generalizada. Además, la identificación de un "ciclo virtuoso" donde la investigación precede y permite el crecimiento económico, que a su vez financia más innovación, ofrece una comprensión estructural de la evolución del ecosistema DLT. Los autores enfatizan que la publicación del corpus, los modelos y las herramientas apoya la reproducibilidad y la investigación futura, al tiempo que navega por las restricciones legales y éticas mediante el uso de datos de acceso abierto y de dominio público.