DLT-Corpus: A Large-Scale Text Collection for the Distributed Ledger Technology Domain

기술 요약: DLT-코퍼스

문제 제기
분산 원장 기술 (DLT) 분야는 약 3 조 달러의 시가총액에 도달하고 스테이블코인, 탈중앙화 거래소 (DEX), 자동화 시장 조성자 (AMM) 와 같은 복잡한 개념을 도입했음에도 불구하고, 포괄적이고 대규모의 텍스트 코퍼스가 부재합니다. 기존 자연어 처리 (NLP) 리소스는 암호화폐 가격 예측, 거래, 스마트 계약 분석과 같은 특정 하위 작업에 집중되어 파편화되어 있습니다. 이러한 리소스는 주로 소셜 미디어 데이터나 거래 기록에 의존하며, 과학 문헌, 특허 출원, 기술 문서에서 발견되는 방대한 텍스트 자산을 간과하고 있습니다. 이러한 격차는 대형 언어 모델 (LLM) 의 환각 현상을 줄이는 검색 증강 생성 (RAG) 시스템, 특허 지형 모니터링, 기술 동향 감지 등을 포함한 견고한 NLP 애플리케이션의 개발을 저해합니다. 또한, 도메인 특화 코퍼스로 훈련된 소형 언어 모델이 일반 목적 LLM 보다 전문 작업에서 더 뛰어난 성능을 보이는 것으로 입증됨에 따라, 전용 DLT 텍스트 자원에 대한 긴급한 필요성이 부각되고 있습니다.

방법론
저자들은 2212 만 개의 문서에서 29 억 8 천만 토큰을 집계한 도메인 특화 컬렉션인 DLT-코퍼스를 구축했습니다. 이는 세 가지 상호 보완적인 소스에서 수집되었습니다:

1. 과학 문헌: Semantic Scholar 에서 검색된 1978 년부터 2025 년까지의 37,440 건의 오픈 액세스 간행물. 이 컬렉션에는 PDF 파싱, 영어 필터링, 이상치 제거, 그리고 비 DLT '분산'시스템 (예: 생물의학 연구) 을 제외하기 위해 명명 개체 인식 (NER) 을 위한 미세 조정된 BERT 모델을 사용한 엄격한 도메인 관련성 필터링 과정이 포함되었습니다.
2. 특허: 상업적 및 연구 활용을 용이하게 하기 위해 저작권 제한이 없는 USPTO(US-PGPUB 및 USPAT 데이터베이스) 의 1990 년부터 2025 년까지의 49,023 건 출원.
3. 소셜 미디어: 2023 년 트위터/X 의 API 제한 이전에 수집된 학술 및 산업 출처에서 집계된 2013 년부터 2023 년 중반까지의 2,200 만 개 게시물. 사용자 이름은 개인정보 보호 원칙 준수를 위해 제거되었습니다.

코퍼스 품질과 유용성을 검증하기 위해 저자들은 SciBERT 에서 초기화되고 DLT-코퍼스로 계속 사전 훈련된 도메인 적응형 인코더인 LedgerBERT를 개발했습니다. 또한, 활발한 커뮤니티 구성원들의 크라우드 소싱 주석을 포함한 23,301 개의 암호화폐 뉴스 제목으로 구성된 감성 분석 데이터셋을 구축했습니다.

본 연구는 두 가지 주요 분석 접근법을 사용했습니다:

• 코퍼스 품질 평가: 제이슨 - 샤논 발산 (Jensen-Shannon divergence) 을 사용하여 일반 목적 코퍼스 (RefinedWeb, C4) 에 대한 키워드 밀도와 어휘 분포를 비교했습니다.
• 혁신 확산 분석: 세 가지 문서 유형 전반에 걸쳐 특정 기술 (스테이블코인, DEX, AMM) 과 암호화폐 (비트코인, 이더리움, XRP, 헤데라) 의 시간적 등장 추적을 통해 확산 패턴을 식별했습니다.
• 시장 - 혁신 상관관계: 인과관계나 시간적 선행성을 결정하기 위해 지연 상관관계를 포함하여 문서 수와 시가총액 간의 스피어만 순위 상관관계를 분석했습니다.

주요 기여

1. DLT-코퍼스: 현재까지 DLT 연구를 위한 가장 큰 도메인 특화 텍스트 컬렉션으로, 저자, 발명가, 타임스탬프, 감성 레이블과 같은 풍부한 메타데이터를 특징으로 하여 학제 간 연구를 가능하게 합니다.
2. LedgerBERT: DLT 특화 명명 개체 인식 (NER) 작업에서 BERT-base 대비 23% 향상, SciBERT 대비 3.5% 향상을 달성한 도메인 적응형 언어 모델로, 이 코퍼스로의 계속된 사전 훈련의 유효성을 입증했습니다.
3. 감성 분석 데이터셋: 도메인 특화 레이블 데이터의 부족을 해결하기 위해 커뮤니티 주도 주석이 포함된 23,301 개의 뉴스 항목으로 구성된 레이블이 지정된 데이터셋입니다.
4. 혁신 확산 증거: DLT 개념이 특허와 소셜 미디어보다 과학 문헌에서 일관되게 먼저 등장하여 전통적인 기술 이전 패턴을 따르는 것을 보여주는 경험적 증거입니다.
5. 시장 역학 통찰력: 과학 및 특허 활동이 2 년의 선행 기간 (ρ = 0.95) 으로 전체 시장 확장을 추적하는 반면, 소셜 미디어 감성은 '크립토 겨울'기간에도 압도적으로 강세임을 유지한다는 발견으로, 연구가 단기 감성에 단순히 반응하는 것이 아니라 선순환 구조에서 시장 성장을 주도함을 시사합니다.

결과

• 코퍼스 특이성: DLT-코퍼스는 일반 웹 코퍼스 (RefinedWeb, C4) 에 비해 키워드 밀도가 8.7 배 높습니다 (1,000 단어당 43.96 개 키워드). 일반 코퍼스의 약 54% 에 비해 98.7% 의 문서 커버리지를 보입니다.
• 모델 성능: LedgerBERT 는 도메인 내 NER 에서 0.299 의 F1 점수를 달성하여 일반 베이스라인을 크게 능가했습니다. 중요하게도, 훈련 코퍼스에 존재하지 않는 뉴스 데이터를 사용한 도메인 외 감성 분석 작업에서 LedgerBERT 는 SciBERT 와 유사한 성능을 유지하여 일반 언어 능력의 치명적인 망각이 없음을 나타냈습니다.
• 확산 패턴: 스테이블코인, AMM, DEX 와 같은 기술은 먼저 과학 문헌에 등장한 후 특허, 그리고 마지막으로 소셜 미디어에 나타납니다. 반면, 특정 암호화폐 (예: 비트코인) 에 대한 사용자 관심은 종종 연구 활동과 괴리됩니다. 예를 들어, 비트코인은 지속적인 사용자 관심에도 불구하고 특허 활동이 감소하는 반면, 이더리움은 연구와 사용자 참여에서 병렬적인 성장을 보입니다.
• 감성 vs 혁신: 소셜 미디어 감성은 시가총액과 높은 상관관계 (ρ = 0.98) 를 보이며 하락기에도 강세를 유지하는 반면, 과학 및 특허 활동은 단기 감성과 덜 연관되어 장기 시장 확장과 더 밀접하게 상관되며, 연구가 약 2 년의 선행 기간으로 시장 성장을 주도합니다.

의의
본 논문은 DLT-코퍼스를 RAG 시스템 및 특허 모니터링 도구와 같이 DLT 도메인에 맞춘 실용적인 NLP 애플리케이션 개발을 가능하게 하는 기초 자원으로 위치시킵니다. 도메인 특화 사전 훈련이 일반화 능력을 희생하지 않으면서 상당한 성능 향상을 가져온다는 것을 입증함으로써, 저자들은 전문 코퍼스의 필요성을 검증했습니다. 혁신 확산에 대한 분석은 DLT 기술이 어떻게 성숙해지는지 이해하기 위한 틀을 제공하며, 과학 문헌에 참여하면 대중적 채택에 도달하기 전에 신흥 기술을 식별할 수 있음을 시사합니다. 또한, 연구가 경제 성장을 선행하고 가능하게 하며, 이는 다시 추가 혁신을 자금 지원하는 '선순환'을 식별함으로써 DLT 생태계 진화에 대한 구조적 이해를 제공합니다. 저자들은 오픈 액세스 및 공공 도메인 데이터를 사용하여 법적 및 윤리적 제약을 극복하면서 코퍼스, 모델, 도구의 공개가 재현성과 향후 연구를 지원한다고 강조합니다.