Integrating knowledge graphs and multilingual scholarly corpora for domain-adaptive LLMs in SSH

기술 요약: 인문사회과학(SSH) 분야의 도메인 적응형 LLM을 위한 지식 그래프 및 다국어 학술 코퍼스 통합

문제 제로 (Problem Statement)
대규모 언어 모델(LLM)을 과학 연구 워크플로우에 통합하는 것은 인문사회과학(SSH) 분야에 있어 중대한 방법론적 및 인식론적 과제를 제기한다. 현재의 AI 기반 탐색 플랫폼(예: Semantic Scholar, Elicit)은 주로 영어 중심의 코퍼스에 의해 학습되었으며, "경성 과학(hard sciences)" 특유의 인용 기반 메트릭을 우선시한다. 이러한 설계는 다국어 사용, 도서 기반 학술 활동, 지역 연구 전통, 그리고 질적 평가에 크게 의존하는 SSH의 관행을 소외시키며, 특정 과학적 생산 모델을 강화한다. 또한, SSH 연구는 종종 텍xt를 특정 역사적·이론적 맥락 내에서 해석해야 하는데, 단순한 주제 매칭 알고리즘은 이러한 미묘한 차이를 포착하지 못한다. 기존의 인프라들은 자원이 풍부함에도 불구하고, 문헌을 합성하거나 복잡한 교차 언어 쿼리를 지원하면서도 인문학자들이 요구하는 추적 가능성과 인식론적 책임을 유지할 수 있는 생성적 역량이 부족한 경우가 많다.

방법론 (Methodology)
본 논문은 기초 모델을 SSH 연구 관행에 적응시키기 위해 설계된 유럽 LLMs4EU 프로젝트 및 ALT-EDIC 인프라 내의 유스 케이스인 ReSearch_SSH를 제시한다. 이 시스템은 네 가지 주요 단계로 구성된 지식 그래프 기반 검색 증강 생성(GraphRAG) 아키텍처를 채택한다:

1. 데이터 큐레이션 및 도메인 정렬 (Data Curation and Domain Alignment):

   • 코퍼스: 주요 정렬 코퍼스는 ISTEX 데이터베이스의 SSH 서브셋(~3백만 개의 문서, 60개 이상의 언어)이며, 표적화된 이탈리아어 및 이중 언어 디지털 인문학(DH) 데이터셋(AIUCD 컨퍼런스 프로시딩 및 Umanistica Digitale 저널)으로 보완된다. 추가 데이터로는 Hypotheses의 학술 블로그 포스트와 Nakala의 연구 데이터가 포함된다.
   • 언어: 코퍼스는 다국어 체제이며, 프랑스어(ISIDORE 생태계의 지배적인 비영어 성분), 이탈리아어, 영어에 중점을 둔다.
   • 사전 학습 (Pre-training): 베이스 모델은 일반적인 추론 능력을 유지하면서 언어적 및 용어적 역량을 강화하기 위해 이러한 SSH 코퍼스 상에서 지속적인 사전 학습(continued pre-training)을 거친다.

2. 검색 최적화 (Retrieval Optimization - RAG):

   • 검색 계층: 도메인에 적응된 검색 모델은 ISIDORE 플랫폼의 역사적 쿼리-상호작용 데이터를 바탕으로 파인튜닝된다. 이러한 상호작용 인식 전략은 단순한 텍스트 유사성에 의존하는 대신, 학자들이 실제로 클릭하고 참조한 문서를 촉진함으로써 랭킹을 학술적 관행과 일치시킨다.
   • 그래프 강화 (Graph Enrichment): 맥락화는 엔티티 모호성 해소 및 의미론적 확장을 위해 Wikidata를 활용한다. 메타데이터(저자, 주제, 기관, 인용)에서 유도된 관계 구조와 문서 수준의 의미론적 그래프는 구조화된 탐색과 세밀한 비교를 지원한다.

3. 생성 작업 적응 (Generative Task Adaptation):

   • 지시어 튜닝 (Instruction Tuning): 생성 구성 요소는 연구 지향적 과업, 특히 최신 연구 개요(state-of-the-art overviews) 및 문헌 합성 구축을 위해 지시어 튜닝된다.
   • 합성 데이터: 쿼리 이해를 위한 파인튜닝 데이터는 상용 모델(예: GPT-5)과 개방형 유럽 모델(예: EuroLLM)을 비교하여 생성된다. 본 프로젝트는 주권적이고 투명한 AI 인프라를 보장하기 위해 개방형 유럽 모델을 우선시한다.
   • 출력: 시스템은 명시적으로 검색된 출처에 근거한 구조화된 개요를 생성하여 투명성과 추적 가능성을 보장한다.

4. 평가 및 준수 (Evaluation and Compliance):

   • 프레임워크: 평가는 독립적인 외부 팀이 참여하는 LLMs4EU 프로토콜을 따른다. 여기에는 정량적 벤치마킹(검색, 요약, 추적 가능성, 환각 탐지)과 프랑스 및 이탈리아의 디지털 인문학 전문가 패널에 의한 질적 평가가 포함된다.
   • 법적 준수: 시스템은 EU AI Act, GDPR 및 저작권 규정을 준수하도록 "컴플라이언스 바이 디자인(compliance-by-design)" 방식으로 설계되었다. 본 시스템은 자동화된 의사결정을 제외함으로써 고위험 분류를 피하며, 통제된 연구 샌드박스 내에서 범용 AI(GPAI) 모델의 다운스트림 수정으로서 작동한다. 개인 데이터는 최소화되며, 라이선스가 부여된 전문(full text)은 엄격한 계약 조건 하에 처리된다.

주요 기여 (Key Contributions)

• 도메인 특화 적응: 본 논문은 일반적인 대화형 인터페이스를 넘어, SSH의 인식론적 및 방법론적 요구사항에 특화되어 LLM을 적응시키는 워크플로우를 제안한다.
• GraphRAG 아키텍처: 출처 근거를 강화하고, 환각을 줄이며, 저자와 주제 간의 복잡한 관계적 추론을 가능하게 하기 위해 지식 그래프(Wikidata, OpenAIRE, ISIDORE 메타데이터)와 RAG를 통합하는 방식을 입증한다.
• 다국어 및 학제적 초점: 본 접근 방식은 학술적 산출물(단행본, 데이터셋, 블로그)의 다양성과 유럽 연구 인프라 내에서의 다국어 지원(프랑스어, 이탈리아어, 영어)의 필요성을 명시적으로 다룬다.
• 참여형 평가: 디지털 인문학자들로 구성된 전문가 패널의 구축은 시스템의 관련성, 사실적 근거, 사용성이 일반적인 벤치마크가 아닌 학문적 기준에 따라 평가되도록 보장한다.
• 규제 정렬: 본 프로젝트는 법적 및 윤리적 제약(투명성, 추적 가능성, 데이터 보호)을 사후적 제약이 아닌 시스템 아키텍처의 구조적 구성 요소로 통합한다.

결과 (Results)
본 논문은 현재 고도화된 준비 단계에 있는 진행 중인 유스 케이스에 대해 보고한다. 따라서 최종적인 정량적 결과나 실험적 성과를 제시하지는 않는다.

• 현재 상태: 다국어 코퍼스를 통합 중이며, 메타데이터를 정규화하고 있으며, 파인튜닝 전략을 마무리하는 단계이다.
• 직후 단계: SSH 담론에 대한 개방형 기초 모델의 통제된 적응과 KG-RAG 파이프라인 최적화에 초점을 맞춘 초기 실험을 시작할 예정이다.
• 검증: 평가 프레임워크는 개발 중이며, SSH 연구 시나리오에 맞춤화된 별도의 벤치마크 데이터셋을 구축하고 있다.

의의 (Significance)
본 논문은 ReSearch_SSH를 기술적으로 실현 가능하면서도 방법론적으로 바람직한, 다국어, 도메인 민감형, 규제 준수형 생성 시스템을 개발하기 위한 결정적 단계로 위치시킨다.

• 인식론적 책임: 모델 적응을 연구 인프라(ISIDORE) 및 구조화된 법적 프레임워크 내에 배치함으로써, 본 프로젝트는 생성형 AI가 신뢰성과 인식론적 책임을 유지하면서 어떻게 학술 활동을 지원할 수 있는지 탐구한다.
• 인프라 전이 가능성: 현재는 ISIDORE에 기반을 두고 있으나, 검색, 그래프 강화, 생성을 분리한 모듈형 아키텍처 설계는 메타데이터 품질이 다양한 다른 제도적 환경으로의 전이 가능성을 용이하게 하도록 의도되었다.
• 커뮤니티 참여: 본 프로젝트는 LLM 개발 및 평가에 디지털 인문학 커뮤니티를 참여시키는 것이 학문적 관행을 반영하는 도구를 만들고 외부의 관련성 모델을 강요하는 것을 피하는 데 필수적임을 입증하고자 한다.
• 유럽의 주권: 개방형 유럽 모델과 개방형 데이터 인프라를 우선시함으로써, 본 연구는 유럽 연합을 위한 주권적이고 투명하며 가치 정렬된 AI 기술을 개발하려는 광범위한 목표에 기여한다.