Transferring Natural Language Datasets Between Languages Using Large Language Models for Modern Decision Support and Sci-Tech Analytical Systems

기술 요약: 대규모 언어 모델(LLM)을 이용한 자연어 데이터셋의 언어 간 전이

문제 정의
본 논문은 자연어 처리(NLP) 작업, 특히 용어 및 그 정의를 추출하는 데 있어 대규모로 주석이 달린 러시아어 코퍼스의 부족 문제를 다룬다. 영어 DEFT 코퍼스(텍ext에서의 정의 추출)는 용어-정의 쌍 마이닝을 위한 풍부한 3계층 주석 구조를 제공하지만, 이에 상응하는 러시아어 자원은 부재한 상황이다. 이러한 데이터셋을 처음부터 수동으로 구축하는 것은 노동 집약적이며 비용이 많이 든다. 저자들은 LLM이 기존의 영어 데이터셋과 그 개체명 인식(NER) 주석을 러시아어로 효과적으로 전이하여, 자원이 부족한 언어를 위한 학습용 "실버(silver)" 품질 베이스라인을 제공할 수 있는지 조사한다.

방법론
저자들은 골드 세트(gold set) 준비, 텍스트 번역, NER 주석 전이의 세 가지 주요 단계로 구성된 파이프라인을 제안한다.

1. 데이터 준비: 본 연구는 DEFT 코퍼스(자유 전자책에서 추출한 영어 텍스트)와 WCL 데이터셋의 위키피디아 부분을 활용한다. 기존의 CoNLL 유사 형식을 Hugging Face Datasets 구조로 변환하였다. "골드 세트"는 Google Translate를 사용하여 영어 데이터의 일부(dev set 및 train set의 무작위 샘플)를 러시아어로 번역한 후, Label Studio를 사용하여 수동 검증 및 NER 주석 전이를 거쳐 수동으로 생성되었다. 그 결과 1,070개의 수동 검증된 문장(NER 포함 870개, 미포함 200개)이 확보되었다.
2. 주석 전이 전략: 저자들은 처음에 LLM이 영어 인덱스를 기반으로 인덱스 삼중항(시작, 끝, 레이블)을 출력하도록 하는 프롬프트를 테스트하였다. 이 방식은 모델이 언어 간 인덱스를 정확하게 매핑하지 못하는 문제로 인해 실패하였다. 이에 따라 과업을 재구성하였다: LLM이 주어진 영어 NER 스팬(span)에 대응하는 러시아어 서브스트링(substring)을 직접 식별하도록 요청하는 방식이다.
3. 모델 벤치마킹: bothub.chat 프록시를 통해 OpenAI 모델(gpt-3.5-turbo, gpt-4o-mini, gpt-4.1-nano, gpt-4.1-mini), Llama3.1-8B, DeepSeek 변체(chat-v3-0324, r1), Qwen-2.5-72B를 포함한 다양한 LLM을 평가하였다.
4. 평가 지표:
   • 주석 전이: LLM 출력과 골드 표준 간의 정확한 일치(exact matches), 더 넓거나 좁은 부분 일치(wider/narrower partial matches), 불일치(mismatches)를 통해 측정하였다. 형태론적 불일치를 완화하기 위해 후처리 단계에서 퍼지 매칭(fuzzy matching)을 적용하였다.
   • 번역 품질: BLEU 점수와 임베딩 기반 지표인 LaBSE를 사용하여 평가하였다. 여기에는 "병렬 비교(Parallel Comparison)"(소스와 번역 간의 의미적 거리)와 "BLEU 유사 지표(BLEU-like)"(골드 데이터와 기계 번역 간의 의미적 거리)가 포함된다.
5. 다운스트림 학습: 가장 성능이 좋은 파이프라인(DeepSeek-chat-v3-0324 사용)을 전체 DEFT 및 WCL 데이터셋에 적용하여 번역된 러시아어 코퍼스(ruDEFT 및 WCL_Wiki_Ru)를 생성하였다. 정의 탐지 및 용어/정의 인식을 위한 베이스라인을 구축하기 위해 BERT 기반 모델(multilingual BERT, RuBERT, RoBERTa)을 이 데이터셋들로 학습시켰다.

주요 결과

• 주석 전이: 인덱스가 아닌 서브스트링을 추출하도록 과업을 재구성한 것이 성능을 크게 향상시켰다. DeepSeek-chat-v3-0324 모델은 (퍼지 검색 후처리 적용 시) 94.21%의 정확한 일치율과 단 0.84%의 불일치 스팬을 기록하며 가장 높은 성능을 보였다. GPT-4.1-mini와 GPT-3.5-turbo 역시 우수한 성능을 보였으나, Llama3.1-8B는 형태론적 변이에 취약하여 불일치를 줄이기 위해 퍼지 매칭이 필요했다.
• 번역 품질: 번역 성능은 전반적으로 높았으며, gpt-4o-mini와 DeepSeek-chat-v3-0324가 가장 높은 BLEU 점수(~0.52)와 유리한 임베딩 기반 지표를 달성하였다.
• 다운스트림 모델 성능:
  • 정의 탐지 (Task 1): 전이된 데이터로 학습된 모델들은 강력한 결과(테스트 세트에서 F1 ~0.85)를 얻었으나, 골드 세트와 전이된 테스트 세트 사이에 성능 격차가 존재했는데, 이는 텍스트 내 LLM 유도 편향(bias)을 시사한다.
  • NER (Task 2): 성능이 눈에 띄게 낮았으며(RuDEFT 기준 F1 ~0.58), 이는 전이된 주석의 "실버" 품질이 모델의 완벽한 일반화 능력을 제한함을 나타낸다. 그러나 모델들은 전이된 테스트 세트보다 골드 세트에서 더 나은 성능을 보였으며, 이 특정 맥락에서는 multilingual BERT가 RuBERT보다 주석 오류에 대해 약간 더 높은 강건성을 보였다.
  • WCL 데이터셋: 모델들은 위키피디아 기반 데이터셋에서 매우 우수한 결과(F1 ~0.96)를 얻었는데, 이는 위키피디아 정의의 구조적 특성과 용어 엔티티만을 식별하는 더 단순한 과업 때문인 것으로 보인다.

의의 및 주장
저자들은 LLM이 복잡한 NER 주석을 언어 간에 전이하는 효과적인 "스마트 번역기" 역할을 할 수 있으며, 자원이 부족한 언어의 NLP 시작점을 만드는 데 필요한 노력을 크게 줄여준다고 주장한다. 생성된 데이터셋은 "실버" 품질이므로 고위험 애플리케이션에는 인간의 검증이 필요하지만, 본 연구는 이 데이터셋들이 과학적 트렌드 분석 및 의사결정 지원 시스템(예: iFORA, SciApp)을 위한 베이스라인 모델을 학습시키기에 충분하다는 것을 입증한다.

본 논문은 전이된 데이터가 기능적인 도구 구축을 가능하게 하지만, 이 데이터로 학습된 NER 모델은 아직 완벽하지 않으므로 주석에 대한 신중한 검증이 필요하다는 점을 겸허히 결론짓는다. 이 연구는 과업의 인지적 복잡성(예: 인덱스 매핑 vs 서브스트링 추출)이 LLM 성능에 큰 영향을 미친다는 점을 강조한다. 저자들은 추가 연구를 촉진하기 위해 생성된 러시아어 데이터셋(ruDEFT, WCL_Wiki_Ru)과 관련 코드를 오픈 소스로 공개하였다.