Multilingual and Cross-Lingual Citation Needed Detection on Wikipedia for Lower-Resource Languages

기술 요약: 저자원 언어를 위한 위키피디아 기반 다국어 및 교차 언어 인용 필요성 탐지

문제 정의
자동 사실 확인(Automated Fact-Checking, AFC)은 검증이 필요한 주장을 식별하는 주장 검증 가능성 탐지(Claim Check-worthiness Detection, CWD)에 의존한다. 위키피디아에서 이는 편집자가 권위 있는 인라인 인용이 누락된 주장에 플래그를 지정하는 이진 분류 작업인 '인용 필요성 탐지(Citation Needed Detection, CND)'로 나타난다. 기존 연구가 고자원 언어의 CND를 다룬 반면, 저자원 언어 커뮤니티는 활성 편집자의 부족과 자동화 도구의 부재로 인해 불균형적인 부담을 안고 있다. 또한, 최근의 AFC 파이프라인은 점차 대규모 언어 모델(LLM)에 의존하고 있으나, LLM은 독점적 제한 사항과 높은 추론 비용으로 인해 저자원 조직들이 접근하기 어려운 경우가 많다. 본 논문은 다국어 CND 자원의 격차와 더 작고 비용 효율적인 모델을 이 작업에 사용하는 것의 타당성을 다룬다.

방법론
저자들은 고품질 위키피디아 "특징 문서(Featured Articles)"에서 추출한 대규모 코퍼스인 **MCN (Multilingual Citation Needed)**을 소개한다. 이 데이터셋은 세 가지 자원 수준(고, 중, 저)에 걸쳐 인도-유럽, 투르크, 오스트로네시아, 오스트로아시아 어족을 포함하는 18개의 언어학적으로 다양한 언어를 포괄한다. 주장은 인라인 인용의 존재 여부에 따라 라벨링되며, 문맥적 문장과 주제 메타데이터가 함께 제공된다.

본 연구는 LLM의 대안으로서 소형 언어 모델(Small Language Models, SLMs) (구체적으로 Llama-3-8B, Qwen3-8B, Aya-8b)을 평가한다. 방법론은 세 가지 실험적 축에 집중한다:

1. 지도 미세 조정(Supervised Fine-Tuning, SFT) 변형: 저자들은 QLoRA를 사용하여 디코더 기반 SLM을 위한 세 가지 적응 전략을 비교한다:
   • 전체 토큰 손실 (Full-Token Loss, FTL): 모든 토큰에 대한 표준 자기회귀 학습.
   • 타겟 전용 손실 (Target-Only Loss, TOL): 어시스턴트(라벨) 토큰에 집중하기 위해 입력 토큰을 마스킹함.
   • 인코더 스타일 (Encoder-Style, ES): 디코더 모델을 판별적 분류기로 적응시키기 위해 마지막 토큰의 은닉 상태를 피드 피드포워드 분류기에 입력하고 교차 엔트로피 손실로 최적화함.
2. 다국어 벤치마킹: SLM을 인코더 기반 사전 학습 언어 모델(mBERT 및 XLM-R과 같은 PLM) 및 상용 LLM(GPT-5, Gemini 2.5)과 제로샷(zero-shot) 및 퓨샷(few-shot) 프롬프팅을 사용하여 벤치마킹한다.
3. 교차 언어 전이 (Cross-Lingual Transfer, X-CND): 영어 데이터로만 학습된 모델이 제로샷 및 퓨샷 설정에서 중/저자원 대상 언어로 얼마나 전이될 수 있는지 평가한다. 여기에는 합성 병렬 데이터(번역된 영어 테스트 세트)와 비병렬 실제 데이터 모두에 대한 테스트가 포함된다.

주요 기여

• MCN 코퍼스: 기존 데이터셋(예: CitationNeeded, CheckThat)의 언어적 및 자원 수준 범위를 크게 확장하여 18개 언어를 포괄하는 대규모 CND 데이터셋을 공개한다.
• SLM vs. LLM 벤치마크: 미세 조정된 SLM이 모든 자원 수준에서 프롬프팅된 LLM보다 실질적으로 우수함을 입증하는 종합적인 평가를 수행한다.
• 최초의 교차 언어 CND 연구: 영어로 학습된 SLM이 제로샷 및 최소한의 대상 언어 감독 하에서도 저자원 언어에 효과적으로 전이될 수 있음을 보여주는 최초의 체계적인 교차 언어 CND 평가이다.
• SFT 전략 분석: 디코더 기반 SLM을 판별적 CND 작업에 적응시키는 데 있어 인코더 스타일(ES) 미세 조정이 가장 효과적인 전략임을 확인하였다.

결과

• SFT 변형: 인코더 스타일(ES) 미세 조정이 대부분의 언어와 모델에서 생성형 변형(FTL 및 TOL)보다 일관되게 우수한 성능을 보였으며, 생성형 방식보다 최대 8 퍼센트 포인트 높은 정확도를 기록했다.
• 모델 성능: 미세 조정된 SLM과 PLM은 프롬프팅된 LLM보다 유의미하게 높은 성능을 보인다. 예를 들어, 미세 조정된 SLM은 저자원 언어에서 66~70%의 정확도를 달 기록한 반면, 가장 성능이 좋은 LLM(Gemini 2.5)은 약 59%에 그쳤다.
• 교차 언어 전이:
  • 병렬 데이터에서 미세 조정된 SLM은 강력한 제로샷 일반화 능력(최대 87% 정확도)을 보인다.
  • 비병렬 실제 데이터에서는 정확도가 약 15~20 퍼센트 포인트 하락하며, 이는 분포 변화(distribution shifts)의 어려움을 보여준다.
  • 결정적으로, 영어 데이터로만 학습된 ES 미세 조정 SLM이 대상 언어에 대해 제로 또는 최소한의 대상 언어 감독이 있는 상황에서도 프롬프팅된 LLM보다 우수한 성능을 보인다.
• 퓨샷 적응: 퓨샷 튜닝이 성능을 향상시키기는 하지만, QLoRA로 미세 조정된 SLM의 경우 효과를 보기 위해 낮은 학습률(learning rate)과 같은 세심한 하이퍼파라미터 튜닝이 필요하다. mBERT는 퓨샷 튜닝으로부터 가장 많은 이득을 얻었으나, ES 튜닝된 SLM은 여로도 최소한의 적응만으로 LLM을 능가한다.
• 일반화 가능성: 특징 문서로 학습된 모델은 무작위로 샘플링된 위키피디아 문서에도 잘 일반화되며, 비특징 콘텐츠의 주석 편향을 보정한 후에도 성능이 유사하게 유지된다.

의의 및 시사점
본 논문은 특히 저자원 위키피디아 커뮤니티를 위해 범용 LLM보다 압축된 작업 특화 모델이 선호된다고 주장한다. 연구 결과는 다음과 같다:

1. 접근성: 자원이 제한된 조직은 고자원 언어로 미세 조정된 소규모 오픈 소스 모델을 사용하여 효과적인 CND 도구를 배포함으로써, 값비싼 LLM API나 대규모 대상 언어 데이터셋의 필요성을 우회할 수 있다.
2. 효율성: 인코더 스타일 미세 조정은 디코더 기반 모델을 판별적 작업을 위해 적응시키는 신뢰할 수 있고 비용 효율적인 경로를 제공한다.
3. 배포 가능성: 영어로 학습된 특화 모델의 교차 언어 전이는 실제 세계의 분포 변화에 따른 한계를 인지한다면, 저자원 커뮤니티를 지원하기 위한 실행 가능한 전략을 제공한다.

저자들은 인도-유럽 언어에 집중된 점, QLoRA 기반 미세 조정에 의존한 점, 그리고 위키피디아의 도메인 특화적인 인용 정책이 정치 토론과 같은 다른 사실 확인 도메인으로 직접 전이되지 않을 수 있다는 점을 한계로 언급하였다.