1. 문제 정의 (Problem)

위키백과는 웹상의 핵심 정보원이자 대규모 언어 모델 (LLM) 의 주요 학습 데이터이지만, 그 신뢰성은 '검증 가능성 (Verifiability)'에 달려 있습니다. 위키백과의 핵심 정책 중 하나인 검증 가능성은 모든 주장이 신뢰할 수 있는 출처에 의해 뒷받침되어야 함을 의미합니다.

• 현황: 2025 년 9 월 기준, 영어 위키백과만 해도 55 만 개 이상의 문서에 인용이 필요한 주장 ({{Citation needed}} 태그) 이 포함되어 있습니다.
• 도전 과제: 초당 약 6 건의 편집이 발생하는 위키백과의 방대한 양을 고려할 때, 편집자가 수동으로 인용이 필요한 문장을 식별하고 태그를 붙이는 것은 지연을 초래하며 비효율적입니다.
• 연구의 필요성: 기존 연구는 주로 영어 위키백과에 집중되어 있었으며, 300 개 이상의 언어로 확장된 다국어 환경과 실제 운영 (Production) 환경에서의 지연 시간 (Latency) 및 자원 제약 문제를 해결할 수 있는 시스템이 부재했습니다.

2. 방법론 (Methodology)

저자들은 위키백과 문서의 '참조 필요성 (Reference Need, RN)'을 평가하기 위해 감시 학습 (Supervised Learning) 기반의 다국어 머신러닝 시스템을 구축했습니다.

2.1 데이터 수집 및 라벨링

• Ground Truth: 위키백과 커뮤니티가 선정한 '특집 기사 (Featured Articles)'를 기준 (Ground Truth) 으로 사용했습니다. 특집 기사는 편집자들이 엄격하게 검증한 고품질 문서입니다.
• 라벨링 전략:
  • 양성 클래스 (Positive): 출처가 있는 문장 (이미 인용이 완료된 문장).
  • 음성 클래스 (Negative): 출처가 없는 문장 (인용이 필요한 문장).
  • 참고: 편집자가 이미 인용을 추가한 문장은 학습 데이터에서 제외하여 중복 평가를 방지하고 추론 속도를 높였습니다.
• 언어 범위: 훈련 데이터는 영어, 프랑스어, 독일어, 스페인어, 러시아어 (총 5 개 언어) 의 특집 기사에서 추출되었으며, 평가는 활성 사용자가 많은 상위 10 개 언어 (위 5 개 + 일본어, 포르투갈어, 중국어, 이탈리아어, 페르시아어) 로 확장되었습니다.

2.2 시스템 설계 및 특징 추출

• 입력 특징: 문장 자체뿐만 아니라 언어 코드, 섹션 제목, 이전/이후 문장 (문맥) 을 함께 입력하여 분류 정확도를 높였습니다.
• 모델 아키텍처:
  • Base Model: 다국어 BERT 의 증류 (Distilled) 버전인 distilbert-base-multilingual-cased 를 기반으로 미세 조정 (Fine-tuning) 했습니다.
  • 입력 시퀀스 길이: 128 토큰으로 제한하여 추론 속도를 최적화했습니다.
• 인프라 제약:
  • 하드웨어: GPU 가 아닌 CPU 만 사용하는 인프라 환경에 맞춰 설계되었습니다.
  • 성능 목표: 초당 6 건의 편집을 처리하기 위해 1 문장당 추론 시간을 500ms 이하로 유지해야 했습니다.

2.3 모델 최적화

• 양자화 (Quantization) 및 프루닝 (Pruning): 모델 크기를 줄이고 속도를 높이기 위해 PyTorch 양자화, ONNX 내보내기, Intel Neural Compressor, BetterTransformers 등의 기법을 적용했습니다.
• LLM 비교: 제로샷 (Zero-shot) 추론이 가능한 대형 언어 모델 (Llama-3, Mistral 등) 과의 성능 및 지연 시간 비교를 수행했습니다.

3. 주요 기여 (Key Contributions)

1. 오픈 소스 다국어 시스템 개발: 활성 사용자 수 기준 상위 10 개 언어 위키백과 editions 에서 평가된 오픈 소스 참조 필요성 평가 시스템을 처음 제안했습니다.
2. 정확도와 지연 시간의 트레이드오프 분석: 엄격한 자원 제약 (CPU 만 사용) 하에서 모델 정확도와 시스템 성능 간의 균형을 탐색했습니다. 그 결과, 작은 언어 모델 (SLM) 이 대규모 언어 모델 (LLM) 대비 유사한 정확도를 유지하면서 훨씬 빠른 응답 시간을 제공함을 입증했습니다.
3. 데이터 및 코드 공개: 훈련 및 추론 코드, 실험에 사용된 데이터를 공개하여 웹 정보 신뢰성 연구의 기반을 마련했습니다.

4. 실험 결과 (Results)

4.1 모델 성능 비교

• SLM vs. LLM:
  • 미세 조정된 DistilBERT (SLM) 모델이 AUC-ROC 0.765의 성능을 보였습니다.
  • 반면, 제로샷 방식으로 추론한 대형 언어 모델 (Llama-3-70B 등) 은 AUC-ROC 0.55~0.62 수준으로 성능이 낮았으며, 지연 시간은 SLM 대비 수백 배~수천 배 더 길었습니다 (예: 0.023 초 vs 5.26 초).
  • 결론: 복잡한 위키백과 정책 (인용 필요성 판단) 에는 사전 학습된 LLM 보다는 도메인 특화 SLM 이 더 효과적입니다.
• 입력 특징의 영향: 문장 단독 입력보다 언어 코드 + 섹션 제목 + 문장 3 중체 (전후 문장 포함) 를 입력으로 사용할 때 AUC-ROC 가 0.111 포인트 향상되었습니다.

4.2 다국어 일반화 능력

• 훈련에 사용되지 않은 언어 (일본어, 중국어, 페르시아어 등) 에서도 모델은 합리적인 성능을 보였습니다. 특히 포르투갈어, 페르시아어, 이탈리아어에서는 훈련 언어와 유사한 성능을 보였으나, 중국어와 일본어에서는 상대적으로 낮은 성능을 기록했습니다.

4.3 최적화 효과

• 양자화 (Quantization) 및 최적화 기법을 적용한 결과, 정확도는 유지하면서 지연 시간을 2 배 이상 단축했습니다. (예: ONNX 모델은 0.014 초까지 단축되었으나, 현재 운영 환경인 PyTorch 기반의 양자화 모델을 배포했습니다.)

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 배포: 이 시스템은 이미 위키백과 운영 환경 (LiftWing 플랫폼) 에 배포되어 외부 재사용자 (External re-users) 가 위키백과 문서의 검증 가능성을 평가하는 데 활용되고 있습니다.
• 자원 효율성: 고비용의 GPU 인프라 없이 CPU 만으로도 고품질의 NLP 태스크를 수행할 수 있음을 입증하여, 자원 제약이 있는 환경에서의 AI 적용 가능성을 보여줍니다.
• 지속 가능성: 위키백과의 품질 유지와 검증 가능성 정책 준수를 자동화함으로써 편집자의 업무 부담을 줄이고 정보의 신뢰성을 높이는 데 기여합니다.

한계점 및 향후 과제:

• 현재 모델은 주로 서구권 언어 기반의 학습 데이터에 의존하므로, 저자원 언어 (Low-resource languages) 나 문화적 차이가 큰 언어권에서는 성능이 저하될 수 있습니다.
• 긴 문서의 경우 처리 시간이 선형적으로 증가하는 문제가 있어, 청크 (Chunk) 기반 처리 전략 등 추가적인 최적화가 필요합니다.

이 연구는 위키백과와 같은 대규모 협업 지식 기반에서 AI 가 어떻게 실용적이고 효율적으로 작동할 수 있는지에 대한 중요한 사례 연구를 제공합니다.