TailNLG: A Multilingual Benchmark Addressing Verbalization of Long-Tail Entities

1. 문제 제기 (Problem)

• 배경: 지식 그래프 (Knowledge Graphs) 의 구조화된 정보를 자연어로 변환하는 작업 (Data-to-Text Generation) 은 비전문가 접근성 향상과 검색 증강 생성 (RAG) 시스템의 안전성 확보에 필수적입니다.
• 핵심 문제: 최근 다국어 Data-to-Text 연구가 진전되었음에도 불구하고, **희귀한 개체 (Long-tail entities)**에 대한 편향 (Bias) 을 다루는 연구는 부족합니다.
  • 대부분의 LLM 은 훈련 데이터에서 자주 등장하는 '헤드 (Head)' 개체에는 잘 작동하지만, 훈련 데이터에서 드물게 등장하는 '롱테일 (Long-tail)' 개체 (예: 소수의 주장만 가진 위키데이터 엔티티) 를 처리할 때 성능이 저하되거나 불확실성이 높아지는 경향이 있습니다.
  • 기존 벤치마크 (예: WebNLG) 는 주로 잘 알려진 개체에 집중되어 있어, 모델의 롱테일 처리 능력을 체계적으로 평가할 수 있는 표준이 부재했습니다.

2. 방법론 (Methodology)

가. TailNLG 벤치마크 구축

• 데이터 소스: 위키데이터 (Wikidata) 를 기반으로 영어, 이탈리아어, 스페인어 3 개 언어로 구성된 새로운 벤치마크인 TailNLG를 제안했습니다.
• 엔티티 선정 기준:
  • 롱테일 (Long-tail): 특정 엔티티와 연결된 주장 (claims/relations) 의 수가 파레토 분포 (Pareto distribution) 의 하위 80% 에 해당하는 임계값 이하인 개체. 또한, 3 개 언어 중 하나에서만 위키피디아 페이지가 존재하는 경우를 포함하여 희소성을 강화했습니다.
  • 헤드 (Head): 파레토 임계값 이상의 많은 주장을 가진 잘 알려진 개체 (예: 런던, 구글).
• 데이터 구성:
  • RDF 트리플 (주어, 술어, 목적어) 을 추출하여 다양한 구조 (Chain, Sibling, Mixed) 로 구성한 데이터 단위 (Data Units) 를 생성했습니다.
  • 총 1,845 개의 데이터 단위로 구성되었으며, 1,120 개는 Gold (수동 검증) 및 725 개는 Silver (기계 번역 + 자동 후편집) 데이터입니다.
• 구현 프로세스:
  1. 수동 주석: 3 개 언어의 원어민이 일부 데이터에 대한 자연스러운 문장 생성 (Verbalization) 을 수행.
  2. 기계 번역 및 후편집 (APE): DeepL 을 통한 번역 후, xCOMET(품질 평가) 와 xTOWER(오류 수정) 모델을 활용하여 번역 품질을 개선하고 정렬된 병렬 코퍼스를 구축.

나. 실험 설정

• 모델: 3 가지 계열의 오픈 소스 다국어 지시 튜닝 (Instruction-tuned) LLM 사용 (Llama-3.2, Qwen2.5, Gemma-3). 각 계열의 3B~12B 파라미터 규모 모델 평가.
• 설정: Zero-shot 설정 (외부 예시 없이 직접 생성) 으로 실행.
• 평가 지표:
  • 의미적 유사성: BERTScore (BERTScorer).
  • 표면적 겹침: BLEU, chrF++, ROUGE (1, 2, L).
  • 모델 불확실성: Perplexity (PPL). PPL 이 높을수록 모델이 해당 텍스트 생성에 대해 불확실성이 높음을 의미.

3. 주요 기여 (Key Contributions)

1. 최초의 체계적 연구: Data-to-Text 생성 작업에서 롱테일 엔티티의 성능 편향을 체계적으로 분석한 최초의 연구입니다.
2. TailNLG 벤치마크 공개: 영어, 이탈리아어, 스페인어 3 개 언어를 지원하며, 헤드와 롱테일 엔티티를 명확히 구분한 다국어 RDF-to-Text 벤치마크를 공개했습니다.
3. 편향 발견 및 분석: 기존 벤치마크 (WebNLG) 와의 비교를 통해 모델이 잘 알려진 개체에 비해 희귀 개체 처리 시 성능이 저하되고 불확실성이 증가함을 실증적으로 증명했습니다.
4. 평가 지표의 한계 지적: 기존 자동 평가 지표 (BLEU, ROUGE 등) 가 롱테일 편향을 일관되게 포착하지 못하며, PPL(Perplexity) 이 불확실성 측정에 더 유용함을 보였습니다.

4. 실험 결과 (Results)

• 롱테일 vs 헤드 성능 차이 (RQ1):

  • 성능 저하: 모든 모델에서 롱테일 엔티티에 대한 생성 성능이 헤드 엔티티보다 낮았습니다. 특히 BERTScore(의미적 유사성) 는 헤드 엔티티에서 유의미하게 높았습니다.
  • 불확실성 증가: 롱테일 엔티티를 처리할 때 모델의 PPL(Perplexity) 이 헤드 엔티티보다 유의미하게 높았습니다. 이는 모델이 희귀한 개체에 대한 예측이 어렵고 불확실성이 높음을 시사합니다.
  • 언어 편향: 영어가 이탈리아어와 스페인어보다 전반적으로 높은 성능을 보였으며, 이탈리아어는 형태적 복잡성으로 인해 오히려 오류 (과잉 생성, 부재 등) 가 더 많이 발생했습니다.

• TailNLG vs WebNLG 비교 (RQ2):

  • 모델은 기존 벤치마크인 WebNLG(주로 잘 알려진 개체) 에서 TailNLG(롱테일 포함) 보다 일관되게 높은 점수를 기록했습니다.
  • 이는 모델이 사전 학습 단계에서 WebNLG 에 포함된 잘 알려진 개체나 관계에 더 많이 노출되었기 때문으로 해석됩니다.

• 평가 지표의 불일치:

  • 의미적 유사성 (BERTScore) 은 롱테일에서 낮게 나왔으나, 겹침 기반 지표 (BLEU, ROUGE) 는 경우에 따라 롱테일에서 더 높은 점수를 기록하기도 했습니다. 이는 헤드 엔티티 생성 시 모델이 참조 문장보다 더 많은 정보를 추가하여 (Over-generation) 겹침이 낮아지는 현상과 관련이 있습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적 함의: 현재 LLM 은 지식 그래프 기반의 RAG 시스템이나 정보 접근성 도구로 활용될 때, 잘 알려지지 않은 소수 집단이나 희귀한 사실 (Long-tail) 에 대해 신뢰할 수 없는 답변을 생성할 위험이 있음을 경고합니다.
• 평가 프레임워크의 필요성: 기존의 자동 평가 지표만으로는 모델의 편향과 불확실성을 정확히 측정하기 어렵습니다. PPL 과 같은 불확실성 지표와 함께 롱테일 특화 벤치마크를 활용한 평가가 필수적입니다.
• 향후 과제:
  • 더 많은 언어와 데이터 단위 추가.
  • 단순한 빈도 수 (Claims 수) 를 넘어 문화적 맥락과 수평적/수직적 차원을 고려한 롱테일 정의 정교화.
  • 다양한 주석가 관점을 반영한 Gold Standard 구축을 통한 인간 편차 연구.

이 논문은 다국어 Data-to-Text 생성 모델의 공정성과 신뢰성을 높이기 위해 롱테일 엔티티 처리 능력을 평가할 수 있는 표준적인 도구와 통찰을 제공했다는 점에서 중요한 의의를 가집니다.