Standardizing the Measurement of Text Diversity: A Tool and a Comparative Analysis of Scores

1. 문제 정의 (Problem)

• 표준화 부재: ML 데이터셋에서 텍스트 다양성을 보고할 때 표준화된 방법이 없습니다.
• 측정의 어려움: 템플릿화된 답변 구조나 "캔드 (canned)"된 응답은 개별 문서에서는 눈에 띄지만, 대규모 코퍼스 (corpus) 전체에 걸쳐 시각화하거나 정량화하기 어렵습니다.
• 혼란 요소: 텍스트 길이 (Text Length) 는 다양성 측정에 중요한 교란 변수 (confounder) 입니다. 길이가 다른 텍스트를 비교할 때 신뢰할 수 있는 결론을 내리기 어렵습니다.
• 계산 비용: 기존 다양성 지표 중 일부 (예: Self-BLEU, Homogenization Score) 는 계산 비용이 매우 높아 대규모 데이터셋에 적용하기 비효율적입니다.

2. 방법론 (Methodology)

A. 도구 개발: diversity 패키지 및 웹 UI

저자들은 텍스트 다양성을 측정하고 반복성을 추출하기 위한 오픈 소스 Python 패키지인 **diversity**와 이를 시각화하는 웹 기반 UI 를 개발하여 공개했습니다.

• 주요 기능:
  • 품사 (POS) 패턴 및 n-gram 반복 시각화.
  • 다양한 다양성 지수 (Compression Ratio, Self-BLEU 등) 의 자동 계산.
  • 문서 간 반복되는 텍스트를 인터랙티브하게 하이라이팅 및 매칭.
• 측정 지표 구현:
  • **압축 비율 **(Compression Ratio, CR): 모든 생성 텍스트를 연결한 후 gzip 으로 압축하여 원본 대비 압축된 크기의 비율을 계산. (높은 CR 은 높은 중복성을 의미)
  • Self-BLEU: 생성된 텍스트 쌍 간의 BLEU 점수를 평균화하여 유사도를 측정.
  • Self-Repetition Score: 다른 출력에서 반복되는 긴 n-gram (n≥4) 의 빈도를 로그 스케일로 측정.
  • Homogenization Score: ROUGE-L 또는 BERTScore 를 사용하여 텍스트 쌍 간의 유사도를 집계.
  • **NGD **(N-Gram Diversity): 고유 n-gram 수와 전체 n-gram 수의 비율.

B. 실험 설계

• 데이터셋: CNN/DailyMail 및 XSUM 뉴스 요약 데이터셋.
• 모델: Llama-2, GPT-4, FlanT5-XXL, StableLM, Mistral, StableBeluga 등 6 가지 지시 튜닝 (instruction-tuned) 모델.
• 비교 분석:
  • 다양한 다양성 지표 간의 상관관계 분석.
  • 인간 작성 텍스트 (기사 원문, 요약본) 와 모델 생성 텍스트의 다양성 비교.
  • 텍스트 길이를 통제하기 위해 모든 요약을 가장 짧은 길이로 자르는 (Truncation) 실험 수행.

3. 주요 기여 (Key Contributions)

1. diversity 패키지 출시: 텍스트 다양성 측정 (어휘, 구문, 의미적 다양성 포함) 을 위한 오픈 소스 Python 라이브러리 제공.
2. 인터랙티브 웹 UI 공개: 코딩 없이 데이터셋을 업로드하고 반복 패턴을 탐색하며 다양성 지표를 시각화할 수 있는 플랫폼 제공.
3. 지표의 타당성 검증 및 표준화 제안:
   • 기존 지표들의 수렴 타당성 (convergent validity) 을 실증적으로 분석.
   • **압축 비율 **(CR)이 계산 효율성이 높으면서도 n-gram 기반 지표들과 유사한 정보를 포착함을 증명.
   • 세 가지 핵심 지표 조합 (압축 비율, 긴 n-gram 의 자기 반복, Self-BLEU) 이 상호 간 상관관계가 낮아 함께 보고하기에 적합함을 제안.

4. 실험 결과 (Results)

A. 지표 간 상관관계 및 효율성

• **압축 비율 **(CR): 다른 대부분의 n-gram 기반 지표 (NGD, MATTR 등) 와 강한 양의 상관관계를 보였습니다. 계산 속도가 매우 빨라 대규모 데이터셋 분석에 적합합니다.
• Self-BLEU: CR 및 다른 지표들과 상관관계가 낮아 (약한 상관), CR 과 함께 보고할 때 보완적인 정보를 제공합니다.
• BERTScore 기반 Homogenization: 요약 작업에서 인간과 모델 텍스트 간의 차이를 거의 포착하지 못했으며, 텍스트 길이 통제 시 변동성이 거의 없어 유용성이 낮았습니다.
• 계산 시간: Self-BLEU 와 BERTScore 기반 지표는 데이터셋 크기가 커질수록 계산 시간이 기하급수적으로 증가하는 반면, CR 은 매우 빠르게 계산됩니다 (그림 3 참조).

B. 모델별 다양성 분석 (CNN/DM 및 XSUM)

• 텍스트 길이의 영향: 길이가 긴 모델 (예: StableLM) 은 일반적으로 다양성 지표상에서 더 낮은 다양성을 보였습니다. 이는 모델의 성능 문제라기보다 텍스트 길이의 교란 효과일 가능성이 높습니다.
• 인간 vs 모델:
  • CR: POS(품사 압축 비율) 는 인간 작성 텍스트와 모델 생성 텍스트 간의 차이를 가장 잘 포착했습니다.
  • Self-Repetition: CNN/DM 데이터셋에서 오히려 모델 생성 텍스트가 인간 텍스트보다 더 다양하다고 판단한 유일한 지표였습니다 (긴 n-gram 반복 패턴의 차이 때문).
• **지시 데이터셋 **(Instruction Datasets): Open Assistant 데이터셋이 가장 다양성이 높았고, Unnatural Instructions 데이터셋은 가장 낮았습니다.

C. 길이 통제 실험

• 텍스트를 가장 짧은 길이로 자른 후 다시 측정했을 때, 모델들의 순위가 일부 변경되었습니다 (예: Flan-T5 가 XSUM 에서 가장 반복적인 모델로 나타남). 이는 길이 보정이 중요함을 시사하지만, 실제 연구나 리더보드에서는 모든 데이터를 자르는 것이 비현실적이므로 보고 시 반드시 평균 텍스트 길이를 함께 명시해야 함을 강조합니다.

5. 의의 및 결론 (Significance)

• 표준화된 측정 프레임워크 제공: LLM 생성 텍스트의 다양성을 평가할 때 사용할 수 있는 일관된 방법론과 도구를 제시하여, 향후 연구에서의 비교 가능성을 높였습니다.
• 효율성과 정확성의 균형: 계산 비용이 적게 드는 **압축 비율 **(CR)이 기존 복잡한 지표들을 대체하거나 보완할 수 있는 효율적인 지표임을 입증했습니다.
• 실용적 도구: 연구자와 개발자가 자신의 데이터셋에서 반복 패턴을 직관적으로 파악하고 다양성을 정량화할 수 있는 diversity 패키지를 통해 실제 적용을 촉진합니다.
• 주의점 강조: 다양성 지표를 해석할 때 텍스트 길이를 반드시 고려해야 하며, 길이 차이가 있을 경우 지표 간 비교는 무의미할 수 있음을 경고했습니다.

요약하자면, 이 논문은 LLM 생성 텍스트의 "반복성"과 "다양성"을 측정하기 위한 표준화된 도구와 지표를 제시하며, 특히 **압축 비율 **(CR)과 **자기 반복 **(Self-Repetition)을 중심으로 한 효율적이고 효과적인 측정 프레임워크를 제안합니다.