Entropy of Ukrainian

안톤 라브레니우크, 미키타 무드리, 마르키얀 차클로시가 작성한 논문 "우크라이나어의 엔트로피"에 대한 상세한 기술 요약입니다.

1. 문제 제기

이 논문은 우크라이나어의 엔트로피(불확실성과 정보 밀도) 에 관한 경험적 데이터가 부족하다는 문제를 다룹니다. 클로드 섀넌의 1951 년 실험은 인간의 예측을 통해 언어 엔트로피를 측정하는 방법론을 확립했으며, 이후 연구들은 영어와 히브리어에 대해 이를 정량화했으나, 우크라이나어에 대해서는 그러한 연구가 수행된 바가 없습니다.

기존의 우크라이나어 추정치는 통계적 N-그램 모델 (Babenko 와 Sushko, 2012) 에 의존했는데, 이는 $N=9$일 때 문자당 **1.25–1.40 비트 (bpc)**의 엔트로피를 산출했습니다. 그러나 N-그램 모델은 문맥 길이가 증가함에 따라 데이터 희소성 문제를 겪으며, 자연어에 내재된 장기 의존성을 포착하지 못합니다. 저자들은 우크라이나어 엔트로피에 대한 보다 정확하고 문맥에 독립적인 상한선을 제공하기 위해 섀넌의 인간 추측 실험을 재현하고자 합니다.

2. 방법론

이 연구는 Ren 등 (2019) 의 방법론 (영어 연구) 을 적용하여, 자원자 기반 온라인 플랫폼을 통해 섀넌의 실험을 재현했습니다.

• 실험 설계:

  • 참가자: 텔레그램과 구전을 통해 모집된 184 명의 자원자.
  • 과제: 참가자들은 우크라이나 뉴스 기사 (Ukrainska Pravda) 의 문장을 제시받았습니다. 처음 70 개 문자가 공개되었고, 참가자는 올바른 문자가 입력될 때까지 다음 문자를 순차적으로 추측해야 했습니다.
  • 제약 조건: 참여도를 유지하기 위해 실험은 0 번이 아닌 70 번째 위치에서 시작되었습니다. 문장은 120~200 자 사이로 필터링되었습니다.
  • 데이터 수집: 323 명의 사용자가 등록했고 184 명이 세션을 시작했습니다. 연구는 501 개의 완료된 세션과 192 개의 미완료 세션에서 17,023 개의 올바른 추측(관측치) 을 수집했습니다.

• 엔트로피 계산:

  • 실제 엔트로피 $H$는 $H_{lower} \le H \le H_{upper}$로 제한됩니다.
  • 상한선 ($H_{upper}$): 올바른 문자를 찾는 데 필요한 추측 횟수의 분포를 기반으로 계산됩니다.
  • 하한선 ($H_{lower}$): "가장 놀라지 않는" 분포를 기반으로 계산됩니다 (i 번째 시도에서 추측된 문자의 확률이 $1/i$라고 가정).
  • 공식: $H_{upper} = -\sum_{i=1}^{K} q_i \log_2 q_i$, 여기서 $q_i$는 i 번째 시도에서 올바르게 추측된 문자의 비율입니다.

• 데이터 처리 및 필터링:

  • 이상치 제거: 통계적으로 불가능한 성능 (주로 사기나 온라인 정답 조회로 인한) 을 보인 "의심스러운" 세션 (4.3%) 을 제거하기 위해 이항 분석이 사용되었습니다.
  • 트리밍: "자원자 효과"(유급 근로자보다 참여도가 낮음) 를 완화하기 위해 저자들은 수행도가 낮은 세션의 하단 **65%**를 과감하게 잘라냈습니다. 이는 자연스러운 분산을 유지하면서 신뢰구간 폭을 최소화하기 위해 선택되었습니다.
  • 풀링: 70 자 이상의 문맥은 추측 정확도에 대한 체감 수익이 감소하므로, 최종 엔트로피 계산을 위해 70 번째부터 110 번째 위치까지의 데이터를 통합했습니다.

3. 주요 기여

1. 우크라이나어 최초의 인간 기반 엔트로피 측정: 우크라이나어에 섀넌의 추측 실험을 적용한 첫 번째 연구입니다.
2. 정교화된 상한선: 이 연구는 우크라이나어에 대한 새로운 상한선인 1.201 bpc를 확립했는데, 이는 이전 N-그램 추정치 (1.25–1.40 bpc) 보다 낮습니다. 이는 더 긴 문맥이 불확실성을 크게 줄인다는 것을 시사합니다.
3. LLM 벤치마킹: 저자들은 동일한 코퍼스에서 최첨단 대형 언어 모델 (LLM) 과 인간의 성능을 비교하여 모델 효율성과 인간 직관 간의 기준선을 제공했습니다.
4. 오픈 소스: 향후 연구를 촉진하기 위해 코드, 데이터, 실험 인터페이스가 공개되었습니다.

4. 주요 결과

인간 성능

• 상한선: 1.201 bpc (95% 신뢰구간: [1.10, 1.19]).
• 하한선: 0.5987 bpc.
• 중복성: 이 언어는 약 76.4% 의 중복성을 보입니다.
• 영어와의 비교: 우크라이나어의 엔트로피 (1.201 bpc) 는 알파벳이 더 크더라도 (33 개 문자 + 공백 vs 26 개 + 공백) 영어 (1.22 bpc) 와 놀라울 정도로 유사합니다. 저자들은 우크라이나어에서 덜 빈번한 문자들이 전체 엔트로피를 크게 증가시키지 않는다고 제안합니다.

대형 언어 모델 (LLM) 성능

저자들은 Gemma-3, Llama-3.1, Qwen, Mistral, 그리고 우크라이나어 전용 Lapa모델을 포함한 여러 사전 훈련된 모델을 동일한 데이터셋으로 테스트했습니다.

• 최고 성능 모델: **Gemma-3 (27B)**는 0.717 bpc를 달성했고, **Lapa (12B)**는 0.734 bpc를 달성했습니다.
• 비교: LLM 은 인간을 크게 능가합니다 (낮은 BPC 가 더 좋습니다).
• 과적합 우려: LLM 이 인간의 하한선 (0.599 bpc) 에 근접하지만, 저자들은 이것이 전체 언어의 실제 엔트로피를 포착하기보다는 특정 뉴스 코퍼스에 대한 과적합을 나타낼 수 있다고 지적합니다. 인간의 상한선 (1.201) 과 LLM 결과 사이의 간격은 실제 엔트로피가 그 사이에 somewhere 에 있음을 시사합니다.

5. 의의 및 한계

의의:

• 정보 밀도: 우크라이나어가 영어와 유사한 정보 밀도를 가진 것을 확인하여, 언어 간 압축 및 모델링 가정을 검증했습니다.
• 모델 평가: 우크라이나어 NLP 모델을 평가하기 위한 엄격한 인간 기준선을 제공합니다. 최상위 LLM 이 인간 하한선에 근접한다는 사실은 우크라이나어 구문과 의미론을 모델링하는 데 매우 효과적임을 시사하지만, 잠재적인 과적합은 조사되어야 합니다.
• 방법론적 통찰: 자원자 기반 실험의 어려움 (참여도, 사기) 과 신뢰할 수 있는 엔트로피 추정을 얻기 위한 과감한 데이터 트리밍의 필요성을 강조합니다.

한계:

• 표본 크기: 데이터셋 (17,000 개 관측치) 은 유사한 영어 연구 (Ren 등 ~172,000 개) 보다 작아 신뢰구간이 더 넓습니다.
• 문맥 창: 실험이 70 번째 위치에서 시작되어 0 번째 위치부터의 엔트로피 곡선 계산을 방지하고 무한 문맥으로의 외삽을 어렵게 만듭니다.
• 데이터셋 편향: 코퍼스는 5 개의 뉴스 기사로만 구성되어 있어 비공식적 대화, 지역 방언, 창의적 작문을 대표하지 못할 수 있으며, 이는 전체 언어의 실제 엔트로피를 과소평가할 수 있습니다.
• 자원자 편향: 무급 자원자는 유급 근로자보다 참여도가 낮아 엔트로피 추정치를 과장했을 수 있습니다 (언어가 실제보다 더 예측 불가능하게 보이게 함).

결론

이 논문은 우크라이나어의 엔트로피를 약 1.201 bpc로 성공적으로 정량화하여 이전 추정치를 정교화하고, 우크라이나어와 영어가 유사한 정보 밀도를 공유함을 입증했습니다. 현대 LLM 이 예측 과제에서 인간을 능가하지만, 이 연구는 진정한 언어 모델링과 특정 도메인에 대한 과적합을 구분하기 위해 더 크고 다양한 데이터셋과 더 나은 통제 수단이 필요함을 강조합니다.