Entropy of Ukrainian

1. Formulação do Problema

O artigo aborda a falta de dados empíricos sobre a entropia (imprevisibilidade e densidade de informação) da língua ucraniana. Embora o experimento de Claude Shannon em 1951 tenha estabelecido uma metodologia para medir a entropia da linguagem por meio de previsão humana, e estudos subsequentes tenham quantificado isso para o inglês e o hebraico, nenhum estudo semelhante havia sido realizado para o ucraniano.

Estimativas existentes para o ucraniano baseavam-se em modelos estatísticos de N-gramas (Babenko e Sushko, 2012), que resultaram numa entropia de 1,25–1,40 bits por caractere (bpc) para $N=9$. No entanto, os modelos de N-gramas sofrem com a escassez de dados à medida que o comprimento do contexto aumenta e não conseguem capturar dependências de longo alcance inerentes à linguagem natural. Os autores visam replicar o experimento de adivinhação humana de Shannon para fornecer um limite superior mais preciso e independente do contexto para a entropia do ucraniano.

2. Metodologia

O estudo replica o experimento de Shannon utilizando uma plataforma online baseada em voluntários, adaptando a metodologia de Ren et al. (2019) (que estudou o inglês).

• Desenho Experimental:

  • Participantes: 184 voluntários recrutados via Telegram e indicação.
  • Tarefa: Os participantes foram apresentados a frases de artigos de notícias ucranianos (Ukrainska Pravda). Os primeiros 70 caracteres foram revelados, e os participantes tiveram de adivinhar o próximo caractere sequencialmente até que o correto fosse inserido.
  • Restrições: Para manter o envolvimento, o experimento começou na posição 70 em vez de 0. As frases foram filtradas para ter entre 120–200 caracteres.
  • Coleta de Dados: 323 usuários registraram-se; 184 iniciaram sessões. O estudo coletou 17.023 palpites corretos (observações) de 501 sessões concluídas e 192 sessões incompletas.

• Cálculo da Entropia:

  • A entropia verdadeira $H$ é limitada por $H_{inferior} \le H \le H_{superior}$.
  • Limite Superior ($H_{superior}$): Calculado com base na distribuição do número de palpites necessários para encontrar o caractere correto.
  • Limite Inferior ($H_{inferior}$): Calculado com base na distribuição "menos surpreendente" (assumindo que um caractere adivinhado na $i$-ésima tentativa tem probabilidade $1/i$).
  • Fórmula: $H_{superior} = -\sum_{i=1}^{K} q_i \log_2 q_i$, onde $q_i$ é a fração de caracteres adivinhados corretamente na $i$-ésima tentativa.

• Processamento e Filtragem de Dados:

  • Remoção de Outliers: Uma análise binomial foi utilizada para remover sessões "suspeitas" (4,3%) onde o desempenho foi estatisticamente improvável (provavelmente devido a trapaça ou consulta de respostas online).
  • Corte: Para mitigar o "efeito do voluntário" (menor engajamento do que trabalhadores remunerados), os autores cortaram agressivamente os 65% inferiores das sessões de desempenho. Isso foi escolhido para minimizar a largura do intervalo de confiança, mantendo a variância natural.
  • Agrupamento: Dados das posições 70 a 110 foram agrupados para calcular a entropia final, pois o contexto além de 70 caracteres oferecia retornos decrescentes para a precisão dos palpites.

3. Principais Contribuições

1. Primeira Medição de Entropia Baseada em Humanos para o Ucraniano: Este é o primeiro estudo a aplicar o experimento de adivinhação de Shannon à língua ucraniana.
2. Limite Superior Refinado: O estudo estabelece um novo limite superior de 1,201 bpc para o ucraniano, que é inferior às estimativas anteriores de N-gramas (1,25–1,40 bpc), indicando que contextos mais longos reduzem significativamente a imprevisibilidade.
3. Benchmarks de LLM: Os autores compararam o desempenho humano com Modelos de Linguagem de Grande Escala (LLMs) de última geração no mesmo corpus, fornecendo uma linha de base para eficiência do modelo versus intuição humana.
4. Código Aberto: O código, os dados e a interface experimental foram publicados para facilitar pesquisas futuras.

4. Principais Resultados

Desempenho Humano

• Limite Superior: 1,201 bpc (Intervalo de Confiança de 95%: [1,10, 1,19]).
• Limite Inferior: 0,5987 bpc.
• Redundância: A língua exibe aproximadamente 76,4% de redundância.
• Comparação com o Inglês: A entropia do ucraniano (1,201 bpc) é notavelmente semelhante à do inglês (1,22 bpc), apesar de o ucraniano ter um alfabeto maior (33 letras + espaço vs. 26 + espaço). Os autores sugerem que letras menos frequentes no ucraniano não aumentam significativamente a entropia geral.

Desempenho de Modelos de Linguagem de Grande Escala (LLM)

Os autores testaram vários modelos pré-treinados (Gemma-3, Llama-3.1, Qwen, Mistral e o modelo específico para ucraniano Lapa) no mesmo conjunto de dados.

• Melhores Desempenhos: Gemma-3 (27B) alcançou 0,717 bpc, e Lapa (12B) alcançou 0,734 bpc.
• Comparação: Os LLMs superam significativamente os humanos (menor BPC é melhor).
• Preocupação com Overfitting: Embora os LLMs se aproximem do limite inferior humano (0,599 bpc), os autores observam que isso pode indicar overfitting ao corpus específico de notícias em vez de capturar a verdadeira entropia de toda a língua. A lacuna entre o limite superior humano (1,201) e os resultados dos LLMs sugere que a entropia verdadeira está em algum lugar no meio.

5. Significado e Limitações

Significado:

• Densidade de Informação: Confirma que o ucraniano tem uma densidade de informação semelhante à do inglês, validando suposições de compressão e modelagem interlinguísticas.
• Avaliação de Modelos: Fornece uma linha de base humana rigorosa para avaliar modelos de PNL ucranianos. O fato de os principais LLMs estarem se aproximando dos limites inferiores humanos sugere que são altamente eficazes na modelagem da sintaxe e semântica ucranianas, embora o overfitting potencial deva ser investigado.
• Insight Metodológico: Destaca os desafios de experimentos baseados em voluntários (engajamento, trapaça) e a necessidade de corte agressivo de dados para obter estimativas de entropia confiáveis.

Limitações:

• Tamanho da Amostra: O conjunto de dados (17 mil observações) é menor que estudos comparáveis em inglês (Ren et al. tiveram ~172 mil), levando a intervalos de confiança mais amplos.
• Janela de Contexto: O experimento começou na posição 70, impedindo o cálculo de uma curva de entropia a partir da posição 0 e tornando difícil a extrapolação para contexto infinito.
• Viés do Conjunto de Dados: O corpus consistiu apenas em 5 artigos de notícias, que podem não representar a fala informal, dialetos regionais ou escrita criativa, potencialmente subestimando a verdadeira entropia da língua completa.
• Viés do Voluntário: Voluntários não remunerados estavam menos engajados do que trabalhadores remunerados, potencialmente inflando a estimativa de entropia (fazendo a língua parecer mais imprevisível do que é).

Conclusão

O artigo quantifica com sucesso a entropia do ucraniano como aproximadamente 1,201 bpc, refinando estimativas anteriores e demonstrando que o ucraniano e o inglês compartilham densidades de informação semelhantes. Embora os LLMs modernos superem os humanos em tarefas de previsão, o estudo sublinha a necessidade de conjuntos de dados maiores e mais diversos e melhores controles para distinguir entre modelagem linguística verdadeira e overfitting a domínios específicos.