Entropy of Ukrainian

1. Planteamiento del Problema

El artículo aborda la falta de datos empíricos sobre la entropía (imprevisibilidad y densidad de información) del idioma ucraniano. Si bien el experimento de Claude Shannon de 1951 estableció una metodología para medir la entropía del lenguaje mediante la predicción humana, y estudios posteriores han cuantificado esto para el inglés y el hebreo, no se había realizado ningún estudio similar para el ucraniano.

Las estimaciones existentes para el ucraniano se basaban en modelos estadísticos de N-gramas (Babenko y Sushko, 2012), que arrojaron una entropía de 1.25–1.40 bits por carácter (bpc) para $N=9$. Sin embargo, los modelos de N-gramas sufren de dispersión de datos a medida que aumenta la longitud del contexto y no pueden capturar las dependencias de largo alcance inherentes al lenguaje natural. Los autores buscan replicar el experimento de adivinanza humana de Shannon para proporcionar un límite superior más preciso e independiente del contexto sobre la entropía del ucraniano.

2. Metodología

El estudio replica el experimento de Shannon utilizando una plataforma en línea basada en voluntarios, adaptando la metodología de Ren et al. (2019) (quienes estudiaron el inglés).

• Diseño Experimental:

  • Participantes: 184 voluntarios reclutados a través de Telegram y el boca a boca.
  • Tarea: Se presentaron a los participantes oraciones de artículos de noticias ucranianos (Ukrainska Pravda). Se revelaron los primeros 70 caracteres y los participantes debían adivinar el siguiente carácter secuencialmente hasta ingresar el correcto.
  • Restricciones: Para mantener el compromiso, el experimento comenzó en la posición 70 en lugar de la 0. Las oraciones se filtraron para tener entre 120 y 200 caracteres.
  • Recopilación de datos: 323 usuarios se registraron; 184 iniciaron sesiones. El estudio recopiló 17,023 adivinanzas correctas (observaciones) de 501 sesiones completadas y 192 sesiones incompletas.

• Cálculo de la Entropía:

  • La entropía verdadera $H$ está acotada por $H_{lower} \le H \le H_{upper}$.
  • Límite Superior ($H_{upper}$): Calculado basándose en la distribución del número de intentos necesarios para encontrar el carácter correcto.
  • Límite Inferior ($H_{lower}$): Calculado basándose en la distribución "menos sorprendente" (asumiendo que un carácter adivinado en el intento $i$ tiene una probabilidad de $1/i$).
  • Fórmula: $H_{upper} = -\sum_{i=1}^{K} q_i \log_2 q_i$, donde $q_i$ es la fracción de caracteres adivinados correctamente en el intento $i$.

• Procesamiento y Filtrado de Datos:

  • Eliminación de valores atípicos: Se utilizó un análisis binomial para eliminar sesiones "sospechosas" (4.3%) donde el rendimiento fue estadísticamente improbable (probablemente debido a trampas o búsqueda de respuestas en línea).
  • Recorte: Para mitigar el "efecto voluntario" (menor compromiso que los trabajadores remunerados), los autores recortaron agresivamente el 65% inferior de las sesiones de rendimiento. Esto se eligió para minimizar el ancho del intervalo de confianza mientras se retenía la variación natural.
  • Agrupación: Los datos de las posiciones 70 a 110 se agruparon para calcular la entropía final, ya que el contexto más allá de 70 caracteres ofrecía rendimientos decrecientes para la precisión de las adivinanzas.

3. Contribuciones Clave

1. Primera Medición de Entropía Basada en Humanos para el Ucraniano: Este es el primer estudio que aplica el experimento de adivinanza de Shannon al idioma ucraniano.
2. Límite Superior Refinado: El estudio establece un nuevo límite superior de 1.201 bpc para el ucraniano, que es más bajo que las estimaciones anteriores de N-gramas (1.25–1.40 bpc), lo que indica que los contextos más largos reducen significativamente la imprevisibilidad.
3. Pruebas de Referencia para LLM: Los autores compararon el rendimiento humano con Modelos de Lenguaje Grandes (LLM) de última generación en el mismo corpus, proporcionando una línea base para la eficiencia del modelo frente a la intuición humana.
4. Código Abierto: El código, los datos y la interfaz experimental se publican para facilitar futuras investigaciones.

4. Resultados Clave

Rendimiento Humano

• Límite Superior: 1.201 bpc (Intervalo de Confianza del 95%: [1.10, 1.19]).
• Límite Inferior: 0.5987 bpc.
• Redundancia: El idioma exhibe aproximadamente un 76.4% de redundancia.
• Comparación con el Inglés: La entropía del ucraniano (1.201 bpc) es notablemente similar a la del inglés (1.22 bpc), a pesar de que el ucraniano tiene un alfabeto más grande (33 letras + espacio frente a 26 + espacio). Los autores sugieren que las letras menos frecuentes en el ucraniano no aumentan significativamente la entropía general.

Rendimiento de Modelos de Lenguaje Grandes (LLM)

Los autores probaron varios modelos preentrenados (Gemma-3, Llama-3.1, Qwen, Mistral y el modelo específico para ucraniano Lapa) en el mismo conjunto de datos.

• Mejores Rendimientos: Gemma-3 (27B) logró 0.717 bpc, y Lapa (12B) logró 0.734 bpc.
• Comparación: Los LLM superan significativamente a los humanos (un BPC más bajo es mejor).
• Preocupación por Sobreajuste: Aunque los LLM se acercan al límite inferior humano (0.599 bpc), los autores señalan que esto podría indicar sobreajuste al corpus de noticias específico en lugar de capturar la verdadera entropía de todo el idioma. La brecha entre el límite superior humano (1.201) y los resultados de los LLM sugiere que la entropía verdadera se encuentra en algún punto intermedio.

5. Significado y Limitaciones

Significado:

• Densidad de Información: Confirma que el ucraniano tiene una densidad de información similar a la del inglés, validando las suposiciones de compresión y modelado entre idiomas.
• Evaluación de Modelos: Proporciona una línea base humana rigurosa para evaluar modelos de PLN ucranianos. El hecho de que los principales LLM se estén acercando a los límites inferiores humanos sugiere que son altamente efectivos para modelar la sintaxis y la semántica del ucraniano, aunque debe investigarse un posible sobreajuste.
• Perspectiva Metodológica: Destaca los desafíos de los experimentos basados en voluntarios (compromiso, trampas) y la necesidad de un recorte agresivo de datos para obtener estimaciones de entropía fiables.

Limitaciones:

• Tamaño de la Muestra: El conjunto de datos (17k observaciones) es más pequeño que los estudios comparables en inglés (Ren et al. tuvieron ~172k), lo que conduce a intervalos de confianza más amplios.
• Ventana de Contexto: El experimento comenzó en la posición 70, lo que impide el cálculo de una curva de entropía desde la posición 0 y dificulta la extrapolación a un contexto infinito.
• Sesgo del Conjunto de Datos: El corpus consistió únicamente en 5 artículos de noticias, que pueden no representar el habla informal, los dialectos regionales o la escritura creativa, lo que podría subestimar la entropía verdadera del idioma completo.
• Sesgo de los Voluntarios: Los voluntarios no remunerados estaban menos comprometidos que los trabajadores remunerados, lo que podría inflar la estimación de la entropía (haciendo que el idioma parezca más impredecible de lo que es).

Conclusión

El artículo cuantifica con éxito la entropía del ucraniano como aproximadamente 1.201 bpc, refinando las estimaciones anteriores y demostrando que el ucraniano y el inglés comparten densidades de información similares. Si bien los LLM modernos superan a los humanos en tareas de predicción, el estudio subraya la necesidad de conjuntos de datos más grandes y diversos y de mejores controles para distinguir entre el modelado lingüístico verdadero y el sobreajuste a dominios específicos.