Vocabulary shapes cross-lingual variation of word-order learnability in language models

1. Planteamiento del Problema

El estudio aborda una pregunta fundamental en la lingüística y la inteligencia artificial: ¿Por qué algunos idiomas permiten un orden de palabras libre (como el checo o el finés) mientras que otros tienen un orden fijo (como el inglés o el francés)?

Aunque se sabe que las lenguas varían en complejidad morfológica y flexibilidad sintáctica, no está claro si todas son igualmente difíciles de aprender para los modelos computacionales. La investigación busca determinar:

1. Si la aprendibilidad de un modelo de lenguaje es sensible al grado de flexibilidad del orden de las palabras.
2. Por qué algunas lenguas son más robustas ante variaciones en el orden de las palabras que otras.

El problema central es que los estudios anteriores a menudo trataban la flexibilidad del orden de las palabras y la complejidad morfológica de forma aislada, o utilizaban métodos de desordenamiento (shuffling) a nivel de subpalabras que rompían la integridad morfológica, introduciendo ruido en los resultados.

2. Metodología

Los autores diseñaron un experimento de perturbación controlado y multilingüe para aislar el efecto del orden de las palabras sin alterar el vocabulario ni la morfología.

• Corpus y Selección de Idiomas: Se utilizó el corpus Europarl (discursos del parlamento europeo). Se seleccionaron 10 idiomas europeos divididos en dos grupos tipológicos (aunque tratados como gradientes):
  • Orden fijo: Inglés, Sueco, Danés, Francés, Portugués.
  • Orden libre: Letón, Checo, Húngaro, Estonio, Finlandés.
• Generación de Idiomas Sintéticos (Desordenamiento Determinista):
  • En lugar de mezclar subpalabras (lo que rompería palabras como maluje en ma-luje), se mezclaron palabras completas.
  • Se utilizó el Modelo de Permutación de Mallows para crear un espectro continuo de variaciones de orden.
  • Un parámetro de orden, $\theta$, controla la regularidad:
    • $\theta \to \infty$: Orden original.
    • $\theta > 0$: Desordenamiento local.
    • $\theta = 0$: Orden completamente irregular (todas las permutaciones equiprobables).
    • $\theta < 0$: Desordenamiento hacia la inversión, hasta la reversión completa de la oración ($\theta \to -\infty$).
  • Para cada longitud de oración ($n$), se seleccionó una única permutación determinista y se aplicó a todas las oraciones de esa longitud, manteniendo constante la entropía global del texto.
• Entrenamiento de Modelos:
  • Se entrenaron modelos de lenguaje autoregresivos ligeros (arquitectura Transformer similar a LLAMA, ~50M parámetros) desde cero para cada variante sintética de cada idioma.
  • Se utilizó tokenización ByteLevel-BPE con un vocabulario de 16,000 tokens (variable en experimentos de sensibilidad).
• Métrica de Evaluación:
  • Se midió la sorpresa (surprisal) del modelo, definida como el logaritmo negativo de la probabilidad del siguiente token dado el contexto. Un aumento en la sorpresa indica una menor aprendibilidad.
  • Se calculó el cambio en la sorpresa ($\Delta S$) comparando el orden perturbado con el orden original.

3. Contribuciones Clave

1. Método de Perturbación Mejorado: Introdujeron un enfoque de desordenamiento a nivel de palabra basado en el modelo de Mallows, que preserva la integridad morfológica y permite un control continuo sobre la regularidad del orden, superando las limitaciones de los métodos anteriores que mezclaban subpalabras.
2. Desenmascarar la Tipología Binaria: Demostraron que la clasificación binaria simple de "orden fijo" vs. "orden libre" es insuficiente para explicar las diferencias en la aprendibilidad entre idiomas.
3. Identificación del Vocabulario como Factor Determinante: Establecieron que la estructura del vocabulario (frecuencias, cobertura Zipfiana, longitud de oración) es un predictor mucho más fuerte de la robustez ante el desorden que la tipología sintáctica tradicional.

4. Resultados Principales

A. Sensibilidad al Orden Irregular vs. Reversión

• Aumento de la Sorpresa: A medida que el orden de las palabras se vuelve más irregular (acercándose a $\theta = 0$), la sorpresa del modelo aumenta consistentemente en todos los idiomas. Esto indica que el desorden reduce la aprendibilidad.
• Invarianza a la Reversión: Curiosamente, la inversión completa de las oraciones ($\theta < 0$) no afecta significativamente la aprendibilidad en comparación con el desordenamiento aleatorio. Los modelos muestran una simetría casi perfecta respecto a la inversión, sugiriendo que no son altamente sensibles a las correlaciones tipológicas violadas por la reversión, sino a la falta de estructura local.

B. Fallo de la Distinción Binaria

• Al comparar los idiomas de "orden libre" (azul) y "orden fijo" (rojo), no se observa una separación clara en la robustez ante el desorden ($\Delta S$). Ambos grupos se superponen significativamente.
• La distinción binaria solo explica la sorpresa en el orden original ($S_{orig}$), pero falla al predecir cómo reaccionan los modelos ante el desorden.

C. El Papel del Vocabulario y la Morfología

• Cobertura de Vocabulario (Zipf): Los idiomas con orden libre tienden a tener una cobertura de vocabulario más lenta (usan más subpalabras de baja frecuencia) en comparación con los idiomas de orden fijo.
• Regresión PLS (Partial Least Squares): Mediante un análisis multivariado, los autores identificaron dos componentes latentes:
  1. Componente de Vocabulario: Explica la sorpresa en el orden original y reverso. Está fuertemente correlacionado con métricas de cobertura y longitud de oración.
  2. Componente de Complejidad Morfológica: Explica la robustez ante el orden altamente irregular. Incluye métricas como la fertilidad (subpalabras por palabra), longitud promedio de palabras y número de tipos léxicos únicos.
• Conclusión: La estructura del vocabulario y la complejidad morfológica (capturadas por métricas simples como la cobertura y la fertilidad) predicen mejor la variación interlingüística en la aprendibilidad que la tipología de orden de palabras.

D. Efecto del Tamaño del Vocabulario

• Al variar el tamaño del vocabulario ($|V|$), se observó que la separación entre idiomas de orden fijo y libre en la sorpresa original desaparece a vocabularios muy grandes, pero la diferencia en la robustez al desorden persiste hasta cierto punto, sugiriendo que la tokenización y la eficiencia de codificación juegan un papel crucial.

5. Significado e Implicaciones

• Revisión de la Teoría de Aprendibilidad: El estudio desafía la noción de que los modelos de lenguaje aprenden todos los idiomas por igual o que la dificultad se debe únicamente a la sintaxis superficial. Sugiere que la estructura léxica y morfológica es el motor principal de la aprendibilidad computacional.
• Importancia de la Integridad Morfológica: Los resultados subrayan que los experimentos de desordenamiento deben realizarse a nivel de palabra (no de subpalabra) para no confundir los efectos sintácticos con la destrucción de unidades morfológicas.
• Hacia una Tipología Gradiente: Apoya el movimiento en lingüística computacional para abandonar las categorías discretas (fijo/libre) en favor de medidas continuas basadas en estadísticas de vocabulario y complejidad.
• Limitaciones y Futuro: El estudio se basa en modelos autoregresivos y un corpus específico (Europarl). Futuras investigaciones deberían explorar cómo la codificación posicional, el enmascaramiento (BERT) y la comparación con el procesamiento humano (ojo-tracking) modulan estos efectos.

En resumen, el papel del vocabulario (específicamente la distribución de frecuencias y la complejidad morfológica) emerge como el factor clave que determina qué tan bien un modelo de lenguaje puede aprender y generalizar el orden de las palabras, superando a las clasificaciones tipológicas tradicionales.