💬 NLP

A Typologically Grounded Evaluation Framework for Word Order and Morphology Sensitivity in Multilingual Masked LMs

Este trabajo presenta un marco de evaluación basado en tipología lingüística que, mediante perturbaciones de orden y morfología aplicadas a modelos como mBERT y XLM-R, demuestra que estos dependen fuertemente del orden de las palabras y que la sustitución de lemas no mitiga el impacto de la desordenación en idiomas flexivos como el alemán, español y ruso.

Autores originales: Anna Feldman, Libby Barak, Jing Peng

Publicado 2026-03-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Anna Feldman, Libby Barak, Jing Peng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a dos estudiantes muy inteligentes, mBERT y XLM-R, que han leído millones de libros en cinco idiomas diferentes (inglés, chino, alemán, español y ruso). Han aprendido a adivinar qué palabra falta en una frase cuando les tapamos una parte.

Los autores de este estudio querían saber una cosa muy importante: ¿Cómo adivinan estas palabras? ¿Lo hacen mirando el orden de las palabras (como en una fila ordenada) o mirando la forma de las palabras (sus terminaciones, como los acentos o las desinencias gramaticales)?

Para descubrirlo, les hicieron una "prueba de estrés" muy creativa. Aquí te explico cómo funcionó, usando analogías sencillas:

1. La Prueba del Caos (Desordenar las palabras)

Imagina que le das a un estudiante una frase como: "El científico analizó los libros ayer".

La prueba normal: Le tapas "analizó" y él tiene que adivinarla. Fácil.
La prueba "Full" (Caos total): Les mezclaste todas las palabras como si fueran cartas en una baraja: "Ayer los libros el científico [MÁSCARA]".
La prueba "Parcial" (Solo contenido): Dejaste las palabras pequeñas y útiles (como "el", "la", "y") en su sitio, pero mezclaste las palabras importantes (sustantivos, verbos).

El resultado: ¡Pánico! Cuando mezclaron todas las palabras, los estudiantes casi no acertaron nada. Fue como si les hubieran quitado el mapa. Esto nos dice que, aunque son muy inteligentes, dependen muchísimo del orden en que aparecen las cosas. Si el orden se rompe, se pierden.

2. La Prueba del "Disfraz" (Cambiar la forma de las palabras)

Aquí entra la segunda parte de la prueba. Algunos idiomas (como el ruso o el alemán) usan muchas terminaciones para decir quién hace qué (casos gramaticales). Otros (como el inglés o el chino) dependen más del orden.

Los investigadores hicieron un truco: les quitaron todas las "terminaciones" o "disfraces" a las palabras, dejándolas en su forma base (el "lema").

Ejemplo: En lugar de "los libros" (plural), les dijeron "libro" (singular). En lugar de "analizó" (pasado), les dijeron "analizar" (infinitivo).
Lo hicieron tanto en el contexto como en la palabra que tenían que adivinar.

El resultado:

En idiomas como el chino, esto no cambió casi nada (porque el chino no usa muchas terminaciones, es como si les quitaras el maquillaje a alguien que no lo usa).
En idiomas como el alemán o el ruso, la puntuación bajó un poco, pero no salvó el día. Aunque les dieron pistas morfológicas (la forma de la palabra), si el orden de las palabras estaba roto, los modelos seguían fallando.

3. El Intercambio de Papeles (Cabeza y Dependientes)

Hicieron otra prueba más sutil: intercambiaron solo la palabra principal (el verbo) con una de sus dependientes (el objeto), pero dejaron el resto de la frase igual.

Imagina cambiar "El científico analizó los libros" por "Los libros analizó el científico".
En inglés, esto fue un desastre total. El inglés es muy estricto con el orden (Sujeto-Verbo-Objeto).
En alemán, fue menos grave. El alemán tiene más "amortiguadores" (sus terminaciones gramaticales) que le ayudan a entender quién hace qué, incluso si el orden cambia un poco.

¿Qué nos enseña esto? (La conclusión en una frase)

Estos modelos de Inteligencia Artificial son como estudiantes que memorizan la secuencia de una canción en lugar de entender la música.

El orden es el rey: Si cambias el orden de las palabras, el modelo se confunde mucho, incluso si el idioma tiene muchas reglas gramaticales complejas.
La forma no es suficiente: Aunque el modelo vea que una palabra tiene una terminación que indica "pasado" o "plural", si el orden de la frase es un caos, esa pista no le sirve de mucho para adivinar la palabra correcta.
No son tan flexibles: A diferencia de un humano, que puede entender una frase desordenada si tiene suficientes pistas gramaticales, estos modelos siguen siendo muy dependientes de la posición exacta de las palabras.

En resumen: Los autores nos dicen que, aunque estos modelos hablan muchos idiomas, todavía están "atados" al orden de las palabras. Para que sean verdaderamente inteligentes y entiendan la gramática profunda (como un humano), necesitan aprender a usar las pistas de la forma de las palabras (morfología) de manera más efectiva, no solo mirar la fila de palabras.

1. El Problema

Los modelos de lenguaje transformadores multilingües, como mBERT y XLM-R, han demostrado un rendimiento excepcional en tareas cruzadas. Sin embargo, permanece incierto qué tipos de pistas lingüísticas impulsan realmente sus predicciones. Existe una preocupación fundamental sobre si estos modelos dependen excesivamente del orden lineal de las palabras (típico de lenguas como el inglés o el chino) en lugar de explotar la morfología flexiva (común en lenguas como el ruso, alemán o español).

Si los modelos son principalmente sensibles al orden, corren el riesgo de tener un sesgo centrado en el inglés, lo que los hace frágiles ante lenguas con orden libre o morfología rica. El objetivo de este trabajo es diagnosticar la sensibilidad relativa de estos modelos al orden de las palabras frente a la morfología bajo perturbaciones controladas, sin asumir que depender de múltiples pistas es inherentemente negativo, sino buscando entender dónde fallan los modelos.

2. Metodología

Los autores proponen un marco de evaluación de diagnóstico que utiliza Universal Dependencies (UD) para aplicar perturbaciones en tiempo de inferencia. No se entrenan nuevos modelos; se evalúan mBERT y XLM-R en cinco lenguas tipológicamente diversas: Inglés, Chino, Alemán, Español y Ruso.

Perturbaciones Aplicadas

Se aplican cuatro tipos de manipulaciones estructurales:

Desorden Total (Full): Permutación aleatoria de todos los tokens de palabras (excluyendo puntuación). Es una prueba de estrés para la dependencia posicional.
Desorden Parcial (Part): Se permutan solo las palabras de contenido (sustantivos, verbos, adjetivos, etc.), manteniendo fijas las palabras funcionales (artículos, preposiciones).
Intercambio de Cabeza-Dependiente (Head): Basado en árboles sintácticos UD. Se intercambia la posición superficial de una palabra cabeza con una de sus dependientes, manteniendo el resto de la oración fija. Esto ataca directamente los anclajes predicado-argumento.
Sustitución de Léxico (+L): Se reemplaza cada token en la oración por su LEMA (forma canónica) y se evalúa la predicción del lema del objetivo enmascarado. Esto elimina la información de la inflexión superficial (caso, tiempo, número) para probar si el modelo puede inferir la estructura solo con la forma base.

Protocolo de Evaluación

Enmascaramiento: Se selecciona una palabra de contenido por oración y se enmascara antes de aplicar cualquier perturbación. Esto garantiza que el mismo token objetivo se evalúe en todas las condiciones.
Métricas: Se reporta la precisión de reconstrucción exacta (Top-1) y la precisión Top-5 a nivel de palabra.
Análisis de Interacción: Se calculan métricas de sensibilidad ( $S$ ) (pérdida relativa respecto a la línea base) e interacción ( $I$ ) para determinar si los efectos de las perturbaciones son aditivos o superpuestos (redundantes).

3. Contribuciones Clave

Marco Tipológico: Es uno de los primeros estudios que evalúa sistemáticamente la sensibilidad al orden y la morfología en modelos multilingües a través de una muestra de lenguas con perfiles morfológicos y sintácticos contrastantes (desde lenguas aislantes hasta lenguas flexivas ricas).
Perturbaciones Estructuradas: Introduce una condición de "Intercambio de Cabeza" dependiente de la sintaxis (UD), más sofisticada que los intercambios aleatorios locales utilizados en trabajos previos.
Diagnóstico de Normalización de Léxico (+L): Propone el uso de la sustitución de lemas a nivel de oración como una herramienta para "despojar" la morfología y medir la dependencia del modelo en las formas flexivas.
Recursos Abiertos: El equipo ha liberado los scripts de perturbación, las listas de oraciones, los metadatos de muestreo equilibrado y los resultados brutos para garantizar la reproducibilidad.

4. Resultados Principales

Los resultados, promediados sobre múltiples semillas y conjuntos de datos equilibrados, revelan lo siguiente:

Dominio del Orden de Palabras: El desorden total (Full) provoca un colapso casi total de la precisión en todas las lenguas y modelos (la precisión cae a cerca de cero). Esto indica que, en este contexto de diagnóstico, los modelos dependen abrumadoramente del orden lineal.
Efecto de la Morfología (+L):
- En Chino, la sustitución de lemas tiene un efecto casi nulo (casi identidad), ya que las formas superficiales y los lemas son muy similares.
- En lenguas flexivas (Alemán, Español, Ruso), la sustitución de lemas reduce significativamente la precisión, lo que confirma que los modelos utilizan la información morfológica superficial.
- Crucialmente: La normalización de lemas nunca compensa la pérdida del orden. Incluso con morfología preservada (o en su caso, lematizada), si el orden se destruye, el modelo falla.
Interacciones (Sobrecarga vs. Sinergia): En lenguas como Alemán, Español y Ruso, la interacción entre el desorden total y la sustitución de lemas es sub-aditiva ( $I > 0$ ). Esto significa que el daño combinado es menor que la suma de los daños individuales, sugiriendo que el orden y la morfología proporcionan señales parcialmente redundantes en lugar de complementarias.
Diferencias entre Modelos:
- mBERT y XLM-R muestran patrones similares, pero con diferencias cuantitativas notables (ej. mBERT tiene una línea base mucho más alta en Chino que XLM-R).
- El Alemán muestra una ligera resistencia al intercambio de cabezas en comparación con el inglés, posiblemente debido a la combinación de marcación de caso y palabras funcionales.
- El Turco (reportado en el apéndice) mostró efectos de "suelo" (precisión cercana a cero) debido a la morfología aglutinante que genera objetivos de múltiples subpalabras, lo que dificulta la reconstrucción estricta.

5. Significado e Implicaciones

El estudio concluye que, a pesar de su capacidad para manejar múltiples lenguas, los modelos multilingües actuales siguen siendo "trabajadores posicionales" (positional workhorses). Su robustez sintáctica es limitada cuando se altera el orden lineal, incluso en lenguas donde la morfología debería permitir una mayor flexibilidad.

Sesgo Tipológico: Existe un riesgo real de que estos modelos aprendan patrones sintácticos basados en lenguas de orden fijo (como el inglés), lo que los hace menos efectivos o justos para lenguas con orden libre.
Direcciones Futuras: Los autores sugieren que se necesitan objetivos de entrenamiento que reduzcan la dependencia excesiva del orden absoluto (como objetivos de "desordenamiento" o auxiliares invariantes al orden) y cabezas de predicción conscientes de la morfología que exploiten explícitamente la estructura flexiva en lugar de depender de artefactos de subpalabras.
Evaluación: Se destaca la necesidad de incluir pruebas de estrés tipológicamente fundamentadas en la evaluación estándar de modelos de lenguaje para asegurar una generalización sintáctica real y equitativa.

En resumen, el papel demuestra que la morfología rica no es suficiente por sí sola para salvar a los modelos de la pérdida de orden de palabras en la predicción de palabras enmascaradas, revelando una fragilidad estructural en los encoders multilingües actuales.