Language Models Generalize to Human-like Word Order Preferences

Imagina que estás intentando enseñarle a un robot a hablar un nuevo idioma, pero decides gastarle una broma. Le entregas una biblioteca masiva de libros, pero con cuidado arrancas cada una de las páginas que contienen una oración con más de una descripción para un sustantivo. Así, el robot aprende que puede decir "la pelota roja" o "la pelota grande", pero nunca ve "la gran pelota roja" o "la roja grande la". No tiene evidencia directa de cómo apilar múltiples descripciones juntas. Entonces, si le pides al robot que adivine el orden para una nueva frase como "la gran pelota roja", ¿adivinará al azar? O, ¿de alguna manera descubrirá la lógica oculta del lenguaje y elegirá el orden correcto, tal como lo haría un niño humano?

Este es el tipo de acertijo que se encuentra en el corazón de la lingüística y la inteligencia artificial. Los científicos se han preguntado durante mucho tiempo si los humanos nacemos con un "chip de lenguaje" especial en nuestros cerechos que nos dice cómo ordenar las palabras, o si simplemente aprendemos todo observando patrones en lo que escuchamos. Para probar esto, los investigadores utilizan algo llamado "Aprendizaje de Lenguaje Artificial". Es como un experimento controlado donde se les enseña a personas o máquinas un lenguaje diminuto y fabricado, con piezas faltantes, para ver cómo llenan esos huecos. Si un aprendiz elige un patrón específico incluso cuando nunca ha visto ese patrón antes, sugiere que posee un sesgo intrínseco o una forma ingeniosa de adivinar basada en la estructura del mundo, no solo por la frecuencia de las palabras. Este artículo profundiza en este misterio utilizando modelos de lenguaje de IA modernos como nuestros sujetos de prueba.

---

El Gran Misterio del Orden de las Palabras

En este estudio, los investigadores Amanda Popadich y Shane Steinert-Threlkeld decidieron ver si los programas informáticos, conocidos como modelos de lenguaje, podían realizar el mismo truco de magia que hacen los aprendices humanos. Querían saber: ¿Puede una máquina aprender las "reglas" de cómo apilar adjetivos y números sin haber visto jamás un solo ejemplo de una frase apilada?

La regla específica que buscaban se llama homomorfismo de alcance (scope-homomorphism). Esa es una forma elegante de decir que el orden de las palabras en una frase debe coincidir con el orden de su significado. Piensa en ello como muñecas rusas. Si tienes una "pelota roja grande", la palabra "roja" describe directamente a la pelota, y "grande" describe a la "pelota roja". En inglés [y español], naturalmente ponemos la descripción exterior y mayor ("gran/grande") primero, y la descripción interior y específica ("roja") más cerca del sustantivo. Los investigadores querían ver si sus modelos de IA preferirían naturalmente este orden de "muñeca rusa", incluso si fueron entrenados con una dieta de únicamente frases de una sola descripción.

El Experimento: Una Dieta Lingüística

Para probar esto, el equipo creó un entorno de entrenamiento muy estricto. Tomaron un enorme fragmento de Internet (específicamente, el volcado de Wikipedia de 2023) y lo filtraron. Utilizaron un programa informático para encontrar cada oración con un sustantivo que tuviera dos o más modificadores (como "esos dos perros peludos") y las descompusieron. Reemplazaron "esos dos perros peludos" con ejemplos separados como "esos perros", "dos perros" y "perros peludos".

El resultado fue una dieta de "pobreza del estímulo". Se alimentó a los modelos con 100 millones de palabras, pero nunca vieron un solo ejemplo de un sustantivo con dos modificadores. Aprendieron los ingredientes individuales, pero nunca vieron el pastel terminado. Luego, los investigadores probaron los modelos pidiéndoles elegir entre dos versiones de una frase: la que seguía la lógica de la "muñeca rusa" (homomorfismo de alcance) y la que no la seguía.

Probaron tres tamaños diferentes de modelos de IA: uno pequeño (52 millones de parámetros), uno mediano (110 millones) y uno grande (350 millones).

Los Resultados: La IA lo Logra

Los hallazgos fueron sorprendentemente consistentes. Aunque los modelos nunca habían visto una frase con múltiples modificadores durante su entrenamiento, todos los tres modelos prefirieron consistentemente el orden de la "muñeca rusa".

Cuando los investigadores pidieron a los modelos elegir entre "esos dos perros" (el orden lógico) y "dos esos perros" (el orden desordenado), los modelos eligieron abrumadoramente el lógico.

• El modelo pequeño acertó aproximadamente el 76% de las veces.
• El modelo mediano acertó aproximadamente el 73% de las veces.
• El modelo grande acertó aproximadamente el 70% de las veces.

Esto sugiere que los modelos no solo memorizaron los datos de entrenamiento; generalizaron una regla. Descubrieron que, cuando tienes múltiples descripciones, existe una forma específica y lógica de organizarlas, incluso sin que se les mostrara la respuesta. Curiosamente, el tamaño del modelo no cambió mucho el resultado; los modelos pequeños, medianos y grandes mostraron este sesgo, lo que sugiere que es una característica robusta de cómo estos sistemas aprenden del lenguaje.

El Giro: No es Solo Sobre Parejas de Palabras

Los investigadores plantearon entonces una pregunta de seguimiento: ¿Cómo descubrieron esto los modelos? Una teoría popular es que los aprendices simplemente miran qué tan seguido pasan tiempo juntas ciertas palabras. Por ejemplo, tal vez "rojo" suele encontrarse justo al lado de "pelota", por lo que siempre debería estar más cerca del sustantivo que "grande". Esto se mide mediante algo llamado Información Mutua de Punto (Pointwise Mutual Information o PMI), que es básicamente una puntuación de qué tan fuertemente están asociadas dos palabras.

El equipo revisó las matemáticas. Calcularon las puntuaciones de asociación para las palabras. Encontraron que, sí, los adjetivos están fuertemente asociados con los sustantivos, y los números y demostrativos (como "esos") lo están menos. Si los modelos estuvieran simplemente siguiendo estas puntuaciones de asociación, deberían haber sido capaces de predecir el orden de las palabras perfectamente.

Pero aquí está el giro: las puntuaciones de asociación no lograron predecir las elecciones de los modelos.

Cuando los investigadores compararon las elecciones reales de los modelos con lo que predijeron las matemáticas, la correlación era casi nula. Los modelos estaban eligiendo el orden correcto, pero no lo hacían porque estuvieran contando cuántas veces aparecían las palabras juntas. Esto sugiere que los modelos están captando algo más profundo —quizás una comprensión estructural de cómo funciona el lenguaje— que va más allá de la simple estadística de pares de palabras.

Lo Que Esto Significa

Este estudio muestra que los modelos de lenguaje pueden recuperar generalizaciones lingüísticas humanas a partir de una entrada "empobrecida". Al igual que un niño humano que podría adivinar el orden correcto de las palabras en un nuevo idioma sin haber visto todas las combinaciones posibles, estos modelos de IA encontraron un patrón que no estaba explícitamente en sus datos de entrenamiento.

Sin embargo, los autores advierten cuidadosamente que esto no demuestra que la IA aprenda exactamente de la misma manera que los humanos. Los modelos no son niños conscientes; son motores estadísticos complejos. Pero el hecho de que desarrollaran este sesgo sin que se les dijera, sugiere que no necesitas necesariamente un "chip de lenguaje" preprogramado para aprender estas reglas. A veces, las reglas del lenguaje pueden emerger naturalmente de la experiencia de aprender, incluso cuando la evidencia es incompleta.

Los investigadores también señalaron una pequeña diferencia entre la IA y los humanos: mientras que los humanos suelen mostrar la preferencia más fuerte por el orden de demostrativos y adjetivos (como "ese perro grande"), los modelos de IA mostraron la preferencia más fuerte por demostrarivos y números (como "esos dos perros"). Esto insinúa que aunque la capacidad general de generalización está presente, los sabores específicos del sesgo pueden depender de los detalles de los datos de entrenamiento.

Al final, este documento nos brinda una herramienta genial para comprender el lenguaje. Al alimentar a los modelos de IA con información faltante, podemos ver qué "adivinan" por su cuenta, ayudándonos a entender si las reglas del lenguaje están grabadas en el cerebro o si se aprenden de los patrones del mundo.