Manipulating language models' training data to study syntactic constraint learning: the case of English passivization

Este estudio demuestra que los modelos de lenguaje neuronal aprenden las restricciones de la pasivización en inglés mediante la manipulación de sus datos de entrenamiento, revelando que tanto la frecuencia (entrenchment) como la semántica (afectación) contribuyen de forma independiente a la adquisición de estas excepciones gramaticales.

Lo esencial

Imagina que el lenguaje es como un vasto océano de reglas. La mayoría de las reglas son claras: si tienes un objeto, puedes decir quién lo hizo. Pero, como en cualquier gran ciudad, hay excepciones: ciertos "caminos" (construcciones gramaticales) están cerrados para ciertas "personas" (verbos).

El problema es que nadie te da un mapa que diga explícitamente: "Oye, el verbo durar no puede usar este camino". Los niños (y los adultos) tienen que adivinarlo por sí solos. ¿Cómo lo hacen? ¿Es por la frecuencia con la que escuchan las cosas o por el significado de las palabras?

Este estudio es como un laboratorio de control total donde los autores (Cara Leong y Tal Linzen) usan a los Modelos de Lenguaje (como la IA que impulsa a ChatGPT) como "niños de prueba" para descubrir la respuesta.

Aquí tienes la explicación, paso a paso, con analogías sencillas:

1. El Misterio del "Verbo Durar"

En inglés (y en español), podemos decir: "La reunión duró una hora". Pero si intentamos ponerlo en voz pasiva, suena mal: "Una hora fue durada por la reunión". Es un error.
Sin embargo, con otro verbo raro como "defenestrar" (echar por la ventana), sí funciona: "El editor fue defenestrado por el escritor".

La pregunta clave: ¿Cómo sabe un hablante nativo que "durar" no puede ir en pasivo, pero "defenestrar" sí, si nunca le han corregido explícitamente?

2. Dos Teorías en Lucha

Los autores probaron dos hipótesis principales, como si fueran dos detectives buscando pistas:

• El Detective de la Frecuencia (Hipótesis del "Entrenchment" o Asentamiento):

  • La idea: Si escuchas una palabra mil veces en una situación (activa) y nunca en otra (pasiva), tu cerebro dice: "¡Esa palabra no funciona ahí!". Es como si un restaurante nunca sirviera pizza, y un día vieras un menú con pizza; dirías "¡Eso no es pizza!".
  • La analogía: Imagina que vas a un parque de atracciones. Si el carrusel (voz activa) está lleno de gente y la noria (voz pasiva) está vacía siempre que vas, asumes que la noria está rota o cerrada para ese tipo de gente.

• El Detective del Significado (Hipótesis de la "Afectación"):

  • La idea: La voz pasiva requiere que el sujeto "sufra" un cambio o una acción. Si el verbo no implica un cambio real en el objeto, no funciona.
  • La analogía: Piensa en la voz pasiva como una película de acción donde el héroe es golpeado. Si dices "La reunión duró una hora", la reunión no fue "golpeada" ni "cambiada" por la hora. Pero si dices "El editor fue empujado", el editor sí sufrió un cambio. El cerebro detecta si la acción "golpea" al sujeto.

3. El Experimento: Manipulando la Realidad

Aquí es donde la ciencia se vuelve genial. Los autores no solo observaron a la IA; la manipularon. Imagina que eres un entrenador de un perro (la IA) y quieres ver qué le hace obedecer una orden.

• Experimento 1 (La Prueba de Fuego): Entrenaron a la IA con la misma cantidad de texto que un humano lee hasta la adolescencia (unos 100 millones de palabras).

  • Resultado: ¡La IA aprendió! Sus juicios sobre qué verbos son aceptables coincidieron un 90% con los de los humanos. Esto demuestra que la IA puede aprender las reglas "por si sola" solo con leer.

• Experimento 2A (Jugando con la Frecuencia):

  • La trampa: Tomaron un verbo que sí funciona en pasivo (como "golpear") y le borraron de la memoria casi todas las veces que aparecía en voz pasiva, dejando solo la voz activa.
  • El resultado: La IA empezó a pensar que ese verbo ya no podía usarse en pasivo.
  • Conclusión: La frecuencia es una pista poderosa. Si no lo ves, asumes que no existe.

• Experimento 2B (Jugando con el Significado):

  • La trampa: Tomaron un verbo que no funciona en pasivo (como "durar") y lo metieron en oraciones donde el sujeto sí sufría un cambio (como si durara algo que le "golpeaba" o "cambiaba").
  • El resultado: La IA empezó a aceptar más el verbo en pasivo.
  • Conclusión: El significado también importa. Si el contexto sugiere que la acción afecta al sujeto, la IA lo acepta.

• Experimento 3 (El Verbo Nuevo):

  • Crearon un verbo inventado que nunca existió. Lo entrenaron en contextos de "alta afectación" (acciones fuertes) vs. "baja afectación" (acciones suaves) y con diferentes frecuencias.
  • El resultado: Ambos factores funcionaron de forma independiente. La frecuencia y el significado sumaban sus efectos, pero no se mezclaban de forma extraña.

4. La Gran Revelación

Lo más importante que descubrieron es que ambas pistas son necesarias.

• No basta con que un verbo sea frecuente en la voz activa (frecuencia).
• No basta con que el significado encaje (significado).

Es como intentar abrir una puerta con dos llaves. Si solo tienes una, la puerta no se abre del todo. Los humanos (y las IAs) usan ambas pistas al mismo tiempo: miran qué tan común es la palabra en ciertos contextos Y analizan si la acción tiene sentido para el sujeto.

¿Por qué es esto importante?

Antes, los lingüistas solo podían observar a los niños y adivinar cómo aprendían. Era como intentar entender cómo funciona un coche mirándolo desde fuera.
Con este estudio, los autores pudieron abrir el capó del "coche" (la IA), quitar piezas (borrar datos) y ver qué pasaba. Esto nos dice que nuestro cerebro probablemente usa un proceso similar: aprende las reglas del lenguaje no solo por la lógica, sino por la estadística de lo que escuchamos y por el significado de lo que hacemos.

En resumen: Aprendemos que ciertas palabras no funcionan en ciertas formas porque nunca las hemos escuchado así (frecuencia) y porque, intuitivamente, no tienen sentido en ese escenario (significado). La IA nos ayudó a confirmar que estas dos pistas son las llaves maestras de nuestro aprendizaje gramatical.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Manipulación de los datos de entrenamiento de modelos lingüísticos para estudiar el aprendizaje de restricciones sintácticas: el caso de la pasivización en inglés

1. Problema de Investigación

Las reglas gramaticales en los idiomas naturales a menudo presentan excepciones sistemáticas. Un desafío central en la adquisición del lenguaje es explicar cómo los aprendices infieren estas excepciones (por ejemplo, por qué el verbo last "durar" no puede usarse en voz pasiva en inglés, mientras que defenestrate sí puede, a pesar de que ambos son verbos transitivos raros). Este fenómeno se conoce como la "Paradoja de Baker": los aprendices deben distinguir entre formas que no ocurren porque son inaceptables y formas que no se observan simplemente por azar, sin recibir retroalimentación negativa directa.

El estudio se centra en dos hipótesis principales sobre la evidencia indirecta que los aprendices utilizan para adquirir estas restricciones en la pasivización en inglés:

1. Hipótesis del Asentamiento (Entrenchment): Los aprendices utilizan la distribución estadística de los verbos. Si un verbo aparece frecuentemente en voz activa pero nunca (o muy raramente) en pasiva, se infiere que la forma pasiva es inaceptable.
2. Hipótesis de la Afectación (Affectedness): La aceptabilidad depende de la semántica léxica. Un verbo es pasivable si su argumento tema experimenta un cambio de estado, ubicación o existencia causado por el agente. Los verbos que no implican esta "afectación" (como last) son inaceptables en pasiva.

El problema metodológico es que en estudios con humanos es imposible controlar completamente el input lingüístico para aislar causalmente estos factores.

2. Metodología

Los autores utilizan Modelos de Lenguaje Neuronal (LMs) basados en la arquitectura Transformer (específicamente GPT-2 pequeño) como modelos teóricos de adquisición del lenguaje. La estrategia clave es la manipulación controlada de los datos de entrenamiento para crear escenarios contrafácticos.

• Corpus: Se entrenaron modelos en un corpus de 100 millones de palabras (OpenWebText), una cantidad comparable a la exposición lingüística de un niño hasta la adolescencia.
• Evaluación: Se utilizó la evaluación sintáctica dirigida para derivar juicios de aceptabilidad. Se midió la "caída pasiva" (passive drop), definida como la diferencia en la probabilidad logarítmica entre una oración activa y su contraparte pasiva.

Experimentos Realizados:

• Experimento 1 (Validación): Se compararon los juicios de aceptabilidad de hablantes nativos (Experimento 1A) con los de los modelos (Experimento 1B) en un conjunto de 140 pares de oraciones (verbos control y verbos críticos reportados como no pasivables).
• Experimento 2A (Prueba de Asentamiento): Se modificó el corpus alterando la frecuencia relativa (ratio Activo/Pasivo) de verbos altamente pasivables para que coincidiera con la de verbos no pasivables. Se eliminaron instancias pasivas de verbos "mutantes" para aumentar artificialmente su ratio Activo/Pasivo.
• Experimento 2B (Prueba de Afectación): Se manipuló la distribución semántica de verbos no pasivables (como last) insertándolos en contextos de oraciones activas que originalmente contenían verbos altamente pasivables (con argumentos de tipo agente-paciente), alterando así la co-ocurrencia de argumentos "afectados".
• Experimento 3 (Interacción y Verbos Nuevos): Se introdujo un verbo completamente nuevo en el corpus que solo aparecía en voz activa. Se varió sistemáticamente:
  1. La frecuencia de aparición (número de ocurrencias).
  2. El contexto semántico (alta vs. baja afectación).
     Esto permitió probar la interacción entre asentamiento y afectación sin los sesgos de los verbos existentes.

3. Contribuciones Clave

1. Validación de Modelos como Teorías de Adquisición: Demostraron que los modelos de lenguaje entrenados con datos a escala humana pueden replicar los patrones de juicios de aceptabilidad de los humanos con una alta correlación ($r = 0.9$), superando a modelos basados puramente en frecuencias de trigramas.
2. Desenredamiento Causal de Factores: Mediante la manipulación directa de los datos de entrenamiento, proporcionaron evidencia causal de que tanto el asentamiento (frecuencia) como la afectación (semántica) contribuyen de forma independiente al aprendizaje de las restricciones de pasivización.
3. Metodología de Intervención: Establecieron un marco metodológico robusto para probar hipótesis de adquisición del lenguaje mediante la alteración controlada de corpora, superando las limitaciones de los estudios observacionales con humanos.

4. Resultados Principales

• Correlación Humano-Máquina: Los modelos neuronales capturaron tanto las excepciones a nivel de clase verbal como las variaciones graduales a nivel de verbo individual, mostrando una fuerte correlación con los juicios humanos.
• Efecto del Asentamiento (Exp. 2A): Al aumentar artificialmente el ratio Activo/Pasivo de un verbo pasivable, los modelos lo juzgaron significativamente menos pasivable. Sin embargo, esto no fue suficiente para igualar completamente la inaceptabilidad de los verbos objetivo, sugiriendo que la frecuencia no es el único factor.
• Efecto de la Afectación (Exp. 2B): Al colocar verbos no pasivables en contextos semánticos de alta afectación, su caída pasiva disminuyó (se volvieron más pasivables). El efecto fue significativo pero variable según la identidad del verbo.
• Independencia de Factores (Exp. 3): En el experimento con verbos nuevos, se encontró que tanto la frecuencia (asentamiento) como la semántica (afectación) aumentaban la caída pasiva de forma aditiva e independiente. No se encontró una interacción significativa entre ambos factores; es decir, la semántica no modula la sensibilidad a la frecuencia ni viceversa en este contexto.
• Límites: Ningún factor por sí solo explicaba completamente la diferencia entre verbos pasivables y no pasivables, lo que sugiere la existencia de otras fuentes de evidencia indirecta (como la existencia de construcciones alternativas).

5. Significado e Implicaciones

• Para la Lingüística Cognitiva: El estudio apoya las aproximaciones basadas en el uso (usage-based) de la adquisición del lenguaje, demostrando que el seguimiento de estadísticas de co-ocurrencia y la sensibilidad semántica son suficientes para que un sistema de aprendizaje derive restricciones gramaticales complejas sin reglas innatas explícitas.
• Para la IA y Modelado Cognitivo: Confirma que los modelos de lenguaje modernos, incluso con arquitecturas simples como Transformers, pueden aprender excepciones gramaticales a partir de datos naturales, validando su uso como modelos de adquisición del lenguaje.
• Limitaciones y Futuro: Los autores advierten que, aunque los modelos imitan el comportamiento humano, los mecanismos subyacentes pueden diferir (los humanos tienen acceso a input sensoriomotor y retroalimentación social). El estudio sugiere que la afectación en humanos podría derivarse de la experiencia directa con el mundo, mientras que en los modelos es una propiedad emergente de la distribución de palabras.
• Metodológico: La capacidad de manipular corpora de entrenamiento ofrece una herramienta poderosa para probar hipótesis causales en lingüística que serían éticamente o prácticamente imposibles de realizar con aprendices humanos.

En resumen, el paper demuestra que la frecuencia relativa y la semántica de afectación son fuentes de evidencia independientes y suficientes para que un modelo de lenguaje aprenda las excepciones a la pasivización en inglés, ofreciendo una nueva vía para investigar los mecanismos de adquisición del lenguaje.