💬 NLP

Filling in the Mechanisms: How do LMs Learn Filler-Gap Dependencies under Developmental Constraints?

Este estudio demuestra que, aunque los modelos de lenguaje entrenados con cantidades de datos limitadas pueden desarrollar mecanismos compartidos para las dependencias entre relleno y brecha, requieren una cantidad de datos mucho mayor que los humanos para lograr generalizaciones comparables, lo que subraya la necesidad de incorporar sesgos específicos del lenguaje en los modelos de adquisición.

Autores originales: Atrey Desai, Sathvik Nair

Publicado 2026-04-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Atrey Desai, Sathvik Nair

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

🧠 ¿Aprenden los robots a "conectar los puntos" como los niños?

Imagina que estás aprendiendo un idioma. A veces, en una oración, la palabra clave aparece al principio y su "sombra" (el hueco donde debería ir) aparece al final.

Ejemplo: "¿Qué comió el niño ___?"
- Aquí, "Qué" es el relleno (la palabra que ves).
- El espacio en blanco al final es el hueco (donde la palabra "Qué" va a parar en tu mente).

Los humanos hacemos esto automáticamente. Si te dicen "El libro que compré ___", tu cerebro sabe que "El libro" es lo que compraste, aunque esté al principio. Los científicos querían saber: ¿Las Inteligencias Artificiales (IA) aprenden esto de la misma manera que los niños, o necesitan trucos especiales?

🏗️ El Experimento: Dos tipos de "construcciones"

Los investigadores usaron un modelo de lenguaje (una IA) entrenado con datos que imitan lo que un niño escucha hasta los 12 años (un proyecto llamado BabyLM). Pero en lugar de darle millones de libros, le dieron una cantidad "humana".

Compararon dos formas de hablar:

Las preguntas (Frecuentes): Como "¿Qué hizo el doctor?". Los niños escuchan esto todo el día.
El "tema al inicio" (Raras): Como "El libro, el doctor lo leyó". Esto es muy raro en el habla de los niños.

La pregunta era: ¿Si la IA aprende a conectar los puntos en las preguntas comunes, podrá hacerlo también en las frases raras sin que nadie se lo enseñe explícitamente?

🔍 La Herramienta: El "Rayo X" Mental (DAS)

Para ver qué pasa dentro de la cabeza de la IA, los científicos usaron una técnica llamada Búsqueda de Alineación Distribuida (DAS).

Imagina que la IA es una caja negra llena de cables. Los científicos inyectaron una "inyección" en los cables de una frase (por ejemplo, una pregunta) para ver si podían "trasplantar" esa lógica a otra frase (por ejemplo, una frase rara).

Si la IA tiene un mecanismo compartido (como un humano), la inyección debería funcionar en ambos casos.
Si la IA solo memoriza patrones, la inyección solo funcionará en el tipo de frase que vio mucho.

📉 Los Resultados: Lo que descubrieron

Aquí están las tres grandes revelaciones, explicadas con analogías:

1. La IA necesita un "buffet" infinito, no un plato de comida

Lo que pasó: Los niños aprenden a hacer estas conexiones a los 18 meses o 3 años. La IA, incluso con datos de un niño de 12 años, apenas empezaba a entenderlo.
La analogía: Es como si un niño aprendiera a andar en bicicleta en una tarde, pero la IA necesitara recorrer todo el país para entender que las ruedas giran. La IA necesita muchísimos más datos que un humano para aprender lo mismo.

2. La IA es un "memorizador" y no un "generalizador"

Lo que pasó: La IA aprendió muy bien a conectar los puntos en las preguntas frecuentes. Pero cuando intentaron usar esa lógica en las frases raras, falló.
La analogía: Imagina que la IA es un estudiante que se aprendió de memoria las respuestas de un examen de matemáticas (preguntas frecuentes). Si le das un problema nuevo que usa la misma lógica pero con números diferentes (frases raras), el estudiante se bloquea porque no entendió la regla, solo memorizó el ejemplo. La IA creó reglas separadas para cada tipo de frase, en lugar de una sola regla maestra.

3. El "Efecto de la Familia" (Animacidad)

Lo que pasó: La IA funcionaba mejor si las palabras tenían el mismo "tipo" (por ejemplo, si ambas oraciones hablaban de personas o ambas de objetos).
La analogía: Es como si la IA pensara: "Ah, esta frase habla de un perro, y la otra también habla de un perro, así que seguro funcionan igual". Pero si una habla de un perro y la otra de una piedra, la IA se confunde. Los humanos no necesitamos que sea el mismo tipo de objeto para entender la gramática.

💡 La Conclusión: ¿Qué nos dice esto?

El estudio nos dice que los robots actuales no aprenden el lenguaje como los humanos.

Los humanos tienen un "manual de instrucciones" interno (sesgos innatos) que les permite aprender reglas complejas con muy pocos ejemplos.
Las IAs actuales son como estudiantes que solo aprenden por pura repetición estadística. Necesitan ver millones de ejemplos para empezar a entender lo que un niño entiende con pocos.

En resumen: Para que una IA aprenda un idioma de verdad, no basta con darle más datos; necesitamos programarla con "sesgos" o intuiciones similares a las que tienen los bebés humanos. De lo contrario, siempre necesitarán un "buffet" de datos infinito para aprender lo que un niño aprende con un simple plato de comida.

1. El Problema

La adquisición del lenguaje plantea la pregunta de cómo los aprendices humanos generalizan sobre un número infinito de enunciados basándose en una entrada finita. Las teorías cognitivas sugieren que los humanos utilizan reglas abstractas y sesgos específicos del lenguaje para resolver esto. Sin embargo, los Modelos de Lenguaje (LMs) modernos, que carecen de estos sesgos específicos, han demostrado cierta capacidad para generalizar estructuras sintácticas.

El caso de prueba central es la dependencia de relleno-hueco (filler-gap dependency), una relación sintáctica donde un constituyente (el relleno) se desplaza de su posición canónica (el hueco) a otra posición (ej. preguntas wh: "¿Qué hizo el estudiante _?").

La controversia: Investigaciones anteriores (Boguraev et al., 2025) sugieren que los LMs grandes (entrenados con datos a escala web) aprenden una representación compartida para diferentes construcciones de relleno-hueco (como preguntas wh y topicalización).
La brecha: No está claro si esta representación compartida emerge en modelos entrenados con cantidades de datos desarrollalmente plausibles (similares a las que recibe un niño humano) o si los LMs requieren datos masivos para lograr generalizaciones que los humanos adquieren con muy poca exposición.

2. Metodología

Los autores aplican técnicas de interpretabilidad causal para investigar la representación interna de los modelos.

Modelo y Datos: Utilizan el modelo BabyLM-100M (arquitectura GPT-2-small), entrenado en el corpus BabyLM Strict-100M. Este corpus simula la entrada lingüística de un niño de habla inglesa hasta los 12 años (~100 millones de tokens). Se evaluaron múltiples checkpoints durante el entrenamiento (desde 1M hasta 100M de tokens).
Construcciones Analizadas:
1. Preguntas wh (Alta frecuencia): Construcción común en el habla infantil.
2. Topicalización (Baja frecuencia): Construcción rara en el habla infantil (ej. "El libro, el autor lo leyó _").
Técnica Principal: Distributed Alignment Search (DAS):
- Es un método de intervención causal que busca una dirección vectorial en el espacio de representaciones del modelo que codifica una variable binaria de alto nivel (en este caso, FILLER_PRESENT: 0 o 1).
- Procedimiento: Se entrena un vector de dirección ( $a$ ) para alinear las representaciones neuronales de una oración base (sin relleno) con una oración fuente (con relleno). Luego, se inyecta esta característica en la oración base para ver si el modelo cambia su predicción de la siguiente palabra hacia la de la oración fuente.
Experimentos:
- Localización: Entrenar y probar dentro de la misma construcción (Wh $\to$ Wh, Topic $\to$ Topic).
- Transferencia Cruzada: Entrenar en una construcción y probar en otra (Wh $\to$ Topic y viceversa).
- Variables: Se varió la animacidad de los rellenos (animado vs. inanimado) para probar efectos de "impulso léxico".
Métrica de Evaluación: Se utiliza la métrica ODDS (y su valor máximo, MAX ODDS) para cuantificar la magnitud del efecto causal. Valores altos indican que la intervención alteró significativamente la predicción del modelo, confirmando la existencia de una representación causal.

3. Contribuciones Clave

Evaluación bajo Restricciones de Desarrollo: Es uno de los primeros estudios que aplica métodos de interpretabilidad causal (DAS) a modelos entrenados con datos limitados y realistas (BabyLM), en lugar de modelos masivos pre-entrenados en internet.
Análisis de la Generalización Trans-Construcción: Investiga si la representación de las dependencias de relleno-hueco es abstracta (compartida entre wh y topicalización) o específica de la construcción, especialmente cuando la frecuencia de entrada es desigual.
Cronología de la Adquisición: Mapea la emergencia de estas representaciones a lo largo del entrenamiento, comparando el momento de aparición en el modelo con la adquisición humana (que ocurre alrededor de los 18 meses).

4. Resultados

Trajetoria de Desarrollo (RQ1): La capacidad causal del modelo para representar dependencias de relleno-hueco aumenta monótonamente con los tokens de entrenamiento. Sin embargo, no emerge hasta después de los 50M de tokens.
- A los 10M de tokens (equivalente a la entrada de un niño de 2-5 años), los efectos causales son débiles o inexistentes.
- Los efectos fuertes (MAX ODDS > 8) solo aparecen en los últimos checkpoints (50M-100M).
- Conclusión: Hay una desalineación temporal: los humanos adquieren esta sensibilidad mucho antes (18 meses) que los modelos, incluso con datos "infantiles".
Especificidad de la Construcción (RQ2): La localización dentro de la misma construcción (Wh $\to$ $\to$ Wh) fue significativamente más fuerte que la transferencia entre construcciones.
- Esto sugiere que el modelo aprende representaciones específicas por ítem y construcción, en lugar de una regla abstracta única y general.
Dirección de la Transferencia (RQ3): Contrario a la hipótesis de que la alta frecuencia (Wh) transferiría a la baja frecuencia (Topic), se encontró una transferencia asimétrica donde Topicalización $\to$ Preguntas wh fue más fuerte que la inversa.
- Esto podría indicar que, al ser tan rara, la topicalización fuerza al modelo a aprender un mecanismo más general que luego se aplica a las preguntas wh, o que las representaciones de las preguntas wh son demasiado específicas.
Efecto de Impulso Léxico: Se replicó el hallazgo de que la transferencia es más fuerte cuando la animacidad (animado/inanimado) coincide entre el entrenamiento y la prueba.

5. Significado e Implicaciones

Limitaciones de los LMs Puros: Los resultados demuestran que los modelos de lenguaje entrenados únicamente con la tarea de predicción de la siguiente palabra (sin sesgos inductivos específicos del lenguaje) no son suficientes para replicar la adquisición humana de generalizaciones sintácticas complejas con datos realistas. Requieren órdenes de magnitud más de datos que los humanos.
Necesidad de Sesgos Inductivos: El estudio apoya la hipótesis de que la adquisición del lenguaje humano requiere una combinación de mecanismos estadísticos generales y sesgos inductivos específicos del lenguaje (o espacios de hipótesis estructurados).
Reevaluación de la "Generalización": Aunque los LMs pueden aprender representaciones compartidas, estas parecen ser más frágiles, dependientes de la frecuencia y sensibles a la animacidad que las representaciones abstractas propuestas por la lingüística teórica.
Futuro: Sugiere que para modelar la adquisición del lenguaje de manera plausible, es necesario integrar arquitecturas con sesgos explícitos o restringir los espacios de hipótesis, en lugar de depender únicamente del escalado de datos.

En resumen, el paper concluye que, aunque los LMs pueden aprender mecanismos de dependencias de relleno-hueco bajo restricciones de datos, lo hacen de manera ineficiente, tardía y menos general que los humanos, lo que subraya la necesidad de incorporar sesgos lingüísticos en los modelos de adquisición.