What Kind of Language is Easy to Language-Model Under Curriculum Learning?

Aquí se presenta un resumen técnico detallado del artículo "¿Qué tipo de lenguaje es fácil para un Modelo de Lenguaje bajo Aprendizaje Curricular?" de Nadine El-Naggar, Tatsuki Kuribayashi y Ted Briscoe.

1. Planteamiento del Problema

El artículo aborda una pregunta central en la lingüística computacional y la ciencia cognitiva: ¿En qué medida los sesgos inductivos de los Modelos de Lenguaje (LM) se alinean con la comúnidad tipológica de los lenguajes naturales?

Estudios anteriores (p. ej., El-Naggar et al., 2025a,b) sugirieron que los LM prefieren naturalmente configuraciones de orden de palabras comunes en los lenguajes humanos (p. ej., Sujeto-Objeto-Verbo), lo que implica que los sesgos de aprendizaje podrían dar forma a la evolución del lenguaje. Sin embargo, estos estudios entrenaron típicamente modelos con datos ordenados aleatoriamente, lo cual no refleja la adquisición del lenguaje humano. Los humanos, particularmente los niños, a menudo aprenden mediante Aprendizaje Curricular (CL): comenzando con estructuras más simples (p. ej., oraciones más cortas) y progresando hacia las más complejas. Los autores investigan si introducir un escenario de aprendizaje motivado por el desarrollo (CL) altera los sesgos inductivos aparentes de los LM y si la alineación previamente observada con la tipología se mantiene bajo estas condiciones.

2. Metodología

2.1. Corpus de Lenguaje Artificial (AL)

El estudio utiliza un corpus de 96 Lenguajes Artificiales generados mediante Gramática Categorial Generalizada (GCG).

• Parámetros: Cada lenguaje se define mediante 7 parámetros binarios que controlan el orden de las palabras (p. ej., Sujeto-Verbo, Objeto-Verbo, Cabeza-Inicial vs. Cabeza-Final).
• Generación de Datos: Las oraciones se generan aleatoriamente y se filtran mediante un analizador sintáctico GCG para garantizar la gramaticalidad.
• División del Conjunto de Datos:
  • Entrenamiento: 80.000 oraciones con longitudes distribuidas uniformemente entre 3 y 8 palabras.
  • Evaluación:
    • Prueba Corta: Longitud 3–8 (in-distribución).
    • Prueba Media: Longitud 9–10 (generalización fuera de distribución).
    • Prueba Larga: Longitud 11–20 (extensión basada en heurísticas).
    • Pruebas Dirigidas: Cláusulas relativas recursivas y embebidas, más juicios de gramaticalidad (tipos de caso y tipos de verbo).

2.2. Configuraciones Experimentales

Los autores comparan dos regímenes de entrenamiento a través de tres arquitecturas de modelos (RNN, LSTM, Transformer):

1. Configuración Original (Línea Base): Los datos de entrenamiento se presentan en un orden aleatorizado.
2. Configuración de Aprendizaje Curricular (CL): Los datos de entrenamiento se presentan basándose en la longitud de la oración.
   • Etapa: Seis etapas correspondientes a longitudes de oración 3, 4, 5, 6, 7 y 8.
   • Progresión: Los modelos entrenan secuencialmente, comenzando con longitud 3 y avanzando hacia longitud 8.
   • Mecanismo de Repetición: Para prevenir el olvido catastrófico, se inyecta el 5% de los datos de etapas anteriores en la etapa actual (p. ej., la Etapa 3 contiene 5% de longitud 3, 5% de longitud 4 y 90% de longitud 5).
   • Volumen Total: El número total de tokens de entrenamiento se mantiene idéntico al de la línea base (80K) para garantizar una comparación justa.

2.3. Métricas de Evaluación

• Perplejidad (PPL): Una PPL más baja indica un mejor modelado de un orden de palabras específico.
• Alineación Tipológica (TA): Calculada como el coeficiente de correlación de Pearson entre la PPL promedio del modelo y la frecuencia en el mundo real de ese orden de palabras.
  • TA Negativa: Indica que el modelo prefiere órdenes de palabras comunes (mejor alineación).
  • TA Positiva: Indica que el modelo prefiere órdenes de palabras raros.
• Generalización: Rendimiento en los conjuntos de prueba Media/Larga y en estructuras sintácticas dirigidas.

3. Contribuciones Clave

• Integración de CL en Estudios Tipológicos: Este es el primer estudio que examina sistemáticamente cómo un escenario de aprendizaje motivado por el desarrollo (CL) interactúa con los sesgos inductivos de los LM en relación con la tipología del orden de las palabras.
• Reevaluación del Sesgo Inductivo: El estudio desafía la robustez de hallazgos anteriores que afirmaban que los LM se alinean inherentemente con la comúnidad tipológica, mostrando que esta alineación es altamente sensible al orden de presentación de los datos.
• Interacciones Específicas de la Arquitectura: El artículo demuestra que el impacto del CL no es uniforme; interactúa de manera sutil y diferente con las arquitecturas RNN, LSTM y Transformer.

4. Resultados Clave

4.1. Impacto en las Preferencias de Orden de Palabras

• Cambio en el Sesgo: La introducción de CL altera significativamente las preferencias de orden de palabras de los LM. La correlación entre los vectores de PPL de los modelos entrenados con y sin CL es generalmente baja (a menudo cercana a cero), lo que indica que el escenario de aprendizaje cambia fundamentalmente el sesgo inductivo del modelo.
• Generalización vs. Sobreajuste:
  • Los modelos entrenados con CL mostraron una peor PPL en los conjuntos de prueba Cortos (in-distribución) en comparación con la línea base, lo que sugiere menos sobreajuste a oraciones cortas.
  • Por el contrario, los modelos CL mostraron una PPL comparable o mejor en los conjuntos de prueba Medios y Largos, indicando una mejora en la generalización de longitud.

4.2. Alineación Tipológica (TA)

• Alineación Degradada: Contrario a la hipótesis de que el CL podría simular mejor el aprendizaje humano y así mejorar la alineación, los resultados muestran que el CL generalmente empeora la Alineación Tipológica.
  • En los conjuntos de prueba Corta y Media, las puntuaciones de TA se volvieron significativamente menos negativas (o incluso positivas) para RNNs y LSTMs, lo que significa que los modelos se volvieron menos alineados con las frecuencias tipológicas del mundo real.
  • Excepción: En el conjunto de prueba Larga, la TA permaneció significativamente negativa, lo que sugiere que la comúnidad tipológica aún ayuda a la generalización hacia oraciones muy largas independientemente del currículo.
• Diferencias de Arquitectura:
  • Transformers: Mostraron una alineación relativamente estable pero ligeramente degradada.
  • LSTMs/RNNs: Mostraron cambios drásticos; por ejemplo, las puntuaciones de TA de LSTM cambiaron de negativas (alineadas) en la línea base a positivas (desalineadas) en la configuración CL en el conjunto de prueba Corta.

4.3. Evaluaciones Dirigidas

• Generalización Sintáctica: En pruebas que involucran cláusulas relativas recursivas y embebidas, los modelos CL mantuvieron generalmente la clasificación relativa de los órdenes de palabras, pero exhibieron PPLs más altas en general.
• Juicios de Gramaticalidad: El CL redujo consistentemente la precisión en los juicios de gramaticalidad de tipos de caso y tipos de verbo. La correlación entre la precisión y la comúnidad tipológica también se debilitó o se volvió no significativa para algunos modelos.

5. Significado y Discusión

• Revisión de los Sesgos de Aprendizaje: Los hallazgos sugieren que el "sesgo inductivo" de un LM no es una propiedad fija de la arquitectura por sí sola, sino que está co-determinado por el escenario de aprendizaje. El orden de presentación de los datos es un factor crítico en la configuración de lo que un modelo encuentra "fácil" de aprender.
• Desafío a la Hipótesis "El Sesgo Da Forma al Lenguaje": Si el CL basado en longitud es un proxy válido para la adquisición humana, el estudio implica que los estudios anteriores sin CL podrían haber sobreestimado la alineación entre los sesgos de los LM y los patrones tipológicos. Esto respalda hipótesis alternativas que sostienen que el diseño del lenguaje está impulsado por factores externos (accidentes históricos, geografía) en lugar de únicamente por los sesgos del aprendiz.
• Limitaciones del CL Simple: Los autores argumentan que un currículo simple basado en la longitud podría ser demasiado simplificado para capturar la complejidad de la adquisición del lenguaje humano. La alineación más débil bajo CL sugiere que se necesitan estrategias de CL más sofisticadas (p. ej., basadas en la complejidad de la construcción o el crecimiento de la memoria de trabajo) para simular con precisión los sesgos de aprendizaje humanos.
• Direcciones Futuras: El artículo llama a explorar estrategias curriculares más complejas y a reevaluar las métricas utilizadas para medir la alineación tipológica, con el fin de cerrar mejor la brecha entre el modelado del lenguaje y la ciencia del lenguaje humano.

Conclusión

El artículo concluye que el Aprendizaje Curricular impacta sustancialmente el sesgo inductivo aparente de los Modelos de Lenguaje. Si bien el CL mejora la generalización hacia oraciones más largas, interrumpe la alineación entre las preferencias del modelo y las frecuencias tipológicas del mundo real observadas en el entrenamiento con orden aleatorio. Esto destaca la necesidad de alinear los escenarios de entrenamiento de los LM con los patrones de desarrollo humano para extraer conclusiones válidas sobre los orígenes de los universales lingüísticos.