Community size rather than grammatical complexity better predicts Large Language Model accuracy in a novel Wug Test

Título: El tamaño de la comunidad, más que la complejidad gramatical, predice la precisión de los Modelos de Lenguaje Grande (LLM) en una nueva prueba Wug

1. Planteamiento del Problema

Existe un debate continuo sobre las capacidades lingüísticas de los Modelos de Lenguaje Grande (LLM). Aunque estos modelos muestran un alto rendimiento en diversas tareas, se desconoce si su competencia funcional se extiende a la generalización de reglas gramaticales a material nuevo (fuera de sus datos de entrenamiento) de manera similar a la competencia humana.

La literatura previa ofrece resultados contradictorios: algunos estudios sugieren que la complejidad morfológica de un lenguaje es el principal predictor del rendimiento del modelo, mientras que otros indican que la cantidad de datos de entrenamiento (influenciada por el tamaño de la comunidad de hablantes) es más determinante. Este estudio busca resolver esta incertidumbre investigando si el rendimiento de los LLM en tareas de generalización morfológica está impulsado principalmente por la complejidad estructural del idioma o por el tamaño de la comunidad lingüística y la disponibilidad de datos digitales.

2. Metodología

El estudio emplea una adaptación multilingüe de la Prueba Wug, un paradigma clásico diseñado para evaluar la capacidad de aplicar reglas gramaticales a palabras nuevas (palabras ficticias o nonce words).

• Diseño Experimental:
  • Tarea: Los participantes (humanos y modelos) debían generar la forma plural de 30 palabras inventadas (15 de dos sílabas y 15 de tres sílabas) en cuatro idiomas parcialmente no relacionados: Catalán, Inglés, Griego y Español.
  • Estímulos: Las palabras ficticias respetaban las restricciones morfofonológicas de cada idioma (modificando consonantes iniciales) y estaban equilibradas por número de sílabas y género gramatical.
• Participantes:
  • Humanos: 160 hablantes nativos adultos (40 por idioma), reclutados a través de Prolific.
  • Modelos (LLM): Se evaluaron seis modelos: ChatGPT-3.5, ChatGPT-4, Grok 3, BERT, DeepSeek y Mistral.
• Variables Independientes:
  1. Complejidad Lingüística: Calculada mediante dos dimensiones (fusión e informatividad) utilizando la base de datos Grambank v1.0. El orden de complejidad fue: Inglés < Español < Catalán < Griego.
  2. Tamaño de la Comunidad: Utilizado como proxy para la cantidad de datos de entrenamiento. El orden fue: Inglés (1.5B) > Español (488M) > Griego (12M) > Catalán (8M).
• Análisis Estadístico: Se utilizaron modelos de regresión logística de efectos mixtos (glmer) en R para analizar la precisión, comparando agentes (humanos vs. LLM), idiomas y la interacción entre complejidad y tamaño de la comunidad.

3. Contribuciones Clave

• Evaluación Comparativa Multilingüe: Es uno de los primeros estudios que compara sistemáticamente múltiples modelos de última generación (incluyendo versiones de GPT-4 y modelos de código abierto como Mistral y DeepSeek) frente a hablantes nativos en una tarea de generalización morfológica.
• Desacoplamiento de Factores: Logra separar estadísticamente el efecto de la complejidad estructural del idioma del efecto del tamaño de la comunidad/datos, algo que estudios anteriores no lograron hacer de manera concluyente.
• Refinamiento de la Hipótesis de Complejidad: Proporciona evidencia empírica que desafía la noción de que los LLM son sensibles a la complejidad gramatical intrínseca, sugiriendo en su lugar una dependencia mecánica de la frecuencia y la representación de datos.

4. Resultados Principales

• Rendimiento General: Los LLM (excluyendo a BERT, que tuvo un rendimiento nulo) mostraron una precisión comparable a la de los humanos en la generalización de formas plurales, replicando patrones de error humanos en algunos casos (como la sobre-generalización de formas irregulares).
• Predicción del Rendimiento:
  • La complejidad lingüística tuvo un efecto significativo, pero menor.
  • El tamaño de la comunidad (y por ende, la disponibilidad de datos) fue el predictor más fuerte de la precisión del modelo.
  • Orden de precisión de los LLM: Español > Inglés > Griego > Catalán.
  • Este orden se alinea mucho más con el tamaño de la comunidad (Español e Inglés tienen más datos) que con la complejidad (donde el Griego es el más complejo y el Inglés el menos).
• Interacción Complejidad-Datos: Se encontró una interacción significativa. En idiomas con un tamaño de comunidad similar, aquellos con mayor regularidad morfológica (menos complejidad en términos de irregularidades) tendieron a tener un mejor rendimiento. Sin embargo, la falta de datos (como en el caso del Catalán) suprimió el rendimiento incluso en idiomas con complejidad estructural moderada.
• Caso del Inglés: Aunque el Inglés tiene la mayor cantidad de datos, no obtuvo la mayor precisión (Español fue superior). Esto se atribuye a la presencia de irregularidades en los estímulos de prueba y a la naturaleza de las reglas de pluralización en el inglés, que son menos regulares que en el español, lo que dificultó la generalización tanto a humanos como a máquinas.

5. Significado y Conclusiones

El estudio concluye que el comportamiento de los LLM en tareas morfológicas está impulsado principalmente por la riqueza de los recursos lingüísticos (cantidad y calidad de los datos de entrenamiento) y no por una sensibilidad genuina a la complejidad gramatical estructural.

• Implicaciones Teóricas: Los LLM parecen operar mediante procesos distribucionales y mecánicos (como la tokenización y la frecuencia de patrones) en lugar de poseer una competencia lingüística conceptual profunda. Su "competencia" es superficialmente similar a la humana en la salida, pero los mecanismos subyacentes difieren fundamentalmente.
• Sesgo de Recursos: Existe una brecha de rendimiento significativa entre idiomas con grandes comunidades digitales (como el Inglés y el Español) y aquellos con comunidades más pequeñas o menos digitalizadas (como el Catalán y el Griego), lo que sugiere que la mejora de los modelos depende más de la expansión de los corpus de datos que de mejoras arquitectónicas para manejar la complejidad.
• Limitaciones: El estudio reconoce que el tamaño de la comunidad es un proxy imperfecto para los datos de entrenamiento (factores geopolíticos y de digitalización influyen) y que la métrica de complejidad utilizada abarca más que solo la morfología.

En resumen, la investigación demuestra que, aunque los LLM pueden imitar la competencia humana en tareas de generalización morfológica, su éxito es una función de la exposición a los datos más que de la comprensión de las reglas lingüísticas complejas.