Measuring Form and Function in Language Models

Resumen Técnico: Medición de la Forma y la Función en Modelos de Lenguaje

Enunciado del Problema
Las evaluaciones actuales de los Modelos de Lenguaje de Gran Escala (LLM) dependen predominantemente de tareas de clasificación (por ejemplo, juicios de gramaticalidad en pares mínimos), las cuales a menudo no logran capturar los aspectos funcionales y de nivel discursivo del conocimiento lingüístico. Además, estas pruebas basadas en la clasificación carecen de una verdad fundamental rigurosa al comparar los LLM con la adquisición del lenguaje en niños, ya que los niños pequeños no pueden proporcionar juicios metalingüísticos fiables. Si bien la iniciativa "BabyLM" busca construir modelos eficientes en datos comparables a los de los niños, existe una brecha metodológica en cómo comparar rigurosamente el comportamiento externo de los LLM con los datos de producción naturalista de los niños. Específicamente, sigue sin estar claro si los LLM poseen un sistema gramatical productivo o simplemente memorizan fragmentos de entrada, y si utilizan el lenguaje para funciones comunicativas apropiadas más allá de la corrección formal de las oraciones.

Metodología
Los autores proponen un marco que adapta métricas cuantitativas de la investigación sobre el lenguaje infantil para evaluar los LLM, centrándose en los determinantes del inglés (the frente a a/an), un dominio adquirido temprana y correctamente por los niños. La metodología consta de tres componentes principales:

1. Solicitud de Elección de Alternativa Contextual (CAC):
   En lugar de pedir a los modelos que clasifiquen oraciones, los autores utilizan un esquema de solicitud derivado de la tarea psicolingüística de "cloze". Para cada sitio determinante-sustantivo (D×N) en la enunciación de un niño dentro del Corpus de Manchester, se presenta al modelo el contexto discursivo completo precedente y se le pide que prediga el determinante. Esto elicita una distribución probabilística sobre las opciones (the frente a a) en lugar de una única etiqueta binaria, permitiendo el análisis de las expectativas internas del modelo en contextos idénticos a los utilizados por los niños.

2. Prueba de Referencia de Productividad Formal (Prueba de Superposición):
   Para distinguir entre la productividad gramatical genuina y la memorización mecánica, el artículo emplea una prueba estadística basada en Yang (2013). Esta prueba calcula la "superposición" esperada (la proporción de tipos de sustantivos que aparecen tanto con the como con a) para un corpus de un tamaño dado ($S$) y un vocabulario ($N$), asumiendo una gramática productiva donde los determinantes se combinan independientemente con los sustantivos. La prueba incorpora la Ley de Zipf para las frecuencias de los sustantivos y un "sesgo" agregado ($b$) que refleja la tendencia de sustantivos específicos a favorecer un determinante. Si la superposición empírica de un modelo no difiere significativamente de la superposición esperada derivada de estas propiedades estadísticas, se considera que exhibe productividad formal.

3. Prueba de Referencia de Función Discursiva (Probabilidad Transicional de Referencia - TPR):
   Para evaluar el conocimiento funcional, los autores miden la TPR, definida como la probabilidad de que un hablante cambie el determinante cuando el sustantivo del tema permanece constante a través de los turnos conversacionales. Esta métrica captura el uso apropiado de la definitud y la especificidad en el discurso. La TPR del modelo se calcula comparando sus elecciones probabilísticas de determinantes con la enunciación precedente del cuidador en el diálogo. Esto se compara con una línea base establecida a partir de conversaciones entre adultos y la TPR empírica de los niños.

Contribuciones Clave

• Innovación Metodológica: La introducción de la solicitud CAC permite la comparación directa de LLM y niños utilizando datos de producción naturalista, evitando la necesidad de juicios metalingüísticos poco fiables por parte de los niños.
• Evaluación de Doble Referencia: El artículo establece dos pruebas de referencia independientes: productividad formal (sintaxis) y adecuación funcional discursiva (pragmática), que no requieren acceso a los datos de entrenamiento del modelo, haciéndolas aplicables a cualquier muestra de lenguaje.
• Análisis Empírico: El estudio evalúa 45 modelos de lenguaje (incluyendo líneas base de BabyLM, ganadores y modelos de referencia) a través de estas pruebas, proporcionando una visión detallada del rendimiento del modelo en relación con niños de 2 a 3 años.

Resultados
La evaluación revela una disociación significativa entre diferentes facetas de la competencia lingüística en los LLM:

• Productividad Formal: Muchos modelos, incluidos aquellos entrenados con cantidades de datos comparables a las disponibles para niños de 2 a 3 años (aproximadamente 10–20 millones de palabras), superan la prueba de superposición formal. Esto sugiere que han aprendido a combinar determinantes y sustantivos de manera productiva en lugar de simplemente memorizar colocaciones.
• Función Discursiva: Ninguno de los modelos entrenados con datos comparables a los de niños pequeños supera la prueba TPR. Sus valores de TPR son significativamente más altos que las líneas base humanas, lo que indica que eligen determinantes de manera estocástica sin tener en cuenta las restricciones referenciales o el contexto discursivo.
• Modelos Grandes: Solo dos modelos entrenados con conjuntos de datos significativamente más grandes (100M y 30B de palabras) superaron ambas pruebas. Un modelo entrenado con 156B de palabras superó la prueba TPR pero falló en la prueba de superposición.
• Precisión frente a Competencia: Varios modelos lograron una alta precisión en las elecciones de determinantes de máxima verosimilitud (MLE) (coincidiendo con los niños aproximadamente el 89% de las veces), pero fallaron en las pruebas TPR y de superposición. Esto confirma que una alta precisión en la clasificación no equivale a una competencia lingüística similar a la de un adulto ni a una gramática productiva.

Significado y Afirmaciones
El artículo argumenta que los LLM actuales entrenados con datos plausibles desde el punto de vista del desarrollo aún no exhiben el espectro completo del conocimiento lingüístico demostrado por los niños humanos a la edad de 2-3 años. Específicamente, si bien los modelos pueden aprender la productividad sintáctica formal, luchan con las restricciones funcionales y de nivel discursivo del uso del lenguaje. Los autores afirman que optimizar un aspecto de la competencia (por ejemplo, la precisión de la predicción o la sintaxis formal) no garantiza la adquisición de otros (por ejemplo, la función discursiva).

El trabajo sirve como una contribución metodológica, demostrando que la investigación sobre el lenguaje infantil proporciona marcos necesarios para evaluar los LLM como modelos cognitivos. Los autores sugieren que los hitos de adquisición temprana, como el uso de determinantes, sirven como puntos de control críticos para el campo, destacando que los LLM pueden requerir diferentes trayectorias de aprendizaje o eficiencias de datos para modelar verdaderamente la adquisición del lenguaje humano. El artículo concluye con modestia, señalando que, aunque algunos modelos muy grandes cumplen con las pruebas, las causas del éxito o el fracaso permanecen poco claras, y se necesita una investigación adicional sobre cómo el ajuste de instrucciones y el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) podrían interactuar con estos criterios lingüísticos específicos.