Large Language Models as Proxies for Theories of Human Linguistic Cognition

Resumen Técnico: Los Modelos de Lenguaje de Gran Tamaño como Proxies de las Teorías de la Cognición Lingüística Humana

Planteamiento del Problema
El artículo aborda el papel de los Modelos de Lenguaje de Gran Tamaño (LLM, por sus siglas en inglés) en el estudio de la Cognición Lingüística Humana (HLC). Critica la "Teoría de los LLM" (p. ej., Piantadosi 2023), que postula que los actuales LLM son, en sí mismos, las mejores teorías de la HLC, argumentando que esta visión no logra dar cuenta de distinciones fundamentales en la cognición humana, tales como competencia frente a ejecución, gramaticalidad frente a verosimilitud, y saltos inductivos específicos respecto a la estructura jerárquica.

En su lugar, el artículo investiga la "Visión de Proxy". Esta hipótesis sugiere que, si bien los actuales LLM no son buenas teorías de la HLC en sí mismos, pueden servir como proxies de una tercera teoría, aún no revelada ($H_3$). Se vislumbra $H_3$ como una teoría que es relativamente neutral desde el punto de la lingüística (carece de los fuertes sesgos innatos de la lingüística generativa, $H_1$), pero que es capaz de explicar la adquisición lingüística humana y los patrones tipológicos. El problema central es que $H_3$ no está especificada actualmente, lo que dificulta su evaluación empírica. Los autores se preguntan si los actuales LLM pueden funcionar como herramientas metodológicas para probar si un $H_3$ lingüísticamente neutral podría adquirir con éxito el conocimiento lingüístico a partir de corpus realistas o explicar las asimetrías tipológicas translingüísticas.

Metodología
Los autores evalúan la Visión de Proxy a través de dos marcos experimentales primarios, utilizando un conjunto de ocho LLM que van desde modelos pequeños entrenados con habla dirigida al niño (CHILDES, BabyLM) hasta modelos masivos entrenados con miles de millones de tokens (BERT, GPT-2, LLaMA-3.2).

1. Alineación con el Estímulo (Adquisición de Saltos Inductivos):

   • Tarea: Los autores prueban si los LLM pueden adquirir generalizaciones lingüísticas específicas que se argumenta son difíciles de derivar para aprendices lingüísticamente neutrales a partir de la "pobreza del estímulo" (APS).
   • Fenómenos: Se probaron tres fenómenos sintácticos específicos:
     • Movimiento de toda la estructura (Across-the-Board, ATB).
     • Brechas parásitas (Parasitic Gaps, PG).
     • Efectos de traza de "that" (That-trace effects, TTE).
   • Métrica: Utilizando una metodología de "par mínimo", se presentaron a los modelos pares de oraciones gramaticales e ungramaticales. El éxito se definió de manera laxa: el modelo asigna una mayor probabilidad a la continuación gramatical que a la ungramatical en una región de token crítica.
   • Lógica: Si los LLM (como proxies de $H_3$) no logran preferir la opción gramatical incluso tras ser entrenados con corpus realistas o masivos, esto sugiere que un $H_3$ lingüísticamente neutral también fallaría en adquirir estos patrones, fortaleciendo así el argumento de la APS sobre los sesgos innatos ($H_1$).

2. Evidencia Translingüística (Asimetrías Tipológicas):

   • Tarea: Los autores examinan si los LLM aprenden más fácilmente los lenguajes "atestiguados" que los lenguajes "no atestiguados" (perturbados). Si un $H_3$ lingüísticamente neutral puede explicar por qué ciertos tipos de lenguas no están atestiguados, debería ser más difícil para el proxy LLM aprender las variantes no atestiguadas.
   • Configuración: Basándose en Kallini et al. (2024), los autores entrenaron un Transformer con corpus de inglés, italiano, ruso y hebreo, así como con versiones perturbadas de estos corpus.
   • Perturbaciones:
     • Reversión parcial (Partial-reverse): Revertir segmentos de oraciones desde un índice aleatorio.
     • Reversión total (Full-reverse): Revertir oraciones completas.
     • Intercambio de índices (Switch-indices): Intercambiar tokens en índices específicos (0 y 2).
     • Salto de token (Token-hop): Insertar marcadores a distancias lineales fijas de los verbos (requiere conteo lineal).
   • Métrica: Perplejidad de validación durante el entrenamiento. Una menor perplejidad indica un aprendizaje más fácil.

Resultados Clave

• Adquisición de Generalizaciones Sintácticas:

  • Los LLM generalmente no mostraron una preferencia por las oraciones gramaticales sobre las ungramaticales en los pares mínimos para ATB, PG y TTE.
  • Con la excepción del masivo modelo LLaMA (entrenado con datos equivalentes a cientos de miles de años de exposición humana), todos los modelos prefirieron abrumadoramente las opciones ungramaticales.
  • Este fallo sugiere que, si los LLM son proxies de $H_3$, entonces $H_3$ probablemente fallaría en adquirir estas dependencias jerárquicas complejas a partir de un input realista, fallando en socavar los argumentos de la APS para los sesgos lingüísticos innatos.

• Asimetrías Tipológicas:

  • Los resultados no apoyaron consistentemente la idea de que los lenguajes atestiguados sean más fáciles de aprender que las perturbaciones no atestiguadas.
  • Si bien la perturbación de reversión parcial fue más difícil de aprender que las líneas base (apoyando la Visión de Proxy para este caso específico), otras perturbaciones arrojaron resultados contradictorios.
  • Para reversión total, intercambio de índices y salto de token, los modelos a menudo encontraron las versiones no atestiguadas (perturbadas) más fáciles de aprender que las bases atestiguadas, o no encontraron diferencias significativas.
  • Específicamente, la perturbación de "salto de token" (que viola las generalizaciones jerárquicas en favor del conteo lineal) fue en ocasiones aprendida más fácilmente que la base atestiguada.

Contribuciones Clave

• Clarificación Metodológica: El artículo articula la "Visión de Proxy" como una posición distinta de la "Teoría de los LLM", aclarando que los LLM podrían teóricamente servir como herramientas para evaluar teorías neutrales sin ser esas teorías en sí mismas.
• Evaluación Empírica: Proporciona una prueba empírica preliminar de la Visión de Proxy, yendo más allá de la especulación teórica hacia experimentos concretos sobre adquisición y tipología.
• Evidencia Negativa: El estudio demuestra que, bajo las condiciones actuales y con los modelos actuales, los LLM no proporcionan evidencia de que una teoría lingüísticamente neutral pueda dar cuenta de fenómenos lingüísticos clave o patrones tipológicos.

Significancia y Reivindicaciones
El artículo concluye que, en la actualidad, los actuales LLM no respaldan la Visión de Proxy. La incapacidad de los modelos para aproximarse a saltos inductivos similares a los humanos (incluso con datos masivos) y su aprendizaje inconsistente de patrones tipológicos sugieren que son malos proxies para una teoría exitosa y lingüísticamente neutral de la HLC.

Los autores enfatizan que la Visión de Proxy sigue siendo "demasiado vaga" para ser directamente útil en la ciencia empírica porque la teoría objetivo ($H_3$) no está definida explícitamente. El artículo sirve como un "llamado" para que los defensores de la Visión de Proxy proporcionen detalles explícitos de la teoría objetivo y demuestren cómo el rendimiento del LLM apoya específicamente a esa teoría sobre las alternativas generativas. Los autores mantienen una postura modesta, señalando que sus resultados negativos son específicos de los modelos y fenómenos probados, y que trabajos futuros con diferentes modelos o teorías más explícitas podrían arrojar conclusiones distintas. Sin embargo, basándose en la evidencia actual, los LLM no sugieren la necesidad de cambiar la teoría lingüística existente.