Biasless Language Models Learn Unnaturally: How LLMs Fail to Distinguish the Possible from the Impossible

Título: Modelos de Lenguaje sin Sesgo Aprenden de Forma No Natural: Cómo los LLMs Fallan en Distinguir lo Posible de lo Imposible

1. El Problema

El artículo aborda una pregunta fundamental en la intersección de la lingüística y la inteligencia artificial: ¿Son los Modelos de Lenguaje Grandes (LLMs) sensibles a la distinción entre lenguajes humanamente posibles e imposibles?

• Contexto Teórico: La "Hipótesis Generativa" (Chomsky) postula que los humanos poseen sesgos de aprendizaje innatos que restringen el espacio de lenguajes posibles, explicando por qué ciertas estructuras lingüísticas existen universalmente mientras que otras (lenguajes "imposibles") no se dan.
• Debate Actual: Investigaciones recientes (como Kallini et al., 2024) han sugerido que los LLMs, al carecer de sesgos innatos biológicos, podrían aprender tanto lenguajes naturales como sus variantes "imposibles" (perturbadas artificialmente) con la misma facilidad. Si esto fuera cierto, debilitaría la necesidad de postular sesgos innatos fuertes en la cognición humana.
• Objetivo del Estudio: Los autores examinan la afirmación de que los LLMs muestran sensibilidad a la imposibilidad, utilizando una metodología más amplia y rigurosa que estudios previos para determinar si GPT-2 puede distinguir entre lenguajes atestiguados y sus contrapartes imposibles.

2. Metodología

Los autores replican y expanden la metodología de Kallini et al. (2024) bajo dos perspectivas: intralingüística (comparación dentro de un mismo idioma) e interlingüística (comparación entre conjuntos de idiomas).

• Datos y Lenguajes:
  • Se utilizaron 9 idiomas en total: Inglés (el original del estudio previo) más 8 adicionales (Danés, Finlandés, Francés, Alemán, Griego, Hebreo, Italiano y Ruso), cubriendo distintas ramas lingüísticas.
  • Se crearon conjuntos de datos basados en Wikipedia (90M de tokens), tokenizados uniformemente con un vocabulario de 50,257 tokens para evitar sesgos por tokenización.
• Perturbaciones "Imposibles":
  • Se aplicaron funciones de perturbación a los datos atestiguados para crear versiones "imposibles" que violan principios lingüísticos universales (como la estructura jerárquica o el orden de palabras):
    • SHUFFLE: Mezcla global y local de tokens.
    • REVERSE: Inversión parcial y total de oraciones.
    • SWITCH: Intercambio de tokens específicos.
    • HOP: Inserción de marcadores especiales después de verbos (requiere generalización lineal).
• Entrenamiento del Modelo:
  • Se entrenó un modelo GPT-2 desde cero (sin pre-entrenamiento) en cada conjunto de datos (original y perturbado).
  • Configuración estándar: 12 capas, 12 cabezas de atención, 768 dimensiones, tamaño de contexto 1024.
  • Se registró la perplejidad de validación cada 100 lotes (batches) durante 3,000 lotes.
• Métricas de Evaluación:
  1. Perspectiva Intralingüística: Se compararon las curvas de aprendizaje (perplejidad) del idioma original vs. el perturbado. Se calculó el Error Medio (ME) entre las curvas. Un ME positivo indicaría que el modelo aprende mejor el lenguaje imposible que el natural.
  2. Perspectiva Interlingüística: Se analizaron la perplejidad mínima y el Área Bajo la Curva (AUC) para todos los idiomas. Se comparó la varianza entre idiomas diferentes (varianza inter-idioma) frente a la varianza dentro de un mismo idioma entre sus variantes (varianza intra-idioma).

3. Contribuciones Clave

• Ampliación del Escenario Experimental: A diferencia de estudios previos limitados al inglés, este trabajo prueba la hipótesis en 9 idiomas de diversas familias lingüísticas.
• Prueba de Varianza Interlingüística: Introducen una métrica robusta para ver si el modelo agrupa naturalmente todos los lenguajes posibles por un lado y los imposibles por otro, controlando factores externos.
• Refutación Empírica: Proporcionan evidencia contraria a los hallazgos de Kallini et al. (2024) y Yang et al. (2025), demostrando que la metodología de "facilidad de aprendizaje" basada en perplejidad no es un proxy fiable para la sensibilidad a la imposibilidad en LLMs.

4. Resultados

• Fallo en la Perspectiva Intralingüística:
  • En la gran mayoría de los casos, GPT-2 aprendió los lenguajes naturales y sus contrapartes imposibles con igual facilidad.
  • Las curvas de aprendizaje coincidieron casi completamente.
  • En muchos casos (28 de 54 pruebas), el modelo mostró una preferencia por las variantes imposibles (curvas de perplejidad más bajas para los datos perturbados), lo cual es estadísticamente no significativo frente al azar ($p = 0.892$).
  • Las perturbaciones que mejor se explicaron fueron SHUFFLE local, mientras que REVERSE full y SWITCH fallaron en mostrar preferencia por el lenguaje atestiguado.
• Fallo en la Perspectiva Interlingüística:
  • No se observó una separación clara entre el conjunto de lenguajes atestiguados y el de lenguajes imposibles.
  • Los resultados mostraron que la varianza intra-idioma (diferencia entre un idioma y sus perturbaciones) fue significativamente menor que la varianza inter-idioma (diferencia entre idiomas distintos).
  • Esto significa que GPT-2 agrupa un idioma con sus versiones imposibles, en lugar de agrupar todos los idiomas posibles juntos y separarlos de los imposibles.

5. Significado e Implicaciones

• Refutación de la Sensibilidad a la Imposibilidad: Los resultados indican que GPT-2 no distingue sistemáticamente entre lo posible y lo imposible. Por lo tanto, la "facilidad de aprendizaje" medida por perplejidad no es una prueba de que los LLMs posean o carezcan de sesgos lingüísticos innatos de la misma manera que los humanos.
• Relevancia para la Hipótesis Generativa: Dado que los LLMs no muestran la sensibilidad esperada (ni positiva ni negativa consistente), los autores concluyen que los LLMs no comparten los sesgos de aprendizaje innatos que moldean la tipología lingüística humana. Esto sugiere que la distinción entre lenguajes posibles e imposibles en humanos sigue siendo un fenómeno biológico/cognitivo que los modelos actuales no capturan.
• Crítica a la Metodología de Perplejidad: El estudio sugiere que utilizar curvas de aprendizaje de perplejidad como proxy para la cognición humana es insuficiente y potencialmente engañoso, ya que los LLMs pueden aprender patrones "antinaturales" tan eficientemente como los naturales.
• Limitaciones y Futuro: Los autores reconocen que el estudio se limita a GPT-2 y a un conjunto específico de perturbaciones. Sugieren que futuros trabajos deberían probar modelos más grandes y considerar la evolución cultural de los lenguajes, aunque mantienen que la conclusión principal sobre la falta de sesgos innatos en la arquitectura actual es sólida.

En resumen, el paper demuestra que, bajo una evaluación rigurosa y multilingüe, los LLMs actuales fallan en replicar la capacidad humana de rechazar o distinguir lenguajes estructuralmente imposibles, lo que debilita la idea de que estos modelos son proxies adecuados para la cognición lingüística humana basada en sesgos innatos.