Modelling Language using Large Language Models

Este artículo defiende que los modelos de lenguaje grandes tienen un valioso papel científico como modelos de las lenguas públicas, argumentando que, al reconocer el lenguaje como una entidad social externa y aplicar el concepto de "construcción de modelo" de Weisberg, es posible extraer conocimientos lingüísticos significativos de su funcionamiento interno.

Lo esencial

Imagina que el lenguaje es como un océano gigante. Durante décadas, los lingüistas (los científicos del lenguaje) han estado intentando entender este océano mirando solo a los náufragos individuales (las personas que hablan) para ver cómo sus cerebros procesan las olas. Se preguntaban: "¿Qué hay dentro de la mente de esta persona que le permite hablar?".

Pero este artículo, escrito por Jumbly Grindrod, nos dice que estamos mirando el océano desde la perspectiva equivocada. El autor propone que deberíamos mirar el océano en sí mismo: las olas, las corrientes y la marea que existen independientemente de quién las observe. A esto le llama "E-lenguaje" (lenguaje externo y social).

Aquí tienes la explicación de la idea central, usando analogías sencillas:

1. El problema: ¿Son los LLMs "teorías" o "mapas"?

Hasta ahora, mucha gente pensaba que los Modelos de Lenguaje Grandes (como ChatGPT) deberían ser teorías completas del lenguaje, como un libro de texto que explica por qué hablamos así. El autor dice: "¡No! No son libros de texto".

En su lugar, el autor propone que los LLMs son modelos científicos, como un mapa del metro o un simulador de vuelo.

• La analogía: Imagina que quieres estudiar el tráfico de una ciudad enorme. No necesitas ser un conductor para entender el tráfico; necesitas un mapa. Un mapa no es la ciudad real (tiene túneles que no existen, calles simplificadas), pero es una herramienta que te permite ver patrones, atascos y rutas que de otra forma serían invisibles.
• La idea: Los LLMs son esos mapas. No explican la biología de tu cerebro, pero son excelentes para representar cómo funciona el lenguaje como una herramienta social que usamos todos juntos.

2. ¿Por qué no son solo "memorizadores"? (El mito del espejo)

Un crítico podría decir: "Pero el LLM solo memorizó todo lo que leyó en internet. Es como un espejo que refleja lo que ve".

• La analogía: Imagina que tienes un chef que ha probado millones de recetas. Si le pides que cocine un plato nuevo que nunca ha hecho antes, y lo hace perfecto, ¿solo está copiando? No. Ha aprendido la lógica de los ingredientes. Sabe que el sal y el azúcar se llevan bien, o que el fuego cambia la textura de la carne.
• La explicación: El autor dice que los LLMs no solo memorizan texto (eso sería un error, llamado "sobreajuste"). Han aprendido las reglas ocultas y los patrones que hacen que el lenguaje funcione. Han aprendido las "corrientes" del océano, no solo las olas individuales.

3. El gran desafío: La "Caja Negra" y el "Traductor"

El mayor problema es que los LLMs son como una caja negra gigante. Sabemos qué entra (texto) y qué sale (texto), pero no sabemos exactamente qué pasa por dentro.

• La analogía: Es como tener un reloj antiguo y complejo. Sabes que al darle cuerda las manecillas se mueven, pero no sabes cómo funcionan los engranajes internos.
• La solución del autor: El autor dice que no necesitamos entender cada engranaje individual para usar el reloj. Necesitamos un "traductor" (lo que en ciencia se llama una "construcción" o construal).
  • Los científicos están trabajando en herramientas (llamadas IA Explicable) para mirar dentro de la caja negra y decir: "¡Mira! Esta parte del modelo está detectando la gramática, y esta otra está detectando el significado".
  • Una vez que tenemos ese traductor, podemos usar el LLM como un laboratorio para descubrir cosas nuevas sobre el lenguaje que antes no podíamos ver.

4. ¿Por qué es importante esto?

Si aceptamos esta idea, abrimos una nueva puerta en la ciencia del lenguaje.

• Antes: Solo podíamos estudiar el lenguaje preguntando a las personas o mirando sus cerebros (lo cual es lento y limitado).
• Ahora: Podemos usar el LLM como un laboratorio de simulación. Podemos preguntarle: "¿Qué pasaría si cambiamos esta regla social del lenguaje?" y ver cómo reacciona el modelo. Nos permite estudiar el lenguaje como un fenómeno social vivo, no solo como un proceso mental individual.

En resumen

El autor nos dice: Dejemos de intentar que los LLMs sean "psicólogos" que expliquen tu cerebro. En su lugar, úsalos como cartógrafos que nos ayudan a dibujar el mapa del lenguaje humano. Aunque el mapa no es el territorio real, es la mejor herramienta que tenemos para navegar por las complejidades de cómo nos comunicamos como sociedad.

Es una forma de decir: "No necesitamos saber exactamente cómo piensa la máquina para aprender cosas increíbles sobre cómo funciona nuestro propio lenguaje".

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Modelling Language using Large Language Models" de Jumbly Grindrod, estructurado según los puntos solicitados y redactado en español.

Resumen Técnico: Modelado del Lenguaje mediante Modelos de Lenguaje Grandes (LLMs)

1. El Problema

El artículo aborda la división disciplinaria en la lingüística y la filosofía del lenguaje respecto a la utilidad de los Modelos de Lenguaje Grandes (LLMs).

• El Debate: Existe una polarización entre quienes argumentan que los LLMs pueden informar la investigación lingüística (provenientes de ciencias computacionales) y quienes sostienen que no pueden (provenientes de la lingüística generativa y filosofía, como Chomsky, Roberts y Watumull).
• La Objeción Principal: Los críticos argumentan que los LLMs no son teorías lingüísticas válidas porque:
  1. Solo predicen la siguiente palabra (falta de poder explicativo).
  2. Su entrenamiento es radicalmente diferente al aprendizaje humano (diferencias en datos, ausencia de Gramática Universal innata).
  3. Capturan el desempeño (performance) y no la competencia lingüística interna (I-language).
  4. Son meros modelos de sus datos de entrenamiento (corpus) y no del lenguaje como entidad social.
• La Brecha Ontológica: El problema central radica en la definición del objeto de estudio. La visión tradicional (Chomsky) se centra en el lenguaje interno (I-language, competencia cognitiva), mientras que el autor propone centrarse en el lenguaje externo (E-language, entidad social y pública).

2. Metodología

El autor emplea un enfoque analítico-filosófico combinado con evidencia empírica de la lingüística computacional:

• Pluralismo Ontológico: Se adopta la postura de pluralismo (basada en Santana y Stainton), que reconoce que el lenguaje puede estudiarse como un objeto mental, abstracto y social simultáneamente. El artículo se centra en el E-language (lenguaje como entidad social externa).
• Teoría de Modelos Científicos: Se utiliza el marco de Michael Weisberg (2007, 2013) sobre la construcción de modelos. En lugar de ver los LLMs como teorías directas, se propone verlos como modelos proxy de un fenómeno del mundo real (el E-language).
• Análisis de la Construcción de Modelos (Construal): Se aplica el concepto de "construal" (interpretación) de Weisberg, que incluye:
  • Asignación: Qué partes del modelo representan qué partes del fenómeno.
  • Alcance: Qué aspectos del fenómeno se capturan.
  • Criterios de Fidelidad: Dinámica (precisión de salida) y Representacional (similitud estructural interna).
• Integración de IA Explicable (XAI): Se recurre a técnicas recientes de IA explicable (probing classifiers, visualización de atención) para reducir la "opacidad" de los LLMs y establecer la conexión entre la estructura interna del modelo y las convenciones lingüísticas.

3. Contribuciones Clave

El artículo presenta dos tesis principales que redefinen el papel de los LLMs en la ciencia lingüística:

1. Reencuadre del Objeto de Estudio (E-language vs. I-language):

   • El autor argumenta que los LLMs no necesitan explicar la cognición humana (I-language) para ser valiosos. Su valor reside en modelar el E-language: el lenguaje como un conjunto de convenciones sociales y públicas adoptadas por una comunidad.
   • Se refutan las críticas de Chomsky sobre la naturaleza "artificial" o "vaga" de los E-languages, argumentando que los objetos artificiales y vagos son válidos en ciencias sociales (ej. economía) y que las convenciones lingüísticas existen a nivel grupal y dependen del uso real.

2. Los LLMs como Modelos Científicos, no como Teorías:

   • Se rechaza la idea de que un LLM es una teoría lingüística. En su lugar, se propone que son modelos proxy que sirven para investigar el E-language.
   • Desarrollo del Construal: El autor detalla cómo se puede construir una interpretación (construal) para un LLM:
     • Asignación: Las activaciones internas y patrones de atención del modelo representan las convenciones lingüísticas (sintaxis, semántica) de la comunidad.
     • Reducción de la Incertidumbre de Enlace: Aunque los LLMs son opacos, las técnicas de XAI y las tareas de evaluación (benchmarks como GLUE) permiten verificar que el modelo internaliza reglas lingüísticas y no solo memoriza datos.
   • Refutación del "Modelo de Corpus": Se argumenta contra la idea de que los LLMs son solo compresiones de sus datos de entrenamiento. Mediante técnicas de regularización (como weight decay) y validación cruzada, los modelos están forzados a generalizar patrones subyacentes (reglas y convenciones) en lugar de sobreajustarse (overfitting) a los datos específicos.

4. Resultados y Evidencia Presentada

El artículo sintetiza hallazgos existentes en lingüística computacional para apoyar su tesis:

• Predicción y Explicación: Se citan estudios (Manning et al., 2020; Nair et al., 2020; Schrimpf et al., 2020) que demuestran que:
  • Las dependencias sintácticas pueden extraerse de las representaciones vectoriales (embeddings).
  • Las probabilidades de la siguiente palabra predicen la sorpresa humana (surprisal).
  • Los patrones de activación interna correlacionan con respuestas neuronales y conductuales humanas.
• Evidencia de Generalización: La capacidad de los LLMs para superar benchmarks de comprensión del lenguaje (GLUE, SuperGLUE) en tareas no vistas durante el entrenamiento (entailment, resolución de pronombres) demuestra que han aprendido reglas subyacentes y no solo han memorizado el corpus.
• Viabilidad del Construal: Se demuestra que, mediante el uso de clasificadores de sondeo (probing) y la visualización de cabezas de atención, es posible mapear partes específicas de la arquitectura del LLM a propiedades lingüísticas específicas (ej. capas tempranas para sintaxis), reduciendo la opacidad y permitiendo la construcción de un modelo científico válido.

5. Significado e Implicaciones

• Nueva Rama de Investigación: El artículo abre una nueva vía de investigación lingüística que no dependía de la existencia de LLMs: el estudio empírico del lenguaje como entidad social (E-language) a través de modelos computacionales.
• Puente entre Disciplinas: Conecta la filosofía del lenguaje, la lingüística teórica y la ciencia de datos, validando el uso de herramientas industriales (LLMs) para fines científicos académicos.
• Cambio de Paradigma en la Modelización: Sugiere que la ciencia lingüística puede avanzar no solo mediante la construcción de teorías cognitivas, sino mediante la construcción y refinamiento iterativo de modelos proxy que capturan regularidades sociales y convencionales.
• Optimismo Metodológico: Aunque la construcción del "construal" (interpretación) de un LLM es un proyecto exploratorio laborioso debido a la complejidad de las redes neuronales, el autor sostiene que es factible y que ya está en marcha gracias a los avances en IA explicable y evaluación rigurosa.

En conclusión, el artículo defiende que los LLMs son herramientas científicas poderosas para modelar el lenguaje público, siempre que se abandone la exigencia de que deben replicar la cognición humana interna y se acepten como representaciones proxy de las convenciones lingüísticas sociales.