Creating ConLangs to Probe the Metalinguistic Grammatical Knowledge of LLMs

1. Problema y Motivación

El artículo aborda la necesidad de evaluar la capacidad de los Grandes Modelos de Lenguaje (LLM) para comprender y manipular conceptos lingüísticos abstractos, más allá de su conocimiento enciclopédico sobre idiomas específicos o hechos triviales.

• El Desafío: Aunque los LLMs han demostrado habilidades en traducción y generación de texto, su capacidad para realizar transformaciones morfosintácticas complejas bajo instrucciones explícitas (es decir, su conocimiento metalingüístico) sigue siendo poco explorada.
• La Limitación Actual: La mayoría de las evaluaciones se centran en idiomas naturales. Los autores proponen que la creación de Lenguajes Construidos (ConLangs) con especificaciones gramaticales arbitrarias y a veces tipológicamente inusuales es un banco de pruebas superior para medir si un modelo realmente "entiende" la gramática o simplemente memoriza patrones estadísticos.
• Objetivo: Desarrollar un sistema que no solo cree lenguajes artificiales, sino que utilice este proceso para cuantificar y evaluar la competencia metalingüística de los LLMs.

2. Metodología: IASC (Interactive Agentic System for ConLangs)

Los autores presentan IASC, un sistema modular y agéntico diseñado para generar ConLangs completos. El sistema opera mediante una serie de módulos interconectados que utilizan prompts específicos y retroalimentación iterativa.

Componentes del Sistema

El flujo de trabajo incluye los siguientes módulos:

1. Fonología: Generación de inventarios de fonemas y reglas de fonotaxis (similares a idiomas reales como el galés o el japonés).
2. Morfosintaxis (El foco principal): Transformación de la estructura gramatical de oraciones de entrada (inglés) para cumplir con especificaciones del ConLang (orden de palabras, casos, concordancia, etc.).
3. Lexicografía: Creación de vocabulario basado en la fonotaxis generada.
4. Ortografía: Generación de un sistema de escritura (basado en scripts existentes como latín, cirílico, etc.).
5. Manual Gramatical: Redacción de una guía descriptiva del idioma creado.

Enfoque Agéntico

El sistema es "agéntico" porque permite la refinación iterativa. Por ejemplo, en la fonología, el modelo genera un código Python para crear morfemas, ejecuta el código, analiza los errores o desviaciones, y se le pide que mejore el código en una ronda posterior.

Experimento Central: Módulo de Morfosintaxis

Para evaluar el conocimiento metalingüístico, los autores se centraron en el módulo de morfosintaxis.

• Tarea: Dada una oración en inglés, el LLM debe reescribirla en un formato de "glosa" (anotación morfológica) que respete las reglas gramaticales de un ConLang específico.
• Estrategia Cumulativa: En lugar de una transformación en un solo paso (que resultó ser demasiado compleja para los modelos), se utilizó un enfoque iterativo donde el modelo transforma la oración paso a paso, aplicando una regla gramatical a la vez (ej. primero cambiar el orden de las palabras, luego añadir marcadores de caso, luego concordancia de número, etc.).
• Conjuntos de Datos: Se creó un conjunto de evaluación con 45 oraciones fuente y 9 configuraciones de ConLangs basadas en idiomas reales (árabe, fijiano, francés, hixkaryana, mizo, turco, vietnamita, galés) y un conjunto "hard" (difícil) con una mezcla tipológicamente rara y compleja (orden OSV, casos ergativos, prefijación, etc.).

Métricas de Evaluación

Se utilizaron varias métricas para medir la precisión:

• TER (Translation Edit Rate): Ediciones necesarias para igualar la referencia.
• SER (Stem Edit Rate): Evalúa específicamente el orden de los tallos (raíces) de las palabras, ignorando los afijos morfológicos.
• MFER (Morphological Feature Error Rate): Evalúa la precisión de los afijos morfológicos y su posición.
• MSER (Morphosyntactic Error Rate): Un promedio ponderado de SER y MFER.
• Lem F1: Capacidad del modelo para identificar la forma base (lema) de las palabras, crucial para evitar errores de inflexión.

3. Contribuciones Clave

1. Sistema IASC: Un marco de trabajo reproducible y modular para la creación automática de lenguajes construidos utilizando agentes de IA.
2. Banco de Pruebas Metalingüístico: La propuesta de usar la generación de ConLangs como un método riguroso para probar la comprensión gramatical profunda de los LLMs, separando el conocimiento de la memoria estadística.
3. Análisis de Tipología: La demostración de que el rendimiento de los LLMs varía significativamente según la rareza tipológica de la regla gramatical a aplicar.
4. Código Abierto: La liberación del código y el conjunto de datos para la comunidad de investigación.

4. Resultados Principales

Los experimentos se realizaron en seis modelos de lenguaje (incluyendo Claude 3.5 Sonnet, Gemini 2.5 Pro/Flash, GPT-4o-mini, GPT-5-mini y GPT-5).

• Impacto de la Tipología:

  • Los modelos tuvieron un rendimiento significativamente mejor en patrones tipológicamente comunes (como SVO, SOV, VSO) en comparación con patrones raros (como OSV, OVS).
  • El conjunto de datos "hard" (con características raras y complejas) presentó el mayor desafío, con puntuaciones de error (MSER) muy altas (promedio de 85.21 para el peor caso).
  • Hubo una correlación significativa entre la rareza del orden de palabras y el aumento del error en la estructura de la oración (SER).

• Diferencias entre Modelos:

  • Los modelos más grandes y avanzados (Gemini 2.5 Pro, Claude 3.5 Sonnet, GPT-5) mostraron capacidades superiores en la manipulación morfosintáctica.
  • Los modelos más pequeños o menos capaces (GPT-4o-mini, GPT-5-mini) lucharon incluso con instrucciones simples y ejemplos de few-shot.
  • Gemini 2.5 Pro con few-shot in-context learning (ICL) obtuvo los mejores resultados generales, logrando puntuaciones perfectas en SER para idiomas con orden VSO (como el árabe y el galés).

• Aprendizaje en Contexto (Few-Shot ICL):

  • Proporcionar ejemplos de gramática y oraciones de muestra antes de la tarea mejoró drásticamente el rendimiento de la mayoría de los modelos, reduciendo significativamente los errores de sintaxis y morfología.

• Problema de Lemmatización:

  • Se observó una paradoja interesante: los modelos tuvieron más dificultades para identificar correctamente los lemas (formas base) en idiomas analíticos (como el vietnamita o el mizo, que dependen del orden de palabras) que en idiomas sintéticos (con mucha inflexión). Esto sugiere que los modelos pueden depender demasiado de la morfología visible para inferir la estructura gramatical.

5. Significado e Implicaciones

• Validación del Conocimiento Gramatical: El estudio confirma que los LLMs modernos poseen un conocimiento metalingüístico sustancial, capaz de seguir instrucciones abstractas de gramática, pero este conocimiento no es uniforme; está sesgado hacia patrones frecuentes en sus datos de entrenamiento.
• Limitaciones en la Generalización: La dificultad con las estructuras tipológicamente raras sugiere que los modelos aún no han internalizado completamente las reglas universales de la gramática humana, sino que dependen de la frecuencia de los patrones observados.
• Aplicaciones Futuras: El enfoque de IASC tiene potencial para aplicaciones en la traducción a idiomas de recursos bajos (Low-Resource Languages). La idea es usar un LLM para transformar la estructura de un idioma rico en recursos (como el inglés) hacia la estructura de un idioma objetivo antes de la traducción final, aunque los resultados preliminares en el idioma Ainu mostraron que el sistema actual aún necesita mejoras para ser efectivo en este escenario.
• Herramienta para Lingüistas: El sistema ofrece una nueva herramienta para explorar la teoría lingüística y la adquisición del lenguaje, permitiendo probar hipótesis sobre la facilidad de aprendizaje de ciertas estructuras gramaticales por parte de las máquinas.

En resumen, el paper demuestra que la creación de ConLangs es una metodología robusta para "sondear" la inteligencia lingüística de los LLMs, revelando que, aunque son capaces de seguir reglas gramaticales complejas, su rendimiento decae notablemente ante la rareza tipológica y la falta de datos de entrenamiento específicos.