Creating ConLangs to Probe the Metalinguistic Grammatical Knowledge of LLMs

1. Problema e Contexto

O artigo aborda uma lacuna fundamental na avaliação de Grandes Modelos de Linguagem (LLMs): a distinção entre o conhecimento enciclopédico de fatos sobre idiomas existentes e a verdadeira competência metalinguística (a capacidade de entender e manipular conceitos linguísticos abstratos e regras gramaticais).

Embora os LLMs sejam proficientes em tarefas de tradução e geração de texto em idiomas naturais, não está claro se eles compreendem profundamente a estrutura da linguagem ou se apenas memorizam padrões estatísticos. O objetivo é criar um ambiente controlado onde os modelos possam ser testados na criação de Línguas Construídas (ConLangs) com especificações gramaticais precisas, mas que não existam na natureza. Isso permite isolar variáveis linguísticas (como ordem de palavras ou casos gramaticais) para testar a capacidade de raciocínio do modelo.

2. Metodologia: O Sistema IASC

Os autores desenvolveram o IASC (Interactive Agentic System for ConLangs), um sistema modular e agêntico que utiliza LLMs para construir línguas artificiais. O sistema opera através de vários módulos interconectados:

• Módulos Principais: Fonologia, Morfossintaxe, Criação de Léxico, Ortografia e Redação de Manual Gramatical.
• Abordagem Agêntica: O sistema não gera a língua em uma única etapa. Ele utiliza um fluxo de trabalho iterativo onde a saída de um módulo é refinada com base em feedback automático gerado pelo próprio modelo sobre etapas anteriores.
• Foco Experimental (Morfossintaxe): Para este estudo, o foco principal foi o módulo de morfossintaxe. O objetivo era transformar sentenças em inglês (fonte) para a estrutura gramatical de uma ConLang alvo (alvo), representada em glossas (anotações interlineares que mostram a estrutura morfológica e sintática).

Configuração do Experimento

• Dados de Avaliação: Um conjunto de dados com 45 sentenças de origem e 9 conjuntos de características gramaticais diferentes, totalizando 405 sentenças.
• Tipologia Diversa: Os conjuntos de características foram inspirados em 8 idiomas reais (Árabe, Fijiano, Francês, Hixkaryana, Mizo, Turco, Vietnamita, Galês) e um conjunto "Difícil" (hard), que combina características tipologicamente raras e conflitantes (ex: ordem OSV com marcação de caso prefixada e morfologia complexa).
• Métricas de Avaliação:
  • TER (Translation Edit Rate): Mede a correção da tradução.
  • SER (Stem Edit Rate): Mede a correção da posição dos radicais (ignora morfologia), focando na sintaxe.
  • MFER (Morphological Feature Error Rate): Mede a correção dos marcadores morfológicos (prefixos/sufixos).
  • MSER (Morphosyntactic Error Rate): Média ponderada do SER e MFER.
  • Lem F1: Pontuação F1 para lematização (identificar a forma base da palavra).

3. Contribuições Principais

1. Sistema IASC: Uma ferramenta modular e reprodutível para a criação de ConLangs, que serve tanto como ferramenta criativa quanto como benchmark para pesquisa em IA.
2. Novo Paradigma de Avaliação: Propõe o uso da construção de línguas artificiais como um teste rigoroso para o conhecimento metalinguístico, superando a simples verificação de fatos enciclopédicos.
3. Análise de Robustez Tipológica: Demonstra como a performance dos LLMs varia drasticamente dependendo da frequência e da complexidade das características linguísticas solicitadas.
4. Código Aberto: O código e o conjunto de dados de avaliação foram liberados publicamente.

4. Resultados Experimentais

Os experimentos foram realizados em seis modelos de LLMs de diferentes tamanhos e capacidades (incluindo GPT-4o-mini, GPT-5, Claude 3.5 Sonnet, Gemini 2.5 Pro/Flash).

• Desempenho Geral: Modelos maiores e mais avançados (especialmente Gemini 2.5 Pro e GPT-5) demonstraram capacidade significativa de seguir instruções gramaticais complexas, enquanto modelos menores (como GPT-4o-mini) lutaram para manter a consistência.
• Viés Tipológico:
  • Padrões Comuns: Os modelos tiveram desempenho excelente em ordens de palavras comuns (SVO, VSO, SOV) e em línguas com morfologia rica e bem documentada.
  • Padrões Raros: Houve uma queda significativa de desempenho em ordens de palavras atípicas (como VOS ou OSV) e em características raras (como marcação de caso prefixada). O conjunto de dados "Difícil" (hard) apresentou as maiores taxas de erro (MSER médio de ~85% para alguns modelos).
• Lematização e Tipologia Analítica: Um achado interessante foi que modelos de alto desempenho tiveram mais dificuldade em lidar com idiomas analíticos (que dependem de ordem de palavras e palavras funcionais, sem flexão) do que com idiomas sintéticos/aglutinantes. Isso sugere que os modelos podem depender excessivamente de padrões morfológicos visíveis em seus dados de treinamento.
• Aprendizado em Contexto (Few-Shot ICL): A introdução de exemplos de few-shot (instruções de revisão com exemplos de glossas) melhorou significativamente a performance da maioria dos modelos, reduzindo o MSER médio em modelos como o Gemini 2.5 Pro para ~14.68.

5. Significado e Conclusões

O estudo conclui que os LLMs modernos possuem uma competência metalinguística substancial, capaz de manipular conceitos abstratos de gramática (como ordem de palavras, casos e concordância) mesmo em línguas que nunca viram antes. No entanto, essa capacidade não é uniforme:

• Dependência de Frequência: A performance está correlacionada com a frequência e documentação das características linguísticas nos dados de treinamento. Padrões raros ou complexos ainda representam um desafio.
• Potencial para Linguística: O sistema IASC oferece uma nova metodologia para investigar a "caixa preta" dos LLMs, permitindo aos linguistas testar hipóteses sobre a representação interna da gramática nas redes neurais.
• Aplicações Futuras: Os autores sugerem que essa abordagem pode ser adaptada para melhorar a tradução para idiomas de recursos baixos (low-resource languages), onde a estrutura gramatical pode ser mapeada via transformações sintáticas antes da geração final.

Em resumo, o trabalho demonstra que, embora os LLMs não sejam linguistas perfeitos, eles evoluíram de meros estatísticos de texto para sistemas capazes de raciocínio gramatical estruturado, desde que as tarefas sejam bem definidas e os modelos sejam suficientemente grandes e treinados com dados diversificados.