Grammar Engineering Meets LLMs: Development of Cantonese and Irish ParGram Treebanks

Imagine tentar construir um tradutor universal para a mente humana, não apenas para palavras, mas para as regras profundas e invisíveis que fazem as sentenças funcionarem. Este é o mundo da engenharia de gramática. Pense nisso como ser um arquiteto que não apenas desenha uma casa, mas escreve o código real que diz a um robô como construí-la, tijolo por tijolo, garantindo que o telhado não caia. Para fazer isso, os linguistas usam mapas especiais chamados treebanks. Se uma sentença é um edifício, um treebank é a planta que mostra exatamente como cada palavra se conecta a todas as outras, capturando quem fez o quê a quem. Mas aqui está a parte complicada: quando você tenta construir essas plantas para duas línguas muito diferentes — como uma que flui como um rio e outra que pula como um sapo — você precisa de um plano mestre que mantenha a estrutura central a mesma enquanto permite que os detalhes superficiais difiram. Este é o desafio da gramática paralela: garantir que a "alma" da sentença seja idêntica entre as línguas, mesmo que as "roupas" que ela veste sejam totalmente diferentes.

Agora, conheça o novato na área: os Modelos de Linguagem de Grande Escala (LLMs). Estes são os chatbots de IA superinteligentes que leram quase tudo na internet. Eles são ótimos em adivinhar a próxima palavra em uma sentença, mas será que eles realmente entendem as regras arquitetônicas profundas da gramática? Eles podem ajudar os arquitetos humanos a construir essas plantas mais rápido, ou são apenas adivinhadores sofisticados que podem acidentalmente construir uma casa com uma porta no teto? Este artigo faz exatamente essa pergunta, usando duas línguas muito distintas: o cantonês (uma língua do sul da China com pouquíssimas terminações de palavras) e o irlandês (uma língua celta com muitas terminações de palavras e uma ordem de palavras diferente). Os pesquisadores queriam ver se uma IA poderia traduzir entre essas duas e desenhar os blueprints gramaticais corretos para elas, atuando como um assistente útil para especialistas humanos.

O Experimento: IA como Aprendiz de Gramática

Os pesquisadores realizaram um teste de condução com um modelo de IA específico (OpenAI's gpt-oss-120b) e deram a ele uma pilha de 50 sentenças. Essas sentenças eram como um "teste de habilitação" para a gramática, cobrindo desde afirmações simples até sentenças complexas com orações relativas e estruturas verbais complicadas. Eles pediram à IA para realizar duas tarefas principais:

1. Traduzir: Transformar uma sentença de cantonês para irlandês, ou vice-versa.
2. Desenhar o Blueprint: Criar um mapa gramatical formal (chamado de f-structure) que mostra as relações profundas entre as palavras, ignorando a ordem superficial.

Eles tentaram isso de diferentes maneiras: perguntando à IA em inglês, perguntando no idioma alvo e pedindo que ela fizesse a tradução e o desenho ao mesmo tempo.

Os Resultados: Um Mix de Brilhantismo e Confusão

As descobertas foram um pouco como observar um aprendiz talentoso, mas confuso. A IA mostrou que às vezes conseguia ver o quadro geral, mas frequentemente tropeçava nos detalhes.

O Problema da Tradução
Quando se tratava de tradução, a IA teve dificuldades imensas. Era como um estudante que conhece o vocabulário, mas vive confundindo os dialetos.

• A Confusção com o "Mandarim": Quando solicitada a falar cantonês, a IA frequentemente escorregava para o mandarim. Por exemplo, ela usou a palavra hǎo bàng (ótimo) em vez da correta em cantonês hóu lèk. É como pedir a alguém para falar com um sotaque escocês, e a pessoa acidentalmente usa gírias americanas.
• As Palavras "Inventadas": Ao traduzir para o irlandês, a IA não apenas cometia erros; ela inventava palavras. A palavra para "trator" (tarracóir) era às vezes transformada em "lona", "assaltante", "coelho" ou até "ladrão". Parecia que ela estava adivinhando com base em como a palavra soava ou no contexto em que estava, em vez de conhecer o significado real.
• A Taxa de Sucesso: Os números foram sóbrios. Quando solicitada a traduzir de irlandês para cantonês, apenas cerca de 22% a 24% das traduções eram precisas no significado e soavam naturais. De cantonês para irlandês, era ainda menor, com apenas 6% a 8% das traduções atingindo o alvo. Curiosamente, mudar a língua das instruções (o "prompt") não ajudou em nada; a IA teve um desempenho igualmente ruim, quer fosse perguntada em inglês ou na língua alvo.

O Desenho do Blueprint
Quando se tratava de desenhar os blueprints gramaticais (as f-structures), a IA saiu um pouco melhor, mas ainda tinha um longo caminho a percorrer.

• Inglês era Fácil: Em sentenças de inglês, a IA acertava (classificadas como "Excelente" ou "Boa") cerca de 46% das vezes.
• Cantonês era Ok: Para o cantonês, ela conseguiu uma análise estrutural correta cerca de 34% das vezes.
• Irlandês era Difícil: Para o irlandês, a taxa de sucesso caiu para apenas 20%. Os pesquisadores suspeitam que isso ocorre porque o irlandês possui terminações de palavras mais complexas e uma ordem de sentença diferente (Verbo-Sujeito-Objeto) com a qual a IA não estava tão familiarizada.
• O Desafio do Blueprint "Compartilhado": A tarefa mais difícil foi pedir à IA para encontrar a estrutura profunda compartilhada entre o cantonês e o irlandês. Aqui, a IA falhou majoritariamente, com 44% das tentativas de cantonês para irlandês e 38% das de irlandês para cantonês sendo classificadas como "Ruins". Ela teve dificuldade em abstrair as regras comuns enquanto ignorava as diferenças superficiais.

O Que a IA Errou (e o Que Acertou)

A IA não foi inteiramente inútil. Ela conseguiu capturar as relações básicas de "quem fez o quê" em cerca de 70% dos casos, mesmo que os detalhes fossem desordenados. Às vezes, ela sugeria formas alternativas interessantes de olhar para uma sentença, o que poderia despertar uma ideia para um linguista humano.

No entanto, os erros foram reveladores.

• Estereótipos: A IA assumiu que "fazendeiros" e "motoristas" eram sempre do sexo masculino, atribuindo-lhes tags de gênero masculino, embora nem o cantonês nem o irlandês exijam gênero para essas palavras. Ela estava contando com seu próprio "conhecimento de mundo" em vez das regras da língua.
• Conceitos Confusos: Ela frequentemente misturava diferentes tipos de estruturas de sentença, tratando uma oração relativa (como "o carro que eu comprei") como se fosse um objeto direto, mostrando que não compreendia totalmente as diferenças teóricas.
• Alucinações: A IA inventou palavras e significados, como traduzir "banhado no rio" como "afogou-se no rio", mudando completamente a história.

A Conclusão

O artigo conclui que, embora esses modelos de IA sejam ferramentas poderosas, eles não estão prontos para substituir especialistas humanos na construção de gramáticas complexas. Eles podem oferecer um "rascunho" ou uma pista de uma ideia, mas não podem ser confiados para acertar os detalhes. A IA é como um aluno muito rápido e muito confiante que leu muitos livros, mas não praticou o ofício o suficiente para construir uma casa sólida.

Os pesquisadores enfatizam que a expertise humana ainda é essencial. Os resultados da IA precisam de uma verificação e validação cuidadosa por pessoas que realmente entendam as línguas. O estudo sugere que, até que os modelos de IA sejam treinados com dados muito mais específicos e de alta qualidade para essas línguas "sub-representadas", eles continuarão sendo mais uma curiosidade do que um parceiro confiável no trabalho sério de engenharia de gramática. O sonho de um construtor de gramática totalmente automatizado ainda está longe, mas este experimento ajudou a mapear exatamente onde a tecnologia atual tropeça nos próprios cadarços.