Meenz bleibt Meenz, but Large Language Models Do Not Speak Its Dialect

Este trabalho apresenta o primeiro estudo de processamento de linguagem natural focado no dialeto Meenzerisch, introduzindo um dicionário digital e demonstrando que os atuais modelos de linguagem de grande escala têm desempenho muito limitado na geração e compreensão desse dialeto alemão, o que evidencia a necessidade urgente de mais recursos e pesquisas para sua preservação.

O essencial

O Título da História: "Meenz continua Meenz, mas os Robôs não falam a língua deles"

Imagine que você tem um dicionário mágico de uma cidade antiga chamada Mainz (na Alemanha). Lá, as pessoas falam um jeito especial de falar, cheio de gírias, sotaques e palavras que só os vizinhos entendem. Esse jeito de falar é chamado de Meenzerisch. É como se fosse o "código secreto" da festa de carnaval da cidade, uma tradição que dura séculos.

O problema é que esse "código" está morrendo. As crianças estão aprendendo apenas o alemão padrão (o "alemão de livro"), e as palavras antigas estão sendo esquecidas.

Os cientistas de computador (especialistas em Inteligência Artificial) pensaram: *"E se usarmos nossos super-robôs, os Modelos de Linguagem Grandes (LLMs), para salvar essa língua? Eles são inteligentes, leem tudo na internet, devem conseguir entender e falar esse sotaque, certo?"*

Foi aí que eles fizeram o experimento descrito neste papel. E a resposta foi um grande "Não".

---

1. O Que Eles Fizeram? (A Construção do Dicionário Digital)

Antes de testar os robôs, eles precisavam de um "manual de instruções". Como não existia um dicionário digital do Meenzerisch, eles tiveram que criar um do zero.

• O Passo a Passo: Eles pegaram um livro físico antigo de 1966, tiraram fotos das páginas, usaram um scanner para transformar a imagem em texto (como um leitor de código de barras para palavras) e depois corrigiram os erros manualmente.
• O Resultado: Criaram uma lista com 2.351 palavras do dialeto, cada uma com sua explicação em alemão padrão. É como se tivessem traduzido o "código secreto" para uma língua que os robôs conhecem bem.

2. O Grande Teste (Os Robôs Tentam Decifrar o Código)

Eles pegaram os maiores e mais inteligentes robôs de IA do mundo (como o Llama, o GPT, o Qwen) e deram dois desafios:

• Desafio 1 (O Tradutor): "Aqui está uma palavra em Meenzerisch. O que ela significa em alemão padrão?"
  • Exemplo: O robô vê "Schimmes" e precisa dizer "Fome".
• Desafio 2 (O Criador): "Aqui está uma definição em alemão padrão. Qual é a palavra em Meenzerisch?"
  • Exemplo: O robô lê "Fome" e precisa escrever "Schimmes".

3. O Resultado: Um Desastre Cômico (e Triste)

Os resultados foram chocantes. Pense em um aluno que tira 6 pontos em uma prova de 100. É isso que aconteceu.

• No Desafio 1 (Significado): O melhor robô acertou apenas 6,27% das vezes. A média geral foi de 4,24%. Isso significa que, se você perguntasse a 100 robôs o significado de uma palavra, 96 deles dariam a resposta errada ou inventariam algo sem sentido.
• No Desafio 2 (Criar a Palavra): Foi ainda pior. A média de acerto foi de 0,56%. Basicamente, os robôs estavam chutando. O melhor deles acertou apenas 1,51% das vezes.

A Analogia do Estrangeiro:
Imagine que você está em um restaurante no Japão e pede "sushi" em inglês. O garçom (o robô), que é um gênio em inglês, francês e espanhol, olha para você e diz: "Ah, você quer dizer 'pizza'?" ou "Você quer dizer 'sopa'?". Ele sabe o que é comida, mas não entende a cultura específica do Japão. É exatamente isso que aconteceu com o Meenzerisch. Os robôs são ótimos no "alemão padrão", mas quando chegam no "sotaque local", eles ficam perdidos.

4. Eles Tentaram Ajudar os Robôs (O "Macete")

Os cientistas não desistiram. Eles pensaram: "Talvez eles precisem de uma dica?".

• Tentativa 1 (Few-Shot Learning): Eles deram exemplos para os robôs antes do teste. "Olha, 'Aaweiderworschd' significa 'pepino em conserva'. Agora tente essa outra...".
  • Resultado: A pontuação subiu um pouquinho (para cerca de 9%), mas ainda era muito baixa.
• Tentativa 2 (Regras de Ouro): Eles pediram para um robô inteligente criar uma lista de regras de como o dialeto funciona (ex: "se a palavra termina em 'ele', troque por 'en'"). Eles entregaram essa lista de regras para os outros robôs usarem.
  • Resultado: Novamente, uma pequena melhora, mas nada que salvasse o dia.

5. A Lição Final

O que este estudo nos ensina?

1. A IA não é onisciente: Mesmo os robôs mais inteligentes do mundo hoje não entendem línguas pequenas, dialetos ou culturas locais que não estão bem representadas na internet. Eles são como turistas que só conhecem as grandes cidades; quando chegam na aldeia, não sabem o que fazer.
2. Precisamos de mais dados: Para salvar línguas como o Meenzerisch, não basta ter um robô inteligente. Precisamos "alimentar" esses robôs com muitos mais dados, dicionários e exemplos desse dialeto específico.
3. Cultura é importante: Se não fizermos isso, corremos o risco de perder partes da nossa história e identidade. A tecnologia pode ajudar a preservar, mas ela precisa ser ensinada primeiro.

Em resumo: Os robôs são como super-heróis que têm força e velocidade, mas esqueceram de estudar a língua local. Eles tentaram salvar o dialeto de Mainz, mas falharam miseravelmente. Agora, cabe aos humanos (e aos cientistas) ensinar a eles, antes que o dialeto desapareça para sempre.

Resumo técnico

Título: Meenz permanece Meenz, mas os Modelos de Linguagem de Grande Escala (LLMs) não falam seu dialeto

1. Problema e Motivação

O artigo aborda o risco de extinção do Meenzerisch, o dialeto falado na cidade de Mainz, na Alemanha, e sua importância cultural (especialmente no Carnaval de Mainz). Apesar da relevância cultural, o dialeto sofre com a padronização linguística e a discriminação, levando a uma diminuição no número de falantes nativos.

O problema central identificado é a falta de recursos digitais para processamento de linguagem natural (NLP) voltados para este dialeto. Embora os LLMs tenham potencial para ajudar na preservação de línguas minoritárias, estudos anteriores mostram que eles performam mal em dialetos alemães devido à escassez de dados textuais. Até o momento, não existia nenhuma pesquisa de NLP focada especificamente no Meenzerisch, criando uma lacuna crítica na capacidade das tecnologias de linguagem de compreender ou gerar este dialeto.

2. Metodologia

A pesquisa foi conduzida em três etapas principais:

A. Criação do Dataset (Dicionário Digital)
Os autores criaram o primeiro conjunto de dados estruturado para o Meenzerisch, derivado da digitalização semi-automática do livro físico "Mainzer Wörterbuch" (Schramm, 1966). O processo de pipeline (Figura 1 do artigo) envolveu:

1. Digitalização: Escaneamento das páginas do livro.
2. OCR: Extração de texto automatizada.
3. Correção Manual: Inserção de quebras de linha e correção de erros de OCR (aprox. 4 horas de trabalho).
4. Extração de Palavras: Script baseado em regras para isolar os termos do dialeto.
5. Extração de Definições: Uso de LLMs (GPT-OSS 120B e Llama-3.3 70B) para extrair e limpar as definições em Alemão Padrão (Hochdeutsch), removendo exemplos e informações extras.

• Estatísticas do Dataset: 2.351 pares válidos (palavra-dialeto $\leftrightarrow$ definição-alemão).
• Divisão: 250 para treino, 250 para desenvolvimento e 1.851 para teste.

B. Experimentos de Avaliação
Os autores avaliaram uma diversidade de LLMs de código aberto (variação de tamanho de 4B a 120B, incluindo Llama, Qwen, Gemma, Phi e modelos específicos para alemão como Leo-HessianAI) em duas tarefas:

1. Geração de Definições (Experimento 1): Dada uma palavra em Meenzerisch, o modelo deve gerar a definição em Alemão Padrão.
2. Geração de Palavras (Experimento 2): Dada uma definição em Alemão Padrão, o modelo deve gerar a palavra correspondente em Meenzerisch.

C. Avaliação e Baselines

• Métrica: Precisão (Accuracy).
• Avaliação Automática: Uso de um LLM como juiz (LLM-as-a-Judge) para comparar semântica entre a definição gerada e a de referência.
• Validação Humana: Verificação manual de subamostras para garantir a confiabilidade do avaliador automático.
• Comparação: Os modelos foram testados também em inglês para estabelecer uma linha de base de capacidade.

D. Experimentos Adicionais
Para tentar melhorar os resultados, foram testadas duas técnicas de prompting:

• Few-Shot Learning: Fornecimento de exemplos no contexto (com seleção aleatória e baseada em distância de edição).
• Extração de Regras Automática: Uso de um modelo (DeepSeek-R1) para extrair regras de mapeamento fonológico/morfológico do conjunto de treino e injetá-las no prompt do modelo principal.

3. Principais Contribuições

1. Primeiro Dataset de Meenzerisch: Introdução de um recurso digital contendo 2.351 palavras do dialeto de Mainz com suas definições em Alemão Padrão.
2. Avaliação de Compreensão: Primeiro estudo a investigar a capacidade de LLMs de compreender palavras do dialeto de Mainz, revelando falhas significativas.
3. Avaliação de Geração: Primeiro estudo a testar a capacidade de LLMs de gerar corretamente palavras em Meenzerisch, demonstrando que os modelos atuais falham em produzir formas dialetais corretas.
4. Análise de Viés e Limitações: Discussão sobre como a falta de recursos digitais contribui para a marginalização de dialetos e a necessidade de abordagens que não dependam apenas de aumento de poder computacional.

4. Resultados

Os resultados foram extremamente baixos, indicando que os LLMs atuais não conseguem lidar com este dialeto:

• Geração de Definições (Exp. 1):

  • Precisão média de todos os modelos: 4,24%.
  • Melhor modelo (Llama-3.3 70B): 6,27%.
  • Comparação: Em inglês, a precisão média foi de 86,89%, provando que os modelos funcionam bem, mas não capturam o significado do dialeto.

• Geração de Palavras (Exp. 2):

  • Precisão média: 0,56%.
  • Melhor modelo (GPT-OSS 120B): 1,51%.
  • A maioria dos modelos ficou abaixo de 1%.

• Impacto das Técnicas Adicionais:

  • Few-Shot Learning: Melhorou ligeiramente a geração de definições (até 9,24% com seleção baseada em distância de edição), mas não foi estatisticamente significativo para a geração de palavras.
  • Regras Extraídas: A injeção de regras melhorou a geração de definições para 8,37%, mas a precisão geral permaneceu abaixo de 10%.

5. Significado e Conclusão

O estudo conclui que, apesar dos avanços dos LLMs, eles são incapazes de compreender ou gerar o dialeto Meenzerisch com precisão aceitável. As técnicas de prompting (few-shot e regras) oferecem melhorias marginais, mas não resolvem o problema fundamental: a falta de dados de treinamento e a baixa representação cultural nos conjuntos de dados de pré-treinamento.

Implicações:

• Necessidade de Recursos: Há uma necessidade urgente de criar mais recursos linguísticos digitais para dialetos alemães e línguas de baixo recurso.
• Justiça Linguística: A dependência de grandes modelos sem dados específicos para dialetos perpetua a exclusão de falantes nativos e a erosão cultural.
• Futuro da Pesquisa: O trabalho sugere que o foco deve mudar de apenas aumentar o poder computacional para a criação intencional de dados e o ajuste fino (fine-tuning) específico para comunidades linguísticas sub-representadas.

Em suma, o artigo demonstra que, sem intervenção humana direta na criação de dados e treinamento, a tecnologia atual não consegue salvar ou revitalizar dialetos como o Meenzerisch.