\textit{Versteasch du mi?} Computational and Socio-Linguistic Perspectives on GenAI, LLMs, and Non-Standard Language

Título: Versteasch du mi? Perspectivas Computacionais e Sociolinguísticas sobre GenAI, LLMs e Linguagem Não Padrão

1. O Problema

O artigo identifica uma lacuna crítica na evolução das Grandes Modelos de Linguagem (LLMs) e da Inteligência Artificial Generativa (GenAI): o viés sistêmico contra variedades linguísticas não padronizadas (dialetos, patoas e línguas minoritárias).

• Desigualdade Digital: As tecnologias atuais privilegiam línguas de "alto recurso" e padronizadas (principalmente o inglês e línguas europeias), marginalizando milhões de falantes que utilizam variedades não padrão.
• Viés Epistemológico: Os LLMs não apenas refletem, mas exacerbam ideologias linguísticas coloniais e nacionalistas que tratam a língua como um sistema monolítico e padronizado, ignorando a variação como parte constitutiva da comunicação humana.
• Barreiras Técnicas e Econômicas: Falhas no processamento de dialetos resultam em exclusão da cidadania digital e impõem uma "taxa de tokenização" (tokenization tax), onde falantes de línguas sub-representadas pagam mais (em custos computacionais e financeiros) e obtêm resultados de menor qualidade.

2. Metodologia

O estudo adota uma abordagem interdisciplinar, combinando a Sociolinguística Crítica e a Linguística Computacional. A metodologia baseia-se em:

• Análise Teórica: Revisão crítica de como processos históricos de padronização linguística e políticas de estado influenciaram o desenvolvimento de tecnologias de IA.
• Estudos de Caso Comparativos: Investigação profunda de dois complexos de variedades não padrão:
  1. Dialetos do Tirol do Sul (Itália): Variantes do alemão amplamente usadas na comunicação informal, mas ausentes dos dados de treinamento de LLMs.
  2. Variedades do Curdo: Um continuum dialetal falado por mais de 40 milhões de pessoas, caracterizado por diversidade ortográfica e supressão política, onde variedades como Kurmanji e Sorani têm algum suporte, enquanto Sul-Curdo, Hawrami e Zazaki são quase invisíveis tecnologicamente.
• Avaliação Técnica: Análise de infraestrutura de NLP (codificação ISO, tokenização, complexidade morfológica) e revisão de benchmarks de avaliação existentes.

3. Contribuições Chave

A. Perspectiva Sociolinguística

• Crítica à "Scriptism" (Scriptismo): O artigo argumenta que a tecnologia de linguagem prioriza a escrita padronizada, tratando a fala e a variação oral como "ruído" ou dados inferiores, o que exclui práticas linguísticas majoritariamente orais.
• Política de Linguagem e IA: Demonstra como as decisões técnicas (como a escolha de dados de treinamento) são, na verdade, decisões políticas que reforçam hierarquias linguísticas e a hegemonia do inglês.

B. Perspectiva Computacional

• A "Taxa de Tokenização" (Tokenization Tax): Explica tecnicamente como algoritmos de Byte Pair Encoding (BPE) fragmentam palavras de línguas não padrão em muitos tokens pequenos e sem sentido, enquanto palavras em inglês são tokenizadas de forma eficiente. Isso aumenta o custo computacional (eletricidade, dinheiro por token) e reduz a janela de contexto efetiva para falantes de dialetos.
• Viés Morfológico e Ortográfico: LLMs são otimizados para línguas com baixa complexidade morfológica (como inglês). Línguas fusivas (como o Curdo) e dialetos com variação ortográfica não padronizada sofrem com a falta de subpalavras especializadas no vocabulário do modelo.
• Falha nos Benchmarks: Os atuais padrões de avaliação (ex: MMLU) são centrados no Ocidente e baseados em tradução, criando uma "armadilha de pivô de tradução" que não mede a capacidade real de raciocínio nativo ou cultural de modelos em línguas não padrão.

C. Análise de Casos Específicos

• Tirol do Sul: A ausência de um código ISO-639 específico para o dialeto local o torna "invisível" para ferramentas de NLP, mesmo que existam recursos para o grupo "Bávaro". Os modelos atuais tendem a forçar a conversão para o Alemão Padrão, ignorando a identidade linguística local.
• Curdo: A fragmentação política e a falta de apoio institucional resultam em uma disparidade massiva. Enquanto o Curdo Central (Sorani) e o Setentrional (Kurmanji) possuem alguns recursos, variedades como Hawrami e Laki estão completamente desprovidas de dados de treinamento, modelos pré-treinados e suporte de tradução.

4. Resultados e Evidências

• Invisibilidade de Dados: A maioria das variedades não padrão não possui códigos ISO, não aparece em benchmarks globais (como FLORES-200, SIB-200, Global MMLU) e é deliberadamente excluída de raspagens da web (web-scrapes) usadas para treinar LLMs.
• Degradação de Desempenho: Modelos que processam dialetos sofrem de maior latência, custos mais altos e alucinações frequentes, muitas vezes revertendo para a língua padrão (ex: Alemão Padrão ou Inglês) em vez de manter a variedade dialetal.
• Ciclo Vicioso: A falta de investimento estatal e corporativo em dados abertos cria um ciclo onde a baixa visibilidade digital impede o treinamento de modelos, o que por sua vez perpetua a marginalização tecnológica.

5. Significado e Implicações Políticas

O artigo conclui que resolver a marginalização de variedades não padrão não é apenas um problema técnico, mas fundamentalmente político.

• Soberania Digital: É necessário um reposicionamento para estratégias de aprendizado de máquina "democráticas e descoloniais".
• Recomendações de Política:
  1. Prestação de Contas das Big Techs: Implementar relatórios obrigatórios sobre a "lacuna dialetal" (dialect gap) e usar créditos de Responsabilidade Social Corporativa (RSC) para incentivar o suporte a variedades sub-representadas.
  2. Agência Linguística: Adotar o princípio "nada sobre nós sem nós", garantindo que as comunidades mantenham a soberania sobre seus dados e liderem a criação de terminologia tecnológica.
  3. Síntese Interdisciplinar: Colaboração entre engenheiros de NLP e sociolinguistas para criar benchmarks culturalmente relevantes e evitar a "padronização alucinada".
• Futuro: A escolha entre impor a padronização ou abraçar a variação definirá a vitalidade da diversidade linguística global nos espaços digitais. Sem intervenção política e técnica direcionada, a IA corre o risco de apagar permanentemente dialetos e línguas minoritárias.