Far Out: Evaluating Language Models on Slang in Australian and Indian English

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) demonstram lacunas sistemáticas de desempenho ao processar variedades não padrão da língua inglesa. Embora existam estudos sobre inglês padrão americano ou britânico, a capacidade dos modelos de compreender gírias específicas de variedades linguísticas (como o Inglês Indiano - en-IN e o Inglês Australiano - en-AU) permanece subexplorada.

O artigo destaca que a gíria é dinâmica, específica de comunidades e culturalmente embutida. A pesquisa questiona: "Quão bem os modelos de linguagem entendem variações lexicais em variedades linguísticas no que diz respeito a expressões coloquiais ou gírias?". O foco é avaliar se os LLMs conseguem capturar nuances culturais e pragmáticas que diferenciam, por exemplo, o uso de "Prepone" (Indo) e "Far Out" (Australiano).

2. Metodologia

Criação de Dados (Datasets)

Os autores construíram dois conjuntos de dados complementares para avaliar os modelos:

• WEB: Contém 377 exemplos de uso extraídos do Urban Dictionary e Wiktionary, curados manualmente por falantes nativos. Representa o uso autêntico, porém com variabilidade de fluência linguística.
• GEN: Contém 1.492 exemplos de uso sinteticamente gerados. Utilizando o Google Gemini Pro 2.5, foram criados cenários diversos (com personagens e contextos específicos) para motivar o uso de cada gíria, garantindo diversidade semântica e lexical.

Tarefas de Avaliação

Foram definidas três tarefas para testar a compreensão dos modelos:

1. Previsão de Palavra-Alvo (TWP): O modelo deve preencher um espaço em branco em uma frase com a gíria correta, gerando qualquer palavra do seu vocabulário (tarefa de vocabulário aberto).
2. Previsão de Palavra-Alvo Guiada (TWP):* Uma variante da TWP onde o prompt instrui explicitamente o modelo a gerar uma gíria adequada à variedade linguística específica.
3. Seleção de Palavra-Alvo (TWS): Uma tarefa de múltipla escolha onde o modelo deve selecionar a gíria correta entre quatro opções (a correta + 3 distratores da mesma variedade).

Modelos Avaliados

O estudo testou sete modelos de última geração (encoder e decoder), variando de 110M a 8B parâmetros:

• Encoders: BERT-Base, RoBERTa-Large, XLM-RoBERTa-Large.
• Decoders: Granite-4.0-1B, Llama-3.2-3B-Instruct, Olmo-2-7B-Instruct, Qwen3-4b-Instruct.

As métricas utilizadas foram Acurácia (correspondência exata) e Similaridade (similaridade cosseno entre embeddings do modelo e a referência).

3. Contribuições Principais

1. Estudo Pioneiro: Primeiro trabalho avaliativo a utilizar previsão e seleção de palavras para testar a compreensão de gírias em variedades específicas do inglês (Indiano e Australiano).
2. Novos Datasets: Introdução dos datasets WEB e GEN, cobrindo 377 frases de gírias únicas com cenários diversificados.
3. Análise Sistemática: Avaliação detalhada de 7 modelos, revelando assimetrias fundamentais entre competências generativas e discriminativas no contexto de gírias.

4. Resultados Chave

Desempenho Geral e Assimetria

• Geração vs. Seleção: Existe uma grande discrepância entre a capacidade de gerar e a de reconhecer gírias.
  • TWP (Geração): Desempenho muito baixo (Acurácia média de 0,02 a 0,04). Os modelos falham em gerar a gíria correta espontaneamente.
  • TWS (Seleção): Desempenho significativamente superior (Acurácia média de 0,49). Os modelos conseguem discriminar a gíria correta quando o espaço de busca é restrito.
• Conclusão: Os modelos possuem uma "competência discriminativa" muito maior do que "competência generativa" para gírias de variedades específicas.

Impacto do Domínio e Variedade

• Domínio (WEB vs. GEN): Os modelos performaram melhor nos dados reais (WEB) do que nos dados sintéticos (GEN), sugerindo possível contaminação de dados (os modelos podem ter visto exemplos do Urban Dictionary no treinamento). A queda de desempenho em dados gerados indica que os cenários sintéticos são mais desafiadores.
• Variedade (en-IN vs. en-AU): Os modelos performaram consistentemente melhor no Inglês Indiano (en-IN) do que no Inglês Australiano (en-AU).
  • Na tarefa TWS, a acurácia subiu de 0,44 (AU) para 0,54 (IN).
  • Isso sugere que os dados de treinamento dos modelos têm maior representação ou sobreposição estilística com o inglês indiano.

Análise de Erros

A análise qualitativa dos piores casos (modelo OLMO) revelou cinco categorias de erro:

1. Literalização: O modelo substitui a gíria por seu significado literal (ex: substituir "maggot bag" por "pie").
2. Substituição Genérica: Uso de termos padrão que mantêm o tom, mas perdem a especificidade regional (ex: usar "behemoth" em vez de "absolute unit").
3. Deriva Semântica: O modelo permanece no campo semântico correto, mas altera o significado pretendido.
4. Má Interpretação Contextual: Falha em interpretar pistas discursivas, alterando a força pragmática da frase.
5. Falha Verdadeira: Saídas incoerentes ou gramaticalmente incorretas.

A maioria dos erros não é de falha semântica completa, mas sim da incapacidade de recuperar a expressão idiomática regionalmente apropriada.

5. Significado e Implicações

• Limitações Atuais: Mesmo modelos de última geração têm "pontos cegos" significativos na compreensão de gírias, especialmente em variedades não padrão. A habilidade de reconhecer gírias não se traduz em habilidade de gerá-las.
• Viés e Diversidade: Os resultados destacam a necessidade de dados de treinamento mais inclusivos que vão além do inglês padrão americano/britânico. A sub-representação de variedades como o inglês australiano pode levar a viés e redução de utilidade em aplicações NLP para falantes dessas regiões.
• Futuro da Pesquisa: O trabalho sugere que benchmarks futuros devem focar em tarefas de seleção (múltipla escolha) para avaliar o reconhecimento cultural, mas também devem desenvolver métodos para melhorar a geração de linguagem informal e específica de variedades, possivelmente através de aprendizado contínuo e objetivos de treinamento conscientes da variedade linguística.

Em suma, o artigo demonstra que, embora os LLMs sejam tecnicamente avançados, eles ainda lutam para capturar a riqueza cultural e dinâmica das gírias em variedades específicas do inglês, revelando uma lacuna crítica entre a compreensão estatística e a competência sociolinguística real.