Language Ideologies in a Multilingual Society: An LLM-based Analysis of Luxembourgish News Comments

1. Declaração do Problema

O artigo aborda o desafio de detectar automaticamente ideologias linguísticas—crenças compartilhadas sobre a língua que moldam identidades sociais, dinâmicas de poder e pertencimento—dentro de grandes corpora de texto. Especificamente, os autores focam no luxemburguês, uma língua germânica ocidental de baixos recursos falada em uma sociedade altamente multilíngue.

• O Desafio Central: As ideologias linguísticas são complexas, dependentes do contexto e frequentemente sutis. A anotação manual tradicional é demorada e difícil de escalar.
• A Barreira dos Baixos Recursos: O luxemburguês está sub-representado nos dados de treinamento de Modelos de Linguagem de Grande Escala (LLMs). Não está claro se os LLMs podem realizar efetivamente tarefas sociolinguísticas de granularidade fina em tais línguas ou se a tradução automática para línguas de altos recursos (inglês, francês, alemão) é necessária para melhorar o desempenho.
• Perguntas de Pesquisa:
  1. Os LLMs atuais podem realizar classificação de ideologias linguísticas multiclasse?
  2. A tradução de dados de baixos recursos para línguas de altos recursos melhora a precisão da classificação?
  3. Os LLMs podem contribuir para a pesquisa sociolinguística sem adaptações técnicas pesadas?

2. Metodologia

Coleta e Anotação de Dados

• Corpus: 300 comentários de usuários da emissora nacional luxemburguesa (RTL.lu), divididos em dois subconjuntos:
  • Lang (150 comentários): Selecionados via correspondência de palavras-chave relacionadas ao uso da língua (ex: "nossa língua", "língua materna").
  • NotLang (150 comentários): Selecionados para não ter relação com o uso da língua, a fim de impedir que os modelos dependam de pistas lexicais superficiais.
• Pré-processamento: Os comentários foram divididos em sentenças usando GPT (para lidar com pontuação e emojis irregulares de redes sociais) e corrigidos manualmente. Nenhuma normalização lexical foi aplicada para preservar variações ortográficas que poderiam sinalizar ideologia.
• Anotação Padrão Ouro: Dois linguistas especialistas anotaram 1.524 sentenças no nível da sentença usando seis categorias:
  1. Identidade: Declarações sobre identidade nacional/pessoal ligadas à língua.
  2. Vitalidade: Declarações sobre perigo de extinção, decadência ou preservação da língua.
  3. Pertencimento: Declarações sobre requisitos para integração na sociedade.
  4. Responsabilidade: Declarações atribuindo culpa ou dever pela situação linguística.
  5. Reconhecimento: Declarações sobre status da língua, política e hierarquia.
  6. Nenhuma: Nenhuma ideologia presente.
• Acordo entre Anotadores: O Kappa de Cohen foi de 0,66 (acordo bruto de 0,78).

Configuração Experimental

• Modelos Avaliados: Uma mistura de modelos de ponta e de pesos abertos, incluindo GPT-4o, GPT-4o-mini, o3, GPT-5, DeepSeek-V3, Qwen3, Mistral Magistral, Aya Expanse e Llama 4.
• Engenharia de Prompt: Quatro configurações de prompt foram testadas, variando de listas simples de rótulos a prompts complexos contendo:
  • Definições detalhadas das categorias.
  • Exemplos positivos e negativos (few-shot).
  • Instruções para saída em JSON com justificativas.
  • Resultado: O Prompt 4 (definições + exemplos + instruções) produziu o melhor desempenho.
• Transferência Cross-Lingual (Translate-Test): Para abordar a natureza de baixos recursos do luxemburguês, o conjunto de dados foi traduzido automaticamente para inglês, francês e alemão usando o Google Translate.
  • Controle de Qualidade: Dois conjuntos de tradução foram criados: Automático (bruto) e Pós-Editado (corrigido manualmente para menções de país/língua e ortografia).
• Métricas de Avaliação: F1 ponderado, F1 macro e pontuações F1 por rótulo.

3. Principais Resultados

Impacto da Engenharia de Prompt

• Fornecer definições detalhadas e exemplos (Prompt 4) melhorou significativamente o desempenho em comparação com prompts simples.
• As pontuações F1 melhoraram de ~0,43 (Prompt 1) para ~0,56 (Prompt 4) para o GPT-4o.
• O GPT-5 superou consistentemente todos os outros modelos em todas as línguas e configurações.

Descobertas sobre Transferência Cross-Lingual

• Sem Ganho Significativo com Tradução: Contrariando a hipótese de que traduzir para línguas de altos recursos impulsionaria o desempenho, as traduções não levaram a melhorias substanciais.
  • Em alguns casos (ex: DeepSeek), o texto original em luxemburguês performou melhor do que as traduções.
  • Não houve diferença significativa entre traduções Automáticas e Pós-Editadas.
• Raciocínio: Os autores sugerem que, embora os modelos generalizem a partir de representações multilíngues compartilhadas, as nuances socioculturais e os marcadores ideológicos específicos do luxemburguês são frequentemente perdidos ou distorcidos durante a tradução, anulando os benefícios da melhor "compreensão" do modelo da língua alvo.

Desempenho da Classificação de Granularidade Fina

• Binária vs. Multiclasse: Os LLMs performaram bem na distinção entre conteúdo ideológico e conteúdo não ideológico (o rótulo "Nenhuma" alcançou pontuações F1 de ~0,9).
• Confusão de Categorias: A classificação de granularidade fina entre as cinco ideologias específicas foi desafiadora.
  • Superprevisão: Os modelos confundiram frequentemente Vitalidade, Identidade e Pertencimento.
  • Subdetecção: Responsabilidade e Reconhecimento foram frequentemente subdetectados.
  • Confusões Específicas:
    • Identidade vs. Pertencimento: Os modelos lutaram para distinguir entre autodeterminação nacional (Identidade) e requisitos de exclusão/integração social (Pertencimento).
    • Vitalidade vs. Reconhecimento: Chamados para preservar a língua foram frequentemente rotulados erroneamente como reconhecimento de status em vez de preocupações com vitalidade.
• Explicações do Modelo: As justificativas geradas pelos modelos revelaram que eles frequentemente dependiam de pistas superficiais (ex: pronomes de primeira pessoa como "we/mir") em vez de uma compreensão semântica profunda da posição ideológica.

4. Principais Contribuições

1. Avaliação de LLMs na Detecção de Ideologias de Baixos Recursos: O estudo fornece evidências empíricas de que, embora os LLMs sejam eficazes na detecção da presença de ideologia linguística em línguas de baixos recursos, eles lutam com a categorização de granularidade fina sem expertise humana.
2. Análise do Paradigma de Tradução: Desafia a suposição padrão de "translate-test" em PLN de baixos recursos para tarefas sociolinguísticas, demonstrando que a tradução pode degradar o desempenho ao remover marcadores ideológicos culturalmente específicos.
3. Engenharia de Prompt para Sociolinguística: O artigo demonstra que fornecer definições detalhadas e exemplos (aprendizado few-shot) é crucial, mas mesmo com isso, os LLMs exigem orientação de especialistas para resolver sobreposições de categorias.
4. Conjunto de Dados e Esquema de Anotação: A criação de um corpus anotado manualmente de comentários luxemburgueses com um quadro ideológico específico de cinco categorias serve como benchmark para futuras pesquisas em sociolinguística computacional.

5. Significância e Limitações

• Significância: A pesquisa valida o uso de LLMs como uma ferramenta de pré-filtragem para sociolinguistas. Eles podem identificar eficientemente textos contendo ideologias linguísticas (classificação binária) para reduzir a carga de trabalho manual, mas ainda não podem substituir especialistas humanos para análises ideológicas nuances.
• Limitações:
  • Escassez de Dados: O pequeno conjunto de dados (300 comentários) impediu o ajuste fino (fine-tuning) dos modelos, confiando exclusivamente no aprendizado em contexto (in-context learning).
  • Sobreposição de Categorias: As categorias ideológicas são inerentemente vagas e se sobrepõem no discurso humano, tornando-as difíceis de desvendar pelos modelos sem treinamento mais sofisticado.
  • Sensibilidade ao Prompt: O estudo notou que pequenos erros gramaticais no prompt (ex: formas incorretas de pronomes) poderiam levar a erros de rotulagem sistemáticos.
• Trabalho Futuro: Os autores sugerem avançar em direção a abordagens de métodos mistos, onde os LLMs lidam com a análise inicial em massa e especialistas humanos refinam os resultados. Eles também propõem simplificar o esquema de anotação ou coletar mais dados para ajuste fino a fim de melhorar o desempenho.

Em conclusão, o artigo argumenta que, embora os LLMs sejam ferramentas poderosas para escalar a pesquisa sociolinguística, eles atualmente carecem da compreensão cultural e contextual profunda necessária para automatizar totalmente a detecção de ideologias linguísticas complexas em configurações de baixos recursos e multilíngues.