Automated stance detection in complex topics and small languages: the challenging case of immigration in polarizing news media

Este artigo investiga a eficácia de modelos de linguagem grandes, incluindo o ChatGPT em configuração zero-shot e modelos supervisionados, para a detecção automática de postura sobre imigração em notícias polarizadas em estoniano, uma língua de recursos limitados, demonstrando que essas abordagens oferecem uma alternativa viável e econômica para análise de mídia e monitoramento de tendências diacrônicas.

O essencial

Imagine que você tem uma biblioteca gigante cheia de jornais de dois tipos muito diferentes: um é um jornal tradicional e equilibrado (como o "Ekspress Grupp"), e o outro é um jornal de opinião mais radical e focado em um grupo específico (o "Uued Uudised"). Agora, imagine que você quer saber, apenas lendo as manchetes e frases, se cada jornal está a favor ou contra a imigração.

Fazer isso manualmente seria como tentar contar gotas de chuva em uma tempestade: impossível e demorado. É aqui que entra a ciência da computação e a inteligência artificial (IA).

Este artigo é como um "manual de instruções" para ensinar computadores a lerem e entenderem o sentimento político em textos, mesmo quando a língua é difícil (o estoniano) e o assunto é polêmico.

Aqui está a explicação, passo a passo, usando analogias do dia a dia:

1. O Problema: Ler entre linhas em uma língua difícil

O Estoniano é uma língua complexa (com muitas variações de palavras, como um camaleão que muda de cor dependendo da frase). Além disso, o tema "imigração" é cheio de armadilhas. Às vezes, uma frase parece neutra, mas esconde um sarcasmo. Às vezes, alguém critica um racista, mas a frase pode ser interpretada de várias formas.

Os pesquisadores queriam saber: Será que uma IA consegue entender essas nuances em uma língua pequena, sem precisar de milhões de exemplos pré-aprendidos?

2. A Solução: Dois Métodos de Ensino

Para ensinar o computador, eles usaram duas abordagens diferentes, como se fossem dois métodos de estudo:

• Método 1: O "Estudante com Caderno" (Aprendizado Supervisionado)
  Eles pegaram 8.000 frases, leram cada uma e disseram ao computador: "Esta frase é contra, esta é a favor, esta é neutra". Foi como dar um caderno de exercícios com as respostas certas. O computador (um modelo chamado Est-RoBERTa) estudou esse caderno, tentou adivinhar as respostas e, quando errava, corrigia.

  • Resultado: Funcionou muito bem! O computador aprendeu a identificar o tom político com uma precisão de cerca de 66%.

• Método 2: O "Consultor Mágico" (ChatGPT / Zero-Shot)
  Em vez de dar um caderno de exercícios, eles simplesmente perguntaram ao ChatGPT: "Olhe para esta frase e me diga se é a favor ou contra a imigração". Eles não deram exemplos prévios, apenas instruções claras. É como pedir para um amigo inteligente ler um texto e dar sua opinião sem ter estudado o assunto antes.

  • Resultado: Surpreendentemente, o ChatGPT funcionou quase tão bem quanto o "estudante com caderno" (precisão de 65%), mas sem precisar de todo aquele trabalho de anotação manual.

3. O Que Eles Descobriram (A "História" dos Jornais)

Depois de treinar o melhor computador, eles o deixaram ler toda a coleção de jornais de 2015 a 2022. Foi como colocar um detector de mentiras em uma conversa de 7 anos. O que eles viram?

• O Espelho Dividido: O jornal radical ("Uued Uudised") quase sempre falava contra a imigração. O jornal tradicional ("Ekspress") era majoritariamente neutro.
• O Efeito das Notícias do Mundo: A IA mostrou como os eventos mudaram a conversa:
  • 2015-2016 (Crise de Migrantes): Ambos os jornais falaram muito sobre o tema, mas o jornal radical ficou ainda mais hostil.
  • 2018-2019 (Eleições e Pacto da ONU): O tom ficou mais tenso e polarizado antes das eleições.
  • 2022 (Guerra na Ucrânia): Aqui houve uma mudança curiosa. O jornal tradicional ficou muito mais solidário com os refugiados ucranianos. O jornal radical também mudou um pouco, mas manteve um tom mais cético, mostrando que, mesmo em uma crise humanitária, a ideologia política ainda filtra a notícia.

4. As Armadilhas (Onde a IA se Confunde)

A IA não é perfeita. Ela se confunde em situações como:

• Sarcasmo: Se alguém diz "Ótima ideia, vamos trazer mais caos", a IA pode achar que é uma ideia boa, a menos que entenda o contexto.
• Terceira Pessoa: Se o texto diz "O político X disse que odeia imigrantes", a IA às vezes acha que o texto odeia imigrantes, quando na verdade está apenas relatando o que o político disse.
• Metáforas: Frases poéticas ou complexas podem confundir o algoritmo.

5. A Conclusão Principal

O estudo nos diz duas coisas importantes:

1. Tecnologia Acessível: Mesmo em línguas pequenas e difíceis, podemos usar IA para monitorar o que a mídia está dizendo, sem precisar de equipes gigantescas de humanos lendo tudo.
2. O Futuro é o Chat: O ChatGPT (e modelos similares) pode ser uma ferramenta barata e rápida para fazer esse trabalho, dispensando a necessidade de criar grandes bancos de dados de exemplos manualmente. É como ter um assistente que você pode "ensinar" na hora, sem precisar de anos de treinamento.

Em resumo: Os pesquisadores criaram um "radar" digital que consegue ouvir a conversa da mídia estoniana sobre imigração, mostrando como o tom muda conforme o mundo muda, e provaram que hoje temos ferramentas inteligentes e acessíveis para fazer essa análise em qualquer lugar, mesmo onde os recursos são escassos.

Resumo técnico

Título: Detecção Automática de Postura em Temas Complexos e Línguas de Baixo Recurso: O Caso Desafiador da Imigração em Mídia Polarizada

1. Problema e Contexto

O artigo aborda a dificuldade de realizar detecção automática de postura (stance detection) em línguas de baixo recurso (com poucos dados de treinamento e ferramentas de PLN) e em tópicos sociopoliticamente complexos e polarizados, especificamente a imigração.

• Desafio Principal: A maioria dos métodos de aprendizado de máquina supervisionado requer conjuntos de dados anotados manualmente, que são escassos para línguas menores (como o estoniano) e para nuances políticas específicas.
• Objetivo: Avaliar a viabilidade e a precisão de modelos de Linguagem de Grande Escala (LLMs) pré-treinados e de abordagens zero-shot (como o ChatGPT) para classificar a postura (a favor, contra ou neutra) em textos jornalísticos estonianos sobre imigração.
• Corpo de Dados: O estudo compara dois meios de comunicação com visões opostas: um grupo de mídia mainstream (Ekspress Grupp, incluindo o portal Delfi) e um portal de notícias populista de direita radical (Uued Uudised).

2. Metodologia

A. Coleta e Pré-processamento de Dados

• Corpus: Artigos publicados entre 2015 e abril de 2022.
  • Ekspress Grupp: ~245.000 artigos.
  • Uued Uudised: ~21.600 artigos.
• Unidade de Análise: Frases (sentenças), escolhidas para evitar ambiguidades de postura dentro de parágrafos longos e devido às limitações de tokens dos modelos BERT.
• Extração: Uso de expressões regulares (regex) e um dicionário de palavras-chave para filtrar frases relacionadas à imigração (ex: migrantes, refugiados, trabalho estrangeiro, xenofobia, multiculturalismo), excluindo temas não relacionados (ex: migração de aves).

B. Anotação e Dataset de Treinamento

• Anotação Manual: Duas estudantes de pós-graduação falantes de estoniano anotaram 8.000 frases.
• Esquema de Classificação: Escala de 1 a 5, posteriormente agrupada em quatro classes:
  1. Contra (Against): 1-2
  2. Neutro (Neutral): 3
  3. Apoio (Supportive): 4-5
  4. Ambíguo: Excluído do treinamento final.
• Dataset Final: 7.345 frases anotadas (publicadas como recurso aberto).
• Concordância: Coeficiente Kappa de Cohen substancial entre anotadores (0,66–0,69), com concordância muito forte entre as classes extremas (A favor vs. Contra).

C. Modelos e Abordagens de Classificação

Os autores compararam várias abordagens:

1. Aprendizado Supervisionado (Fine-tuning): Ajuste fino de modelos pré-treinados no dataset anotado:
   • Multilíngues: mBERT, XLM-RoBERTa.
   • Específicos para Estoniano: EstBERT, Est-RoBERTa.
   • Linha de Base: Naive Bayes.
2. Classificação Zero-Shot (Prompt-based): Uso do ChatGPT (GPT-3.5) com instruções em linguagem natural para classificar frases sem treinamento específico (fine-tuning).
3. Comparação com Análise de Sentimento: Uso de um dataset existente de análise de sentimento em estoniano para treinar um classificador, a fim de demonstrar que sentimento (positivo/negativo) não equivale a postura (a favor/contra imigração).

3. Resultados Principais

Desempenho dos Modelos

• Melhor Modelo Supervisionado: O Est-RoBERTa obteve o melhor desempenho, com uma pontuação F1 Macro de 0,66 (Precisão: 0,65; Recall: 0,68).
• ChatGPT (Zero-Shot): O ChatGPT alcançou um desempenho comparável, com F1 Macro de 0,65, demonstrando que a abordagem zero-shot é viável e mais barata para línguas de baixo recurso.
• Dificuldades Específicas:
  • Todos os modelos tiveram melhor desempenho na classificação de posturas "Contra" (F1 ~0,74) do que "Apoio" (F1 ~0,55).
  • A principal confusão ocorreu entre as classes "Neutro" e as extremas, e não entre "A favor" e "Contra".
  • O modelo treinado apenas com dados de análise de sentimento teve desempenho inferior (F1 0,49), confirmando que a tarefa de postura é mais complexa e dependente do contexto do que a análise de polaridade simples.

Análise de Erros

Os erros de classificação foram atribuídos a:

• Anotações humanas ambíguas.
• Sarcasmo e ironia.
• Frases dependentes de contexto (ex: citações de terceiros ou opiniões implícitas).
• Metáforas e linguagem dog-whistle (sinais codificados).

4. Análise Diacrônica e Aplicações Práticas

O melhor modelo (Est-RoBERTa) foi aplicado a todo o corpus (106.539 frases) para analisar tendências temporais:

• Polarização: O Uued Uudised manteve uma postura consistentemente "Contra" a imigração, enquanto o Ekspress Grupp foi predominantemente "Neutro".
• Eventos de Impacto:
  • Pacto Global da ONU (2018-2019): Aumento acentuado da retórica "Contra" em ambos os meios, especialmente no Uued Uudised.
  • Guerra na Ucrânia (2022): O Ekspress Grupp mostrou um aumento significativo na postura "Apoio" (devido à chegada de refugiados ucranianos), enquanto o Uued Uudised manteve uma postura mais ambígua ou negativa, refletindo a retórica do partido político associado (EKRE).
• Similaridade de Texto: A análise de similaridade cosinosa (Sentence-BERT) mostrou picos de similaridade retórica entre os meios em momentos de eventos globais, indicando que ambos reagiram aos mesmos eventos, embora com posturas diferentes.

5. Contribuições Chave

1. Viabilidade em Línguas de Baixo Recurso: Demonstra que a detecção de postura automatizada é viável e útil em línguas menores (estoniano) e tópicos complexos, servindo como prova de conceito para outras línguas similares.
2. Dataset Aberto: Disponibilização pública de um conjunto de dados anotado com 7.345 frases sobre imigração em estoniano, útil para a comunidade de PLN e estudos de mídia.
3. Alternativa Zero-Shot: Evidencia que o ChatGPT pode ser uma alternativa mais barata e rápida aos modelos supervisionados tradicionais para tarefas de classificação em línguas com poucos dados anotados, com desempenho quase equivalente.
4. Insights Sociopolíticos: Fornece uma análise quantitativa em larga escala da polarização da mídia estoniana sobre imigração, correlacionando mudanças de postura com eventos políticos reais (eleições, crises migratórias, guerras).

6. Significado e Limitações

• Significado: O estudo sugere que a combinação de LLMs pré-treinados e técnicas zero-shot pode democratizar a análise de mídia e monitoramento de polarização, especialmente para organizações que não possuem recursos para anotação massiva de dados.
• Limitações:
  • A necessidade de anotação humana para treinamento supervisionado ainda é um gargalo de custo e tempo.
  • A unidade de análise (frase) pode perder contexto importante que parágrafos forneceriam.
  • O ChatGPT apresenta desafios de reprodutibilidade devido à sua natureza estocástica e atualizações constantes da API.
  • Viés nos dados de treinamento e nas anotações humanas ainda pode afetar os resultados.

Em conclusão, o artigo valida que a tecnologia atual de LLMs permite monitorar a polarização política em línguas menores com precisão aceitável, oferecendo ferramentas valiosas para pesquisadores e analistas de mídia.