Lingo_Research_Group at SemEval-2026 Task 9: Evaluating Prompt Variants for Polarization Detection

Resumo Técnico: Lingo_Research_Group no SemEval-2026 Task 9

Definição do Problema
O artigo aborda a SemEval-2026 Task 9, um desafio de classificação de texto multilíngue focado na detecção de polarização. A tarefa é dividida em três subtarefas de complexidade crescente:

1. Subtarefa 1 (Detecção Binária): Determinar se uma postagem em rede social exibe polarização de atitude (enquadramento divisivo de grupo interno/externo, hostilidade ou exclusão).
2. Subtarefa 2 (Classificação de Alvo): Identificar os alvos específicos da polarização (político, racial/étnico, religioso, gênero/sexual ou outros) em um cenário multi-rótulo.
3. Subtarefa 3 (Identificação de Manifestação): Detectar as formas retóricas de polarização, tais como estereótipos, vilipêndio, desumanização, linguagem extrema, falta de empatia ou invalidação.

O desafio reside no fato de que a polarização é frequentemente realizada através de enquadramento, retórica e contexto cultural, em vez de discurso de ódio explícito, tornando-a difícil de detectar, particularmente em 22 idiomas diversos com padrões de discurso variados.

Metodologia
Os autores propõem uma abordagem de inferência baseada em prompts utilizando Grandes Modelos de Linguagem (LLMs) sem ajuste fino de parâmetros (fine-tuning). A metodologia central envolve:

• Engenharia de Prompt: Em vez de um único prompt, a equipe projetou e avaliou 12 variantes distintas de prompts. Essas variantes variaram sistematicamente em clareza terminológica, detalhamento de definições, orientação de raciocínio e inclusão de exemplos de contexto (in-context examples). Os prompts foram estruturados como um gradiente conceitual, movendo-se de um contexto mínimo para definições detalhadas e instruções de raciocínio passo a passo.
• Seleção de Modelo: Experimentos foram conduzidos utilizando dois LLMs multilíngues: aya-101 e Gemma3-27B. Com base na comparação de desempenho entre as subtarefas e configurações de prompt, o Gemma3-27B foi selecionado para a submissão final devido aos seus superiores escores F1 macro.
• Estratégia de Inferência: O sistema trata a análise de polarização como um problema de seguimento de instruções. Para a Subtarefa 1, o modelo prevê um rótulo binário. Para as Subtarefas 2 e 3, ele gera uma lista de previsões binárias para cada alvo ou rótulo de manifestação. A equipe utilizou uma estratégia de prompting "conservadora", prevendo a polarização apenas quando havia evidência explícita e inequívoca.
• Avaliação: O sistema foi avaliado em conjuntos de teste não utilizados (held-out) em 22 idiomas usando escores F1 macro-médios para compensar o desequilíbrio de classes. Nenhum dado externo ou aumento de dados (augmentation) foi utilizado.

Resultos Principais
O sistema alcançou os seguintes escores F1 macro médios no conjunto de teste oficial:

• Subtarefa 1: 0,762 (Acurácia Média: 0,819)
• Subtarefa 2: 0,587 (Acurácia Média: 0,678)
• Subtarefa 3: 0,444 (Acurácia Média: 0,498)

O desempenho variou significamente por idioma e subtarefa. Por exemplo, o chinês e o nepalês alcançaram altos escores F1 (até 0,92) na Subtarefa 1, enquanto o italiano pontuou tão baixo quanto 0,35. Os autores observaram uma degradação sistemática no desempenho à medida que a complexidade da tarefa aumentava, da detecção binária para a classificação sociolinguística multi-rótulo mais refinada.

Análise e Descobertas
O artigo fornece uma análise detalhada dos resultados, destacando várias tendências principais:

• Complexidade da Tarefa: Existe uma relação inversa clara entre a abstração da tarefa e o desempenho. Embora as abordagens baseadas em prompt sejam eficazes para detecção de granularidade grossa (Subtarefa 1), elas enfrentam dificuldades com tarefas de multi-rótulo e granularidade fina (Subtarefas 2 e 3), onde os rótulos são abstratos (ex: "falta de empatia") e carecem de indicadores lexicais claros.
• Supressão de Recall: A estratégia de prompting conservadora levou a uma alta acurácia, mas a um baixo F1 macro nas Subtarefas 2 e 3. Os modelos frequentemente subestimaram rótulos positivos, particularmente em idiomas onde a polarização é transmitida indiretamente através de sarcasmo, perguntas retóricas ou referências culturais (ex: Hausa, Italiano, Khmer).
• Nuances Específicas de Idioma: O desempenho não foi uniforme entre os idiomas. O nepalês e o chinês tiveram bom desempenho nas Subtarefas 1 e 2 devido a referências de grupo explícitas, enquanto o hindi teve seu melhor desempenho na Subtarefa 3, provavelmente devido à sua prevalência de táticas retóricas explícitas (vilipêndio, linguagem extrema) que se alinham bem com os vieses de pré-treinamento do modelo.
• O Paradoxo do Inglês: Apesar do extenso pré-treinamento em dados de inglês, o inglês teve um desempenho abaixo da mediana. Os autores atribuem isso à prevalência de ironia, sarcasmo e atalhos ideológicos no inglês, que os prompts conservadores frequentemente classificam erroneamente como não-polarizados devido à falta de hostilidade superficial.
• Limitações de Tradução: O artigo nota que o raciocínio baseado em tradução (codificar entradas em inglês antes da classificação) pode neutralizar expressões emocionalmente carregadas, falhando em preservar a intenção retórica necessária para a identificação de manifestações.

Significância e Alegações
O artigo afirma que abordagens baseadas em prompt utilizando LLMs multilíngues são um método viável para detectar polarização de granularidade grossa sem a necessidade de ajuste fino específico da tarefa ou grandes conjuntos de dados anotados. No entanto, os autores concluem modestamente que esses métodos encontram dificuldades crescentes à medida que a tarefa se move em direção à classificação sociolinguística de multi-rótulo e granularidade fina.

O trabalho demonstra que o design de prompt é crítico; a articulação das definições da tarefa, limites de decisão e expectativas de raciocínio influencia fortemente o desempenho do modelo. O estudo destaca que, embora os LLMs possam lidar efetivamente com a detecção binária, a "equivalência semântica" da tradução não garante a preservação da intenção retórica, sugerindo que trabalhos futuros devem abordar as nuances do discurso translinguístico e as limitações do prompting conservador em capturar a polarização implícita.

Considerações Éticas
Os autores enfatizam que seu sistema não deve ser usado como uma ferramenta de moderação autônoma devido aos riscos de falsos positivos (banimento injusto de discurso legal) e falsos negativos (tolerância de retórica perigosa). Eles também reconhecem disparidades significativas de desempenho entre os idiomas, que podem advir da representação de dados de pré-treinamento, variações culturais e densidade de anotação.