Contextualized Prompting For Stance Detection On Social Media

Resumo Técnico: Prompting Contextualizado para Detecção de Postura em Redes Sociais

Declaração do Problema
A detecção de postura em redes sociais, particularmente no Twitter, é inerentemente desafiadora devido à natureza curta, ruidosa e altamente dependente de contexto do conteúdo gerado pelo usuário. Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado fortes capacidades de generalização zero-shot e few-shot, as configurações padrão de prompting tipicamente classificam tweets isoladamente. Essa abordagem frequentemente falha em resolver expressões ambíguas onde um único post carece de informação suficiente para determinar o ponto de vista do autor em relação a um alvo específico (por exemplo, uma pessoa, organização ou tópico). Embora pesquisas anteriores de aprendizado supervisionado sugiram que a incorporação de metadados (como biografias de usuários e tweets históricos) melhora o desempenho, permanece incerto se esses benefícios se traduzem em cenários de prompting zero-shot e few-shot, onde os LLMs são altamente sensíveis ao design do prompt e podem ter dificuldade em distinguir entre contexto relevante e irrelevante.

Metodologia
Os autores investigam sistematicamente o impacto da integração de várias características contextuais no prompting zero-shot e few-shot para detecção de postura. O estudo emprega um conjunto diversificado de quatro LLMs baseados em raciocínio e ajustados por instrução (GPT-OSS-20B, Qwen2.5-32B, Gemma3-27B e Ministral3-14B) em quatro conjuntos de dados de referência: semeval2016t6, covid19-glandt, wtwt (fusões e aquisições) e um novo conjunto de dados de alta qualidade em alemão, covid19-de.

O estudo avalia três categorias de características contextuais:

1. Metadados do Mundo Real: Recuperados via API do Twitter, incluindo Nomes de Usuário, Biografias de Usuário e Outros Tweets (os dez tweets mais similares do mesmo usuário, selecionados via similaridade de cosseno do Sentence-BERT).
2. Metadados Derivados: Classificações de autor (ex: cidadão, político, cientista) e grupos de autores detalhados derivados de biografias.
3. Contexto Gerado por LLM: Dados sintéticos gerados usando GPT-4, especificamente Descrições do Alvo (uma descrição curta do alvo/entidade) e Contexto Específico do Tweet (uma descrição do alvo no contexto específico do tweet).

A configuração experimental compara baselines zero-shot e few-shot padrão contra prompts aumentados com essas características. Os autores também avaliam o prompting de Cadeia de Pensamento (CoT) e uma abordagem "LLM-como-Juiz", onde o modelo reavalia sua previsão inicial. O desempenho é medido usando pontuações F1 de média macro, calculadas sobre três sementes aleatórias.

Principais Contribuições

1. Avaliação Sistemática de Contexto: O artigo fornece uma análise abrangente de como diferentes tipos de contexto (real, derivado e gerado) afetam o desempenho do LLM na detecção de postura, indo além das bases de conhecimento estáticas usadas em trabalhos anteriores.
2. Novo Conjunto de Dados: Os autores lançam o covid19-de, um novo conjunto de dados de detecção de postura do Twitter de alta qualidade em alemão (n=3.750), focado em medidas governamentais durante a pandemia de COVID-19, anotado com concordância substancial (Krippendorff $\alpha > 0,67$).
3. Descobertas Empíricas sobre a Utilidade do Contexto: O estudo desafia a suposição de que mais contexto é sempre melhor. Demonstra que, embora as descrições de alvo geradas por LLM melhorem consistentemente o desempenho, outras características contextuais (como biografias de usuários ou outros tweets) produzem resultados mistos ou até prejudiciais.
4. Análise Qualitativa de Modos de Falha: Os autores identificam que os LLMs têm dificuldade em distinguir entre contexto informativo e irrelevante. Especificamente, adicionar "Outros Tweets" ou "Contexto Específico do Tweet" frequentemente leva a previsões incorretas, particularmente ao induzir o modelo a posturas não neutras (favorável/contra) mesmo quando o rótulo correto é neutro.

Resultados

• Descrições do Alvo: As descrições de alvo geradas por LLM foram a característica mais robusta, melhorando consistentemente a precisão em quase todos os conjuntos de dados e modelos (ex: +5,10pp em semeval2016t6 zero-shot). Isso sugere que informações explícitas sobre o alvo ajudam a resolver referências implícitas em textos curtos.
• Outros Tweets: Contrariando as descobertas em aprendizado supervisionado, fornecer outros tweets do mesmo usuário geralmente prejudicou o desempenho ou não mostrou benefício significativo. O aumento do comprimento da entrada pareceu distrair o modelo, e o contexto adicionado frequentemente induziu um viés para posturas opinativas, degradando o desempenho em instâncias neutras.
• Contexto Específico do Tweet: Surpreendentamente, o contexto específico do tweet gerado por LLM teve um efeito negativo em todas as configurações, provavelmente devido ao modelo incorporar palavras que carregam postura do contexto gerado que conflitam com o conteúdo real do tweet.
• Baselines: O prompting CoT geralmente teve desempenho inferior em comparação aos baselines zero-shot padrão em tarefas de texto curto sem contexto adicional. A abordagem "LLM-como-Juiz" foi competitiva, mostrando força particular no conjunto de dados desbalanceado covid19-de ao corrigir previsões em direção à classe neutra majoritária.
• Metadados do Autor: Classificações de autor semi-automáticas (ex: político vs. cidadão) não superaram significativamente o baseline sem contexto, sugerindo que tais metadados não se traduzem em ganhos para LLMs zero-shot/few-shot.

Significância e Alegações
O artigo alega que, embora a integração de informações contextuais prometa melhorar a detecção de postura em ambientes reais ruidosos, os benefícios são altamente condicionais. A principal significância reside em destacar as limitações das estratégias atuais de prompting: os LLMs carecem de robustez para filtrar efetivamente o contexto irrelevante ou conflitante. Os autores argumentam que simplesmente adicionar mais dados ao prompt é insuficiente; pesquisas futuras devem focar no desenvolvimento de métodos para diferenciar contexto útil de ruído, particularmente para tarefas subjetivas onde a relevância não é definida objetivamente. O trabalho estende a linha de pesquisa sobre subjetividade contextual para a detecção de postura, demonstrando que a heurística "mais contexto é melhor" não se aplica universalmente ao prompting de LLMs.