Comparing BERT Sentence-Pair Classification and Few-Shot LLM Prompting for Detecting Threat and Solution Framing in German Climate News

Resumo Técnico: Comparação entre Classificação de Pares de Sentenças com BERT e Prompting de Poucos Disparos (Few-Shot) de LLM para Detecção de Enquadramento de Ameaça e Solução em Notícias Climáticas em Alemão

Definição do Problema
O enquadramento da mídia sobre as mudanças climáticas — especificamente se a cobertura enfatiza ameaças (riscos, perigos) ou soluções (ações, remédios) — influencia significativamente o engajamento público e o apoio às políticas. Embora a análise de conteúdo manual seja o padrão para estudar esses padrões de enquadramento, ela é trabalhosa e difícil de escalar. A detecção automatizada usando Processamento de Linguagem Natural (PLN) oferece uma solução, mas requer validação contra julgamentos humanos. Existe uma lacuna crítica na literatura em relação à comparação direta de duas abordagens automatizadas dominantes para a detecção de enquadramento em nível de sentença em um domínio específico (clima) e idioma (alemão): modelos codificadores ajustados (fine-tuned) versus prompting de poucos disparos (few-shot) de Grandes Modelos de Linguagem (LLMs). Além disso, a maior parte do trabalho existente baseia-se em taxonomias de enquadramento genéricas, em vez da distinção entre ameaça versus solução, central na pesquisa de comunicação climática, e a análise de mídia climática em língua alemã permanece sub-representada.

Metodologia
O estudo avalia duas abordagens distintas em um corpus de 440 artigos codificados manualmente de dois grandes jornais austríacos (Kronen Zeitung e Der Standard), publicados entre janeiro e junho de 2024. O conjunto de dados foi segmentado em 10.981 sentenças, com rótulos binários para "orientação de ameaça" e "orientação de solução" tratados como dimensões independentes.

1. Abordagem BERT com Ajuste Fino (Fine-Tuned):

   • Modelo: Um modelo BERT monolíngue em alemão (deepset/gbert-large) foi ajustado para classificação de pares de sentenças.
   • Formato de Entrada: Para incorporar o contexto, a entrada foi formatada como um par de sentenças: [CLS] sentença anterior [SEP] sentença alvo [SEP]. Isso permite que o modelo utilize a sentença imediatamente anterior como contexto.
   • Treinamento: Dois classificadores binários distintos (um para ameaça, um para solução) foram treinados usando o otimizador AdamW por 6 épocas.
   • Ablação: Uma variante de sentença única (sem o contexto precedente) também foi treinada para medir o impacto do contexto.

2. Abordagem de Prompting de Poucos Disparos (Few-Shot) de LLM:

   • Modelo: O modelo de pesos abertos Llama 4 Maverick foi acessado via API.
   • Arquitetura de Prompt: Os prompts foram escritos inteiramente em alemão e estruturados com tags XML contendo oito seções: definição de papel, taxonomia de atos de fala, definições de enquadramento, regras de classificação, exemplos positivos/negativos, o texto completo do artigo e a sentença alvo.
   • Raciocínio: O modelo empregou raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT), exigindo um campo de justificativa antes da classificação final.
   • Saída: A saída estruturada em JSON incluiu uma classificação booleana, um campo de raciocínio e um índice de confiança.
   • Filtragem: Uma varredura de limiar (threshold sweep) (de 0.00 a 1.00) foi realizada nos índices de confiança para otimizar as métricas, embora isso tenha se mostrado ineficaz.

Principais Contribuições

• Comparação Sistemática: O artigo fornece uma comparação direta e controlada entre o ajuste fino de BERT e o prompting de poucos disparos de LLM para a detecção de enquadramento climático em nível de sentença em alemão, um domínio onde tais comparações são escassas.
• Análise Contextual: Demonstra que fornecer a sentença precedente como contexto em um formato de par de sentenças melhora significativamente o desempenho do BERT em relação às entradas de sentença única.
• Engenharia de Prompt: Os autores detalham uma arquitetia de prompt abrangente que integra taxonomias de atos de fala, regras de codificação específicas do domínio e raciocínio CoT, espelhando a informação disponível para codificadores humanos.

Resultados

• Desempenho: Os classificadores BERT ajustados superaram os classificadores baseados em LLM em ambas as tarefas. O BERT alcançou um F1 score de 0,83 tanto para detecção de ameaça quanto de solução, enquanto o LLM alcançou um F1 de 0,78.
• Impacto do Contexto: O estudo de ablação confirmou o valor do contexto. O modelo de sentença única do BERT (sem a sentença precedente) caiu para F1 scores na casa dos 0,70 baixos, uma diminuição de aproximadamente 10 pontos em relação ao modelo de par de sentenças.
• Análise de Desacordo: No subconjunto de sentenças onde os dois métodos discordaram (aprox. 20-24% do conjunto de teste), o BERT manteve um F1 de 0,65 (ameaça) e 0,60 (solução), enquanto o LLM caiu para níveis próximos ao acaso (F1 ~0,34–0,35). As previsões do BERT nesses casos ambíguos alinharam-se com a verdade fundamental (ground truth) aproximadamente duas vezes mais frequentemente do que o LLM.
• Padrões de Erro:
  • BERT: Teve dificuldades com enquadramentos indiretos onde o contexto residia além da sentença precedente imediata e com sentenças que contrastavam ameaças e soluções.
  • LLM: Sofreu de "sangramento de contexto" (context bleeding), onde material orientado para soluções em outras partes do artigo completo causou a classificação errônea de sentenças localmente neutras como orientadas para solução. O LLM também exibiu inconsistências internas onde seu raciocínio contradizia sua classificação.
• Índices de Confiança: Os índices de confiança autorrelatados pelo LLM foram mal calibrados. Apesar de o índice de confiança médio exceder 0,93, as taxas de erro foram superiores a 20%. O ajuste de limiares com base na confiança não melhorou os F1 scores.

Significância e Alegações
O artigo afirma que, para tarefas de classificação de enquadramento em nível de sentença onde dados de treinamento rotulados estão disponíveis, os modelos codificadores ajustados continuam sendo a escolha superior, oferecendo maior precisão e melhor tratamento de casos ambíguos em comparação ao prompting de poucos disparos de LLM. O estudo valida a abordagem de par de sentenças como um método eficaz e leve para incorporar contexto em classificadores baseados em codificadores.

No entanto, os autores observam que a abordagem de LLM alcança um desempenho competitivo sem exigir treinamento do modelo, tornando-a uma alternativa viável para cenários onde dados rotulados são escassos ou indisponíveis. Os resultados contribuem para o debate mais amplo na ciência social computacional sobre as compensações entre o ajuste fino supervisionado e o aprendizado em contexto. O artigo conclui modestamente que, embora os LLMs sejam poderosos, eles atualmente carecem da confiabilidade dos modelos ajustados para esta tarefa específica, particularmente no que diz respeito à calibração de confiança e ao tratamento de dependências contextuais complexas. Sugere-se que trabalhos futuros explorem divisões de treino-teste em nível de artigo e o efeito de janelas de contexto maiores.