Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas

Resumo Técnico: Ajuste Fino com Prompting Hierárquico para Classificação Robusta de Propaganda Através de Esquemas de Anotação

Declaração do Problema
A detecção de propaganda em mídias sociais enfrenta desafios significativos devido à natureza ruidosa e curta dos textos, à prevalência de linguagem informal e ao baixo acordo interanotador (IAA). As taxonomias existentes são frequentemente centradas em técnicas (focando em dispositivos retóricos como "linguagem carregada") e lutam para capturar as intenções comunicativas estratégicas por trás da propaganda. Além disso, há um trade-off no design do esquema: esquemas realistas e complexos capturam a diversidade do mundo real, mas reduzem a confiabilidade da anotação, enquanto esquemas simplificados aumentam o acordo à custa da validade ecológica. Adicionalmente, a interação entre o design do esquema de anotação, regimes de supervisão (zero-shot vs. ajuste fino) e estratégias de prompting permanece pouco explorada no contexto de Modelos de Linguagem de Grande Escala (LLMs).

Metodologia
Os autores conduziram um experimento controlado avaliando a classificação de propaganda através de três dimensões interagentes: esquema de anotação, regime de supervisão e estratégia de prompting.

1. Conjuntos de Dados e Esquemas:

   • Fonte de Dados: O estudo utilizou o conjunto de dados de referência HQP (30.000 tuítes em inglês do início da guerra Rússia-Ucrânia).
   • Esquema A (Novo Baseado em Intenção): Os autores introduziram uma nova taxonomia agrupando 17 técnicas granulares em cinco categorias de alto nível baseadas em intenção comunicativa (ex.: Deslocar a Culpa, Justificar Agressão, Fabricar Consentimento). Este esquema foi desenvolvido por meio de um processo iterativo envolvendo anotação por especialistas, harmonização assistida por LLM e consenso do grupo. Resultou em IAA moderada ($\kappa=0,309$), refletindo a ambiguidade inerente da intenção em textos curtos.
   • Esquema B (Sahitaj et al., 2025): Uma taxonomia baseada em trechos e centrada em técnicas adaptada para o Twitter. Para este estudo, os autores agruparam suas 17 técnicas em seis categorias de alto nível. Este esquema demonstrou IAA substancialmente maior ($\kappa=0,594$).

2. Modelos:
   Quatro modelos de linguagem foram avaliados: GPT-4.1-nano, Phi-4 14B, Qwen2.5-14B e Qwen3-14B. Os experimentos foram conduzidos tanto em regimes zero-shot (Base) quanto ajustados finamente (FT). O ajuste fino foi realizado utilizando adaptadores LoRA para modelos de pesos abertos e otimização baseada em API para o GPT-4.1-nano.

3. Estratégias de Prompting:

   • Direto-Alto: Os modelos preveem a categoria de alto nível diretamente a partir do texto.
   • HiPP (Prompting Hierárquico): Uma estratégia "Principal→Alto" onde o modelo primeiro prevê a técnica granular mais proeminente e depois agrega essa previsão para determinar a categoria de alto nível em uma única passagem.

4. Avaliação:
   O desempenho foi medido usando Macro-F1 e Weighted-F1 em um conjunto de teste dourado balanceado (200 tuítes por esquema). A análise de erro incluiu matrizes de confusão, estatísticas de frequência de lemas e visualização PCA de vetores TF-IDF.

Principais Contribuições

1. Nova Taxonomia Baseada em Intenção: O artigo introduz a primeira taxonomia conceitual totalmente nova para propaganda desde 2019, deslocando o foco de técnicas de superfície para objetivos comunicativos estratégicos.
2. Framework Comparativo Controlado: O estudo isola os efeitos do design do esquema, supervisão e prompting ao tratá-los como fatores ortogonais, demonstrando como esses elementos interagem para moldar a robustez do modelo.
3. Validação do Prompting Hierárquico (HiPP): Os autores propõem e validam o método HiPP, mostrando sua utilidade específica em configurações de ajuste fino, particularmente para esquemas de anotação ruidosos e de baixo acordo.
4. Rotulagem de Alto Nível para Esquemas Existentes: Os autores criaram rótulos de alto nível para o esquema de Sahitaj et al. (2025) por meio de um procedimento de agrupamento, alcançando alto acordo na validação humana e fornecendo uma linha de base robusta para comparação.

Resultados

• Impacto do Ajuste Fino: O ajuste fino foi decisivo em todas as configurações, transformando bases zero-shot fracas em sistemas competitivos (melhorias de +0,09 a +0,30 em Weighted-F1). Revelou diferenças metodológicas que eram invisíveis no regime base.
• Desempenho do Esquema: O esquema Sahitaj consistentemente rendeu desempenho absoluto mais alto (lacunas de +0,05 a +0,15 em Weighted-F1) devido à sua maior confiabilidade de anotação. No entanto, o esquema baseado em intenção, embora mais desafiador, forneceu uma lente mais rica sobre objetivos estratégicos.
• Desempenho do Modelo: Entre os modelos de pesos abertos, a série Qwen (especificamente Qwen3-14B) alcançou o desempenho geral mais forte. O Phi-4 14B consistentemente superou o GPT-4.1-nano em ambos os esquemas e regimes.
• Eficácia do HiPP:
  • Em configurações zero-shot, o HiPP (Principal→Alto) frequentemente teve desempenho inferior ao Direto-Alto, particularmente no esquema de baixo IAA, sugerindo que a decomposição hierárquica pode amplificar o ruído sem representações adaptadas.
  • Após o ajuste fino, o HiPP tornou-se altamente benéfico, especialmente no esquema baseado em intenção. Forneceu uma vantagem metodológica estável, ajudando os modelos a recuperar rótulos de voto majoritário mesmo em casos de alto desacordo entre anotadores.
• Análise de Erro:
  • Zero-Shot: Os modelos foram hiper-sensíveis a pistas lexicais (ex.: "Ucrânia", "Nazista", "guerra"), levando a altos falsos positivos.
  • Ajustado Fino: Os erros deslocaram-se de gatilhos lexicais simples para casos genuinamente ambíguos e polarizados. Modelos HiPP ajustados finamente reduziram falsos positivos em reportagens de guerra neutras e concentraram erros em categorias conceitualmente vizinhas (ex.: confundir Distorcer a Realidade com Deslocar a Culpa), indicando uma compreensão mais estruturada da taxonomia.
  • Visualização PCA: O esquema baseado em intenção produziu um espaço de decisão mais denso e sobreposto em comparação com os clusters compactos e bem separados do esquema Sahitaj, confirmando a maior dificuldade da tarefa baseada em intenção.

Significado e Alegações
O artigo alega que sua contribuição primária é metodológica, demonstrando que o ajuste fino é essencial para a detecção robusta de propaganda e que o prompting hierárquico (HiPP) atua como um viés indutivo estabilizador especificamente quando os modelos são adaptados a espaços de anotação ruidosos e desbalanceados.

Os autores argumentam que, embora esquemas simplificados e centrados em técnicas ofereçam sinais de aprendizado mais claros, esquemas baseados em intenção são necessários para uma análise matizada dos objetivos estratégicos da propaganda. Eles postulam que LLMs modernos, quando ajustados finamente com HiPP, convergem para estruturas de erro similares e interpretáveis, sugerindo que conclusões tiradas de uma família de modelos são razoavelmente transferíveis para outras. O trabalho fornece um benchmark desafiador (o conjunto de dados HQP com novos rótulos baseados em intenção) para pesquisas futuras sobre detecção no mundo real, enfatizando que sistemas robustos devem levar em conta o trade-off entre realismo ecológico e confiabilidade de anotação.

Os autores permanecem modestos, observando que seus resultados são indicativos de tendências metodológicas baseadas em uma única divisão de dados e que a taxonomia baseada em intenção proposta, embora valiosa, introduz ruído inerente que a torna um problema de classificação mais difícil do que os frameworks existentes.