Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas

Resumen Técnico: Ajuste Fino con Prompting Jerárquico para Clasificación Robusta de Propaganda a través de Esquemas de Anotación

Enunciado del Problema
La detección de propaganda en redes sociales enfrenta desafíos significativos debido a la naturaleza ruidosa y breve de los textos, la prevalencia del lenguaje informal y el bajo acuerdo inter-anotador (IAA). Las taxonomías existentes suelen ser centradas en técnicas (enfocándose en dispositivos retóricos como el "lenguaje cargado") y tienen dificultades para capturar las intenciones comunicativas estratégicas detrás de la propaganda. Además, existe una compensación en el diseño del esquema: los esquemas realistas y complejos capturan la diversidad del mundo real pero reducen la fiabilidad de la anotación, mientras que los esquemas simplificados aumentan el acuerdo a costa de la validez ecológica. Asimismo, la interacción entre el diseño del esquema de anotación, los regímenes de supervisión (zero-shot vs. ajuste fino) y las estrategias de prompting permanece poco explorada en el contexto de los Modelos de Lenguaje Grandes (LLM).

Metodología
Los autores realizaron un experimento controlado que evaluó la clasificación de propaganda a través de tres dimensiones interconectadas: esquema de anotación, régimen de supervisión y estrategia de prompting.

1. Conjuntos de Datos y Esquemas:

   • Fuente de Datos: El estudio utilizó el conjunto de datos de referencia HQP (30.000 tuits en inglés desde el inicio de la guerra Rusia-Ucrania).
   • Esquema A (Nuevo Basado en Intención): Los autores introdujeron una nueva taxonomía que agrupa 17 técnicas de granularidad fina en cinco categorías de alto nivel basadas en la intención comunicativa (por ejemplo, Desviar la Culpa, Justificar la Agresión, Fabricar el Consentimiento). Este esquema se desarrolló mediante un proceso iterativo que involucró anotación experta, armonización asistida por LLM y consenso grupal. Arrojó un IAA moderado ($\kappa=0.309$), reflejando la ambigüedad inherente de la intención en textos breves.
   • Esquema B (Sahitaj et al., 2025): Una taxonomía centrada en técnicas y basada en fragmentos (span-based), adaptada para Twitter. Para este estudio, los autores agruparon sus 17 técnicas en seis categorías de alto nivel. Este esquema demostró un IAA sustancialmente mayor ($\kappa=0.594$).

2. Modelos:
   Se evaluaron cuatro modelos de lenguaje: GPT-4.1-nano, Phi-4 14B, Qwen2.5-14B y Qwen3-14B. Los experimentos se realizaron tanto en regímenes zero-shot (Base) como ajustados (FT). El ajuste fino se realizó utilizando adaptadores LoRA para modelos de pesos abiertos y optimización basada en API para GPT-4.1-nano.

3. Estrategias de Prompting:

   • Directo-Alto: Los modelos predicen la categoría de alto nivel directamente desde el texto.
   • HiPP (Prompting Jerárquico): Una estrategia "Principal→Alto" donde el modelo primero predice la técnica de granularidad fina más prominente y luego agrupa esta predicción para determinar la categoría de alto nivel en un solo paso.

4. Evaluación:
   El rendimiento se midió utilizando Macro-F1 y Weighted-F1 en un conjunto de prueba dorado equilibrado (200 tuits por esquema). El análisis de errores incluyó matrices de confusión, estadísticas de frecuencia de lemas y visualización PCA de vectores TF-IDF.

Contribuciones Clave

1. Nueva Taxonomía Basada en Intención: El artículo introduce la primera taxonomía conceptual completamente nueva para la propaganda desde 2019, desplazando el enfoque de las técnicas superficiales hacia los objetivos comunicativos estratégicos.
2. Marco Comparativo Controlado: El estudio aísla los efectos del diseño del esquema, la supervisión y el prompting al tratarlos como factores ortogonales, demostrando cómo estos elementos interactúan para dar forma a la robustez del modelo.
3. Validación del Prompting Jerárquico (HiPP): Los autores proponen y validan el método HiPP, mostrando su utilidad específica en entornos de ajuste fino, particularmente para esquemas de anotación ruidosos y con bajo acuerdo.
4. Etiquetado de Alto Nivel para Esquemas Existentes: Los autores crearon etiquetas de alto nivel para el esquema de Sahitaj et al. (2025) mediante un procedimiento de agrupamiento, logrando un alto acuerdo en la validación humana y proporcionando una línea base robusta para la comparación.

Resultados

• Impacto del Ajuste Fino: El ajuste fino fue decisivo en todas las configuraciones, transformando bases débiles zero-shot en sistemas competitivos (mejoras de +0.09 a +0.30 en Weighted-F1). Reveló diferencias metodológicas que eran invisibles en el régimen base.
• Rendimiento del Esquema: El esquema de Sahitaj arrojó consistentemente un rendimiento absoluto superior (brechas de +0.05 a +0.15 en Weighted-F1) debido a su mayor fiabilidad de anotación. Sin embargo, el esquema basado en intención, aunque más desafiante, proporcionó una perspectiva más rica sobre los objetivos estratégicos.
• Rendimiento del Modelo: Entre los modelos de pesos abiertos, la serie Qwen (específicamente Qwen3-14B) logró el rendimiento general más fuerte. Phi-4 14B superó consistentemente a GPT-4.1-nano en ambos esquemas y regímenes.
• Efectividad de HiPP:
  • En entornos zero-shot, HiPP (Principal→Alto) a menudo tuvo un rendimiento inferior al Directo-Alto, particularmente en el esquema de bajo IAA, lo que sugiere que la descomposición jerárquica puede amplificar el ruido sin representaciones adaptadas.
  • Después del ajuste fino, HiPP resultó altamente beneficiosa, especialmente en el esquema basado en intención. Proporcionó una ventaja metodológica estable, ayudando a los modelos a recuperar etiquetas de voto mayoritario incluso en casos de alto desacuerdo entre anotadores.
• Análisis de Errores:
  • Zero-Shot: Los modelos fueron hiper-sensibles a señales léxicas (por ejemplo, "Ucrania", "Nazi", "guerra"), lo que llevó a una alta tasa de falsos positivos.
  • Ajuste Fino: Los errores cambiaron de desencadenantes léxicos simples a casos genuinamente ambiguos y polarizados. Los modelos HiPP ajustados redujeron los falsos positivos en reportes de guerra neutrales y concentraron los errores en categorías conceptualmente vecinas (por ejemplo, confundir Distorsionar la Realidad con Desviar la Culpa), lo que indica una comprensión más estructurada de la taxonomía.
  • Visualización PCA: El esquema basado en intención produjo un espacio de decisión más denso y superpuesto en comparación con los grupos compactos y bien separados del esquema de Sahitaj, confirmando la mayor dificultad de la tarea basada en intención.

Significado y Afirmaciones
El artículo afirma que su contribución principal es metodológica, demostrando que el ajuste fino es esencial para una detección robusta de la propaganda y que el prompting jerárquico (HiPP) actúa como un sesgo inductivo estabilizador específicamente cuando los modelos se adaptan a espacios de anotación ruidosos y desequilibrados.

Los autores argumentan que, aunque los esquemas simplificados y centrados en técnicas ofrecen señales de aprendizaje más claras, los esquemas basados en intención son necesarios para un análisis matizado de los objetivos estratégicos de la propaganda. Plantean que los LLM modernos, cuando se ajustan finamente con HiPP, convergen en estructuras de error similares e interpretables, lo que sugiere que las conclusiones extraídas de una familia de modelos son razonablemente transferibles a otras. El trabajo proporciona un desafío de referencia (el conjunto de datos HQP con nuevas etiquetas basadas en intención) para futuras investigaciones sobre detección en el mundo real, enfatizando que los sistemas robustos deben tener en cuenta la compensación entre el realismo ecológico y la fiabilidad de la anotación.

Los autores permanecen modestos, señalando que sus resultados son indicativos de tendencias metodológicas basadas en una única división de datos y que la taxonomía basada en intención propuesta, aunque valiosa, introduce ruido inherente que la convierte en un problema de clasificación más difícil que los marcos existentes.