Comparing BERT Sentence-Pair Classification and Few-Shot LLM Prompting for Detecting Threat and Solution Framing in German Climate News

Resumen Técnico: Comparación de la Clasificación de Pares de Oraciones con BERT y el Prompting de Pocos Disparos (Few-Shot) de LLM para la Detección de Encuadre de Amenaza y Solución en Noticias Climáticas Alemanas

Planteamiento del Problema
El encuadre que los medios de comunicación dan al cambio climático —específicamente si la cobertura enfatiza las amenazas (riesgos, peligros) o las soluciones (acciones, remedios)— influye significamente en el compromiso público y el apoyo a las políticas. Si bien el análisis de contenido manual es el estándar para estudiar estos patrones de encuadre, es laborioso y difícil de escalar. La detección automatizada mediante Procesamiento de Lenguaje Natural (NLP) ofrece una solución, pero requiere validación frente a juicios humanos. Existe una brecha crítica en la literatura respecto a la comparación directa de dos enfoques automatizados dominantes para la detección de encuadre a nivel de oración en un dominio específico (clima) y un idioma particular (alemán): modelos de codificador ajustados (fine-tuned) frente al prompting de pocos disparos (few-shot) de Modelos de Lenguaje de Gran Escala (LLM). Además, la mayor parte del trabajo existente se basa en taxonomías de encuadre genéricas en lugar de la distinción entre amenaza versus solución, central en la investigación de la comunicación climática, y el análisis de medios climáticos en lengua alemana sigue estando subrepresentado.

Metodología
El estudio evalúa dos enfoques distintos sobre un corpus de 440 artículos codificados manualmente de dos importantes periódicos austriacos (Kronen Zeitung y Der Standard), publicados entre enero y junio de 2024. El conjunto de datos fue segmentado en 10.981 oraciones, con etiquetas binarias para la "orientación de amenaza" y la "orientación de solución" tratadas como dimensiones independientes.

1. Enfoque de BERT Ajustado (Fine-Tuned):

   • Modelo: Se ajustó un modelo BERT monolingüe alemán (deepset/gbert-large) para la clasificación de pares de oraciones.
   • Formato de Entrada: Para incorporar el contexto, la entrada se formateó como un par de oraciones: [CLS] oración anterior [SEP] oración objetivo [SEP]. Esto permite al modelo utilizar la oración inmediatamente precedente como contexto.
   • Entrenamiento: Se entrenaron dos clasificadores binarios separados (uno para amenaza y otro para solución) utilizando el optimizador AdamW durante 6 épocas.
   • Ablación: También se entrenó una variante de oración única (sin el contexto precedente) para medir el impacto del contexto.

2. Enfoque de Prompting de Pocos Disparos (Few-Shot) de LLM:

   • Modelo: El modelo de pesos abiertos Llama 4 Maverick se accedió vía API.
   • Arquitectura del Prompt: Los prompts fueron escritos íntegramente en alemán y estructurados con etiquetas XML que contenían ocho secciones: definición de rol, taxonomía de actos de habla, definiciones de encuadre, reglas de clasificación, ejemplos positivos/negativos, el texto completo del artículo y la oración objetivo.
   • Razonamiento: El modelo empleó razonamiento de Cadena de Pensamiento (Chain-of-Thought o CoT), requiriendo un campo de justificación antes de la clasificación final.
   • Salida: La salida estructurada en JSON incluyó una clasificación booleana, un campo de razonamiento y un puntaje de confianza.
   • Filtrado: Se realizó un barrido de umbral (0.00 a 1.00) sobre los puntajes de confianza para optimizar las métricas, aunque esto resultó ineficaz.

Contribuciones Clave

• Comparación Sistemática: El artículo proporciona una comparación directa y controlada entre el ajuste fino de BERT y el prompting de pocos disparos de LLM para la detección de encuadre climático a nivel de oración en alemán, un dominio donde faltan tales comparaciones.
• Análisis Contextual: Demuestra que proporcionar la oración precedente como contexto en un formato de par de oraciones mejora significativamente el rendimiento de BERT sobre las entradas de oración única.
• Ingeniería de Prompts: Los autores detallan una arquitectura de prompt integral que integra taxonomías de actos de habla, reglas de codificación específicas del dominio y razonamiento CoT, reflejando la información disponible para los codificadores humanos.

Resultados

• Rendimiento: Los clasificadores BERT ajustados superaron a los clasificadores basados en LLM en ambas tareas. BERT alcanzó una puntuación F1 de 0.83 tanto para la detección de amenaza como de solución, mientras que el LLM alcanzó un F1 de 0.78.
• Impacto del Contexto: El estudio de ablación confirmó el valor del contexto. El modelo de oración única de BERT (sin la oración precedente) cayó a puntuaciones F1 en los bajos 0.70s, una disminución de aproximadamente 10 puntos en comparación con el modelo de par de oraciones.
• Análisis de Desacuerdo: En el subconjunto de oraciones donde los dos métodos discreparon (aprox. 20-24% del conjunto de prueba), BERT mantuvo un F1 de 0.65 (amenaza) y 0.60 (solución), mientras que el LLM cayó a niveles cercanos al azar (F1 ~0.34–0.35). Las predicciones de BERT en estos casos ambiguos se alinearon con la verdad de campo aproximadamente dos veces más que las del LLM.
• Patrones de Error:
  • BERT: Tuvo dificultades con el encuadre indirecto donde el contexto se encontraba más allá de la oración inmediatamente precedente y con oraciones que contrastaban amenazas y soluciones.
  • LLM: Sufrió de "filtración de contexto" (context bleeding), donde el material orientado a soluciones en otra parte del artículo completo causó que el modelo clasificara erróneamente oraciones localmente neutrales como orientadas a la solución. El LLM también exhibió inconsistencias internas donde su razonamiento contradecía su clasificación.
• Puntajes de Confianza: Los puntajes de confianza autoinformados por el LLM estaban mal calibrados. A pesar de que la confianza media superaba el 0.93, las tasas de error fueron superiores al 20%. El ajuste de umbrales basado en la confianza no mejoró las puntuaciones F1.

Significancia y Reivindicaciones
El artículo sostiene que para tareas de clasificación de encuadre a nivel de oración donde se dispone de datos de entrenamiento etiquetados, los modelos de codificador ajustados siguen siendo la opción superior, ofreciendo mayor precisión y un mejor manejo de los casos ambiguos en comparación con el prompting de pocos disparos de LLM. El estudio valida el enfoque de par de oraciones como un método efectivo y ligero para incorporar contexto en clasificadores basados en codificadores.

Sin embargo, los autores señalan que el enfoque de LLM logra un rendimiento competitivo sin requerir el entrenamiento del modelo, lo que lo convierte en una alternativa viable en entornos donde los datos etiquetados son escasos o no están disponibles. Los resultados contribuyen al discurso más amplio en la ciencia social computacional sobre las compensaciones entre el ajuste fino supervisado y el aprendizaje en contexto. El artículo concluye modestamente que, si bien los LLM son poderosos, actualmente carecen de la fiabilidad de los modelos ajustados para esta tarea específica, particularmente en lo que respecta a la calibración de la confianza y el manejo de dependencias contextuales complejas. Se sugiere como trabajo futuro explorar divisiones de entrenamiento-prueba a nivel de artículo y el efecto de ventanas de contexto más grandes.