AutoJourn: Multi-Perspective Summarisation, Bias Detection and Bias Neutralisation for LLM-Generated News in Automated Journalism

Resumen Técnico: AutoJourn

Planteamiento del Problema
El artículo aborda desafíos críticos en el periodismo automatizado responsable, específicamente la tendencia de los Modelos de Lenguaje Extensos (LLM) a aplanar la diversidad de puntos de vista en una narrativa única y a reproducir sesgos sutiles presentes en los datos de origen o en las señales de entrenamiento. Si bien el periodismo automatizado ofrece escalabilidad, las herramientas de Procesamiento de Lenguaje Natural (NLP) existentes suelen operar de forma aislada: los sistemas de resumen suelen fusionar puntos de vista contrapuestos en un relato "neutral", y las herramientas de detección de sesgos rara vez se integran en flujos de trabajo de generación de noticias de extremo a extremo. En consecuencia, los procesos actuales carecen de soporte para exponer múltiples perspectivas, generar artículos conscientes de los puntos de vista y evaluar el sesgo del texto resultante, particularmente cuando los datos de entrada provienen de discusiones fragmentadas y polarizadas en redes sociales.

Metodología
Los autores presentan AutoJourn, un sistema de demostración integrado y de extremo a extremo que conecta la extracción de múltiples perspectivas, la síntesis, la generación de noticias controlada y la evaluación del sesgo. El flujo de trabajo del sistema opera de la siguiente manera:

1. Entrada y Modelado de Temas: Dada una discusión de redes sociales en bruto (por ejemplo, hilos de Reddit), el sistema emplea un flujo de modelado de temas basado en prompts. Utilizando prompts de aprendizaje cero (zero-shot) estructurados, un LLM identifica los cinco temas más coherentes semánticamente, estima sus proporciones y enumera palabras clave representativas.
2. Extracción de Múltiples Perspectivas: El sistema extrae distintos puntos de vista (posturas de Acuerdo/Desacuerdo) para cada tema. Esto se logra mediante un modelo GPT-4o instruido para generar justificaciones concisas basadas en criterios. Para mejorar la diversidad y el fundamento, el sistema utiliza opcionalmente un mecanismo de Generación Aumentada por Recuperación (RAG), recuperando documentos semánticamente relacionados mediante TF-IDF y reordenamiento por incrustaciones de oraciones (sentence-embeddings) para proporcionar un contexto argumentativo adicional.
3. Resumen de Múltiples Perspectivas: Las perspectivas extraídas se convierten en tres tipos de resúmenes:
   • Específicos de la postura: Resúmenes separados para las posiciones de "Acuerdo" y "Desacuerdo".
   • Fusionados: Un resumen equilibrado que sintetiza ambos puntos de vista utilizando un lenguaje neutral, enfatizando la representación equitativa y la inclusión de evidencia de ambos lados, eliminando frases con carga emocional.
4. Generación de Artículos de Noticias: Se generan artículos de noticias completos condicionados a un tema seleccionado y al resumen de múltiples perspectivas fusionado correspondiente. El sistema utiliza GPT-4o para expandir estos resúmenes en narrativas coherentes, permitiendo la generación de artículos equilibrados o neutrales.
5. Detección y Neutralización de Sesgos:
   • Detección: Un módulo de análisis de sesgo a nivel de oración utiliza un clasificador RoBERTa ajustado (entrenado con el conjunto de datos BABE) para detectar oraciones sesgadas y asignar probabilidades de sesgo. Un clasificador complementario (GusNet) categoriza los tipos de sesgo (político, demográfico, socioeconómico).
   • Neutralización: Un flujo de mitigación de dos etapas reescribe las oraciones sesgadas. Primero, modelos codificador-decodificador ajustados (BART o T5) intentan reescribir las oraciones en formulaciones neutrales. Si estos fallan, se activa una reescritura de respaldo basada en GPT.

Contribuciones Clave

• Marco Unificado: AutoJourn se presenta como el primer prototipo que operacionaliza la extracción de perspectivas, la síntesis de múltiples perspectivas, la generación de noticias controlada y la evaluación de sesgos de forma conjunta dentro de un único sistema demostrable para el periodismo automatizado.
• Interfaz Interactiva: El sistema proporciona una interfaz para el usuario donde este puede inspeccionar clústeres de perspectivas, comparar resúmenes específicos de posturas, generar artículos de noticias y aplicar reescrituras conscientes del sesgo. Incluye funciones para resaltar oraciones sesgadas con puntuaciones de confianza e insertar alternativas neutralizadas.
• Informes Exhaustivos: El sistema genera un informe completo en PDF que agrega las conversaciones de origen, las perspectivas extraídas, los resúmenes, los artículos generados, las anotaciones de sesgo y las versiones neutralizadas.

Resultados
El sistema fue evaluado utilizando métricas intrínsecas a través de cuatro ejes:

• Extracción de Perspectivas: Evaluado en los conjuntos de datos SocialChem-101 y CMV utilizando métricas de diversidad semántica (distancias de coseno por pares). Las variantes de GPT-4o lograron los puntajes de diversidad semántica más altos entre los modelos reportados. Curiosamente, la variante aumentada por RAG mostró una diversidad bruta ligeramente inferior que el diseño de solo prompting, lo que llevó a los autores a utilizar el enfoque de solo prompting en la demostración.
• Resumen: Evaluado mediante un protocolo de "LLM como juez" para fidelidad y cobertura, así como puntajes de fluidez superficial (Grammarly). Los resúmenes fusionados mostraron una fluidez ligeramente inferior que los resúmenes específicos de postura, un compromiso aceptado para asegurar una representación equilibrada.
• Detección de Sesgo: El sistema integra detectores existentes para proporcionar mapas de sesgo transparentes e interpretables sobre los artículos generados.
• Neutralización de Sesgo: Evaluado en un conjunto de prueba (WNC split) y conjuntos de prueba de BABE y noticias generadas. El flujo de trabajo de BART + respaldo de LLM logró la mayor reducción de sesgo (91.5%) con solo una caída menor en la similitud léxica (ROUGE-L ≈ 0.96), confirmando la utilidad del mecanismo de respaldo para casos difíciles.

Significancia y Reivindicaciones
El artículo afirma que AutoJourn ofrece un camino práctico hacia aplicaciones de los LLM más transparentes y socialmente responsables en la producción de noticias. Al combinar interpretabilidad, diversidad de puntos de vista y mitigación de sesgos, el sistema permite a los usuarios rastrear cómo los puntos de vista se propagan desde las discusiones de origen hacia las narrativas generadas y evaluar el sesgo de esas narrativas mediante un análisis explícito impulsado por modelos. Los autores posicionan este trabajo no como un benchmark definitivo para cada submódulo, sino como una demostración de cómo estos componentes pueden integrarse conjuntamente para apoyar a periodistas e investigadores en la exploración del periodismo automatizado responsable. El sistema está disponible como una demo en vivo y accesible públicamente para facilitar la reproducibilidad y la investigación futura.