Are LLMs More Skeptical of Entertainment News?

Resumen Técnico: ¿Son los LLM más escépticos con las noticias de entretenimiento?

Enunciado del Problema
A medida que los Modelos de Lenguaje Grande (LLM) se despliegan cada vez más para la evaluación automatizada de la credibilidad de las noticias, existe una brecha crítica en la comprensión de si estos sistemas aplican estándares imparciales a través de diferentes géneros periodísticos. Mientras que la investigación previa se ha centrado en el rendimiento agregado de los puntos de referencia y la generalización de dominio, sigue sin estar claro si los LLM clasifican sistemáticamente las noticias de entretenimiento legítimas como "falsas" a tasas más altas que las noticias duras legítimas. Esta preocupación surge porque las convenciones estilísticas del periodismo de entretenimiento —como un enfoque en la vida privada, una presentación impulsada por la narrativa y una vivacidad emocional— se superponen con características superficiales en las que los detectores a menudo confían para señalar la falta de fiabilidad. Si los LLM penalizan desproporcionadamente estas convenciones de género, corren el riesgo de introducir falsos positivos estructurados que sesgan la moderación de plataformas y refuerzan las jerarquías existentes de legitimidad periodística.

Metodología
El estudio emplea un diseño dentro del conjunto de datos utilizando el subconjunto GossipCop del punto de referencia FakeNewsNet, que contiene tanto artículos de chismes de entretenimiento como de noticias duras etiquetados como reales. La investigación utiliza cuatro LLM de vanguardia: DeepSeek-V3.2, GPT-5.2, Claude Opus 4.6 y Gemini 3 Flash. La metodología consta de cuatro componentes distintos:

1. Comparación de Falsos Positivos Dentro del Conjunto de Datos: Los autores comparan las tasas de falsos positivos (FPR) de LLM de cero disparos en dos subconjuntos de artículos reales de GossipCop: chismes de entretenimiento y noticias duras. Los artículos se filtraron y etiquetaron en cuatro categorías (chismes de entretenimiento, noticias duras, opinión, promocional) utilizando un clasificador DeepSeek-V3.2 validado por codificadores humanos. La métrica principal es la diferencia en la FPR ($\Delta$FPR) entre los dos géneros.
2. Experimento de Intercambio de Estilo: Para probar si la asimetría observada es impulsada únicamente por el registro estilístico, 50 artículos reales de entretenimiento se reescribieron en un estilo convencional de noticias duras, preservando las afirmaciones fácticas centrales. Estos artículos reescritos se evaluaron frente a los originales para determinar si los cambios estilísticos por sí solos podían reducir los falsos positivos.
3. Mitigación Basada en Prompts: El estudio investiga si estrategias específicas de prompts pueden reducir los falsos positivos. Una fase exploratoria probó cinco variantes de prompts, lo que llevó a una fase confirmatoria que utilizó un prompt de "rol de experto" (enmarcando el modelo como un verificador de hechos de noticias de entretenimiento) en los falsos positivos de DeepSeek-V3.2. Esta fase incluyó un análisis de compensación para asegurar que la mitigación no degradara la recuperación en noticias falsas reales.
4. Análisis Cualitativo de Errores: Se realizó una codificación manual de 85 casos de falsos positivos muestreados para identificar patrones de error recurrentes, buscando específicamente racionalizaciones que involucraran "inverificabilidad de la vida privada" y "desconfianza a nivel de género".

Resultados Clave
El estudio identifica una clara pero asimetría de género específica del modelo en la clasificación de veracidad de cero disparos:

• Asimetría en Modelos Específicos: DeepSeek-V3.2 y GPT-5.2 exhiben brechas significativas de falsos positivos. DeepSeek-V3.2 clasificó erróneamente noticias de entretenimiento legítimas como falsas a una tasa 10.1 puntos porcentuales más alta que las noticias duras ($p < .001$). GPT-5.2 mostró una brecha similar de 8.8 puntos porcentuales ($p < .001$). En contraste, Claude Opus 4.6 y Gemini 3 Flash no mostraron diferencias estadísticamente significativas en la FPR entre los dos géneros.
• Impacto Limitado de la Reescritura de Estilo: Reescribir artículos de entretenimiento en un estilo de noticias duras produjo cambios solo limitados e inconsistentes en los juicios del modelo. Para DeepSeek-V3.2, la tasa agregada de falsedad permaneció sin cambios después de la reescritura. Para GPT-5.2, la tasa de falsedad en realidad aumentó del 22.0% al 32.0% después de la reescritura. Esto sugiere que la asimetría no es reducible al registro estilístico por sí solo.
• Mitigación de Prompts Específica del Modelo: La mitigación basada en prompts fue efectiva para DeepSeek-V3.2 pero no para GPT-5.2. Enmarcar a DeepSeek-V3.2 como un verificador de hechos de noticias de entretenimiento redujo sus falsos positivos en aproximadamente un 50% (de 155 casos de referencia a 77 corregidos) sin una pérdida estadísticamente significativa en la recuperación de artículos falsos. Sin embargo, la misma familia de prompts ofreció poca mejora para GPT-5.2.
• Patrones de Error: El análisis cualitativo reveló que los falsos positivos a menudo surgían de dos patrones recurrentes: tratar las afirmaciones sobre vidas privadas como inherentemente inverificables y descartar el periodismo de entretenimiento como un género epistémicamente más débil.

Significado y Contribuciones
El artículo hace tres contribuciones principales a la literatura sobre la evaluación de credibilidad mediada por IA:

1. Identificación de Falsos Positivos Estructurados: Demuestra que las métricas de rendimiento agregado pueden ocultar falsos positivos sistemáticos dentro del periodismo legítimo. El estudio revela que los LLM de cero disparos no aplican estándares de credibilidad neutrales en todos los géneros periodísticos, con algunos modelos penalizando significativamente las noticias de entretenimiento.
2. Desenredar el Estilo de las Suposiciones de Género: Al mostrar que los experimentos de intercambio de estilo producen resultados inconsistentes, el artículo argumenta que el escepticismo hacia las noticias de entretenimiento no es meramente una reacción a señales estilísticas, sino que refleja suposiciones más profundas y específicas del modelo sobre la legitimidad del género en sí mismo.
3. Implicaciones Metodológicas y Teóricas: Los hallazgos sugieren que la evaluación de credibilidad basada en LLM no solo evalúa afirmaciones de verdad, sino que también clasifica implícitamente la legitimidad de diferentes formas periodísticas. Esto reproduce jerarquías existentes donde las noticias duras se tratan como más autoritarias que las noticias blandas o de entretenimiento. En consecuencia, los autores argumentan que los protocolos de evaluación deben incluir análisis de falsos positivos estratificados por género junto con la precisión general para garantizar un despliegue responsable.

El estudio concluye que, si bien las estrategias de mitigación como la promoción de roles de expertos pueden ser efectivas para modelos específicos, no son soluciones genéricas. Las asimetrías observadas representan un modo de fallo específico del modelo en lugar de una propiedad inherente de la clasificación de cero disparos, destacando la necesidad de marcos de evaluación que tengan en cuenta cómo diferentes sistemas operacionalizan suposiciones implícitas sobre la legitimidad periodística.