Resumen Técnico: Polistemics – Evaluando los LLM como mediadores de información en política y elecciones

Planteamiento del problema

A medida que los Modelos de Lenguaje de Gran Tamaño (LLM) funcionan cada vez más como mediadores primarios de información para los ciudadanos —reemplazando o aumentando los motores de búsqueda tradicionales y las Aplicaciones de Asesoramiento Electoral (VAA)— no existe un marco estandarizado para evaluar si median la información política de manera responsable. Las evaluaciones previas han tratado esta tarea mayoritariamente como reproducción (verificar si un LLM recuerda correctamente la postura de un partido) en lugar de mediación (cómo el modelo selecciona, encuadra y comunica la información bajo condiciones imperfectas). Esta omisión deja sin abordar dimensiones epistémicas críticas: específicamente, cómo los modelos manejan la información ausente, vaga o contradictoria, y si preservan la agencia epistémica de los ciudadanos al evitar una confianza injustificada o un direccionamiento persuasivo.

Metodología: El Benchmark POLISTEMICS

Los autores introducen POLISTEMICS, un benchmark fundamentado en la teoría, diseñado para evaluar los LLM como mediadores de información política en contextos electorales. La metodología consta de tres componentes principales:

1. Marco Teórico: Modestia Epistémica

La evaluación se basa en el estándar normativo de la Modestia Epistémica, derivado del concepto de agencia epistémica del ciudadano. Este marco define tres rasgos de comportamiento esenciales requeridos para una mediación responsable:

• Fidelidad (Faithfulness): Representar con precisión el contexto proporcionado sin fabricaciones, distorsiones u omisiones.
• Imparcialidad (Impartiality): Comunicar la información sin un direccionamiento evaluativo, encuadre o juicio normativo injustificado (preservando el carácter pluralista de la retórica política).
• Calibración Epistémica (Epistemic Calibration): Expresar niveles de certeza que coincidan con los límites de la evidencia (por ejemplo, abstenerse o señalar la incertidumbre cuando la evidencia es inexistente o vaga).

2. Diseño Experimental

El benchmark operacionaliza estos rasgos mediante experimentos controlados que simulan las complejidades de la recuperación de información en el mundo real.

• Fuente de Datos: Datos oficiales de posición de partidos de las elecciones alemanas del Bundestag 2025 (7 partidos, 38 declaraciones) y de las elecciones neerlandesas de la Tweede Kamer 2025 (8 partidos, 30 declaraciones), obtenidos de Wahl-O-Mat y StemWijzer.
• Entornos de Información (IE): Los autores construyen cinco variantes controladas del contexto para probar la robustez del modelo:
  • Línea base (Baseline): Evidencia clara y de fuente única.
  • Condiciones Inconclusas: Ausente (sin evidencia), Vaga (postura oscurecida por evasión retórica) y Contradictoria (evidencia conflictiva de partidos opuestos).
  • Condiciones de Interferencia: Ruidosa (evidencia enterrada entre distractores) y Contrafáctica (evidencia que entra en conflicto con los conocimientos previos internos del modelo).
• Modelos Evaluados: Tres modelos de vanguardia que impulsan chatbots públicos: Qwen3.6 Flash, GPT-5.4 y Claude Sonnet 4.6.
• Protocolo de Evaluación: Un marco de LLM-como-Juez utilizando un panel de tres modelos jueces distintos (Gemini 3 Flash, DeepSeek V4, MiMo-V2.5) para calificar las salidas en 13 subpreguntas (SQ) a través de las tres rúbricas. Las puntuaciones se agregan en un Índice de Adherencia por rúbrica y un Índice de Modestia Epistémica (EMI) final.

3. Estudios de Ablación

Para aislar los factores que impulsan el sesgo, los autores realizaron ablaciones dirigidas:

• Anonimización de Etiquetas: Reemplazar los nombres de los partidos con etiquetas genéricas para probar si las disparidades son impulsadas por la identidad del partido (conocimientos previos) en lugar de la evidencia.
• Idioma de Salida: Forzar la salida en inglés manteniendo la evidencia en el idioma nativo para probar si la traducción afecta la "sanitización" de la retórica política.

Resultados Clave

La evaluación de los tres modelos a través de las elecciones alemanas y neerlandesas de 2025 revela que, si bien las puntuaciones agregadas son altas, estas enmascaran fallos sistemáticos bajo condiciones específicas.

1. Rendimiento General

• Claude logró el Índice de Modestia Epistémica más alto (92.6%), seguido de GPT (91.2%) y Qwen (87.1%).
• Imparcialidad fue la rúbrica con mayor puntuación (98%), mientras que la Calibración Epistémica fue la más desafiante (87%).
• Los modelos alcanzaron niveles cercanos al techo en condiciones de Interferencia (Ruidosa, Contrafáctica), lo que sugiere que los modelos actuales son robustos ante la distracción y la evidencia externa conflictiva.

2. Modos de Fallo en Entornos Inconclusos

Se produjeron caídas significativas de rendimiento en las condiciones Inconclusas, revelando distintos modos de fallo:

• Evidencia Ausente: GPT demostró una Modestia Epistémica ideal al abstenerse por completo. Claude y Qwen reconocieron la falta de evidencia, pero frecuentemente recurrieron a su conocimiento paramétrico interno para responder de todos modos, coincidiendo con la verdad de base en muchos casos, pero violando los límites epistémicos.
• Evidencia Vaga: El rendimiento cayó principalmente debido a fallos en la Calibración Epistémica (no señalar la incertidumbre) y la Fidelidad (fabricar posturas). Los modelos respondieron con confianza a pesar de que la evidencia era no determinable.
• Evidencia Contradictoria: Los modelos tuvieron dificultades para representar ambos lados. GPT y Qwen a menudo resolvieron las contradicciones comprometiéndose con el primer fragmento de evidencia, mientras que Claude hizo referencia a ambas posiciones pero no cubrió plenamente ninguna de ellas.

3. Equidad y Conocimientos Previos de los Partidos

• Disparidades de Partidos: Bajo condiciones de línea base, los modelos fueron mayoritariamente equitativos. Sin embargo, las disparidades se ampliaron en condiciones inconclusas, particularmente para partidos específicos (por ejemplo, Die Linke en Alemania, SP en los Países Bajos).
• Rol de los Conocimientos Previos (Priors): Los estudios de ablación sugieren que estas disparidades son impulsadas por los conocimientos previos de los partidos. Cuando se anonimizaron los nombres de los partidos, las disparidades disminuyeron. Los modelos parecieron depender de su conocimiento interno para llenar los vacíos de los partidos con una fuerte representación en sus datos de entrenamiento, mientras que tuvieron dificultades con partidos más nuevos o menos prominentes (por ejemplo, BSW, BBB).
• Sanitización: Una debilidad recurrente fue la Sanitización I4, donde los modelos (particularmente GPT y Qwen) suavizaron la intensidad y distintividad del lenguaje político, arrastrando la retórica hacia un registro neutral. Este efecto fue más pronunciado para partidos con una retórica alejada del nivel "neutral" implícito del modelo (por ejemplo, AfD).

Significado y Reivindicaciones

El artículo afirma que POLISTEMICS proporciona la primera auditoría estandarizada y fundamentada en la teoría para los LLM como mediadores de información política. Sus principales contribuciones son:

1. Cambio del Paradigma de Evaluación: Pasar de la simple exactitud de la postura (reproducción) a evaluar el proceso de mediación (fidelidad, imparcialidad, calibración) bajo información imperfecta.
2. Identificación de Riesgos Sistémicos: Demostrar que las altas puntuaciones agregadas pueden ocultar fallos localizados donde más importan: cuando la evidencia es inexistente, vaga o contradictoria. En estos escenarios, los modelos a menudo presentan evidencia ambigua como algo resuelto, creando una "ilusión de certeza" que socava la agencia epistémica del ciudadano.
3. Énfasis en el Rol de los Conocimientos Previos: Mostrar que el comportamiento del modelo no es puramente impulsado por la evidencia, sino que está moldeado por los conocimientos previos de los partidos y la prominencia en los datos de entrenamiento, lo que conduce a una mediación desigual entre los diferentes actores políticos.

Los autores concluyen que, si bien una mediación fiable es alcanzable (como muestra la abstención de GPT en condiciones de ausencia), ningún modelo actual la ofrece de manera consistente en todos los entornos de información. Argumentan que la mediación de información democrática requiere modelos que no solo sean políticamente imparciales, sino también fieles a la evidencia y epistémicamente calibrados ante la incertidumbre. El artículo no sostiene que los LLM sean inherentemente inseguros, sino que su despliegue actual en la infraestructura cívica sin una auditoría estandarizada plantea riesgos para la calidad del discurso público y la toma de decisiones electorales.