Elite Polarization in European Parliamentary Speeches: a Novel Measurement Approach Using Large Language Models

Resumen Técnico: Polarización de las Élites en los Discursos Parlamentarios Europeos

Enunciado del Problema
La ciencia política comparada ha reconocido desde hace tiempo que la hostilidad emocional mutua entre las élites políticas puede desestabilizar las democracias más rápidamente que los agravios a nivel de masas. Sin embargo, las herramientas de medición existentes no logran capturar directamente este fenómeno específico. Las medidas comparativas actuales suelen centrarse ya sea en la polarización afectiva de las masas (sentimiento del público hacia los partidos) o en la distancia ideológica de las élites (posiciones políticas). Existe una brecha metodológica significativa en cuanto a la evaluación mutua dirigida de las élites: el sentimiento específico que un actor político expresa hacia otro dentro del discurso oficial. Los métodos tradicionales, como la agregación de encuestas, están limitados por la frecuencia y el alcance geográfico, mientras que la codificación manual o el Procesamiento del Lenguaje Natural (PLN) basado en diccionarios carece de la escalabilidad, la capacidad multilingüe y la matices contextuales necesarios para analizar millones de referencias parlamentarias a través de múltiples idiomas y décadas.

Metodología
El artículo introduce la Puntuación de Polarización de las Élites (EPS), un enfoque de medición novedoso que utiliza Modelos de Lenguaje de Gran Tamaño (LLM) para analizar discursos parlamentarios. La metodología implica una pipeline de múltiples etapas:

1. Desagregación de la Unidad de Análisis: A diferencia del análisis de sentimientos tradicional que asigna una sola puntuación a un discurso completo, este enfoque desagrega la unidad de análisis hasta la referencia individual. El LLM identifica cada instancia en la que un político menciona a otro actor político.
2. Extracción de Actor, Objetivo y Sentimiento: Mediante el uso de un prompt estandarizado y razonamiento de Cadena de Pensamiento (Chain-of-Thought), el LLM extrae:
   • El orador y el actor objetivo.
   • El contexto específico de la referencia.
   • El sentimiento dirigido específicamente al actor objetivo (distinguiendo la evaluación del actor de la evaluación de sus circunstancias).
   • El sentimiento se puntúa en una escala de −5 (desagrada fuertemente) a +5 (agrada fuertemente).
3. Estandarización y Vinculación de Entidades: Las referencias heterogéneas (por ejemplo, "Primer Ministro", "Orbán", "Fidesz") se estandarizan en díadas de partidos. Este proceso combina scripts de búsqueda deterministas con coincidencia difusa asistida por LLM para resolver las entidades nombradas hacia sus partidos políticos específicos dentro de un contexto país-año dado.
4. Agregación: El sistema calcula un promedio ponderado de las evaluaciones hacia partidos externos.
   • Nivel de Partido: Las evaluaciones se ponderan por la proporción de referencias (con qué frecuencia se menciona al partido objetivo).
   • Nivel Parlamentario: Las puntuaciones a nivel de partido se agregan utilizando ponderaciones de cuota de votos.
   • La puntuación final invierte el signo para que los valores más altos indiquen mayor negatividad (polarización).
5. Protocolo de Validación: Los autores emplean un estándar de unión "supergold" construido mediante coincidencia difusa asistida por LLM. Codificadores humanos y la IA anotan la misma muestra de discursos; la unión de las referencias válidas identificadas por cualquiera de los dos sirve como verdad fundamental. Esto evita penalizar a la IA por identificar referencias válidas que los humanos pasaron por alto.

Contribuciones Clave

• Innovación Conceptual: La EPS ocupa un cuadrante previamente no medido en la tipología de la polarización: polarización afectiva a nivel de élites basada en evaluaciones dirigidas hacia partidos externos en el discurso. Se distingue de la distancia ideológica, el sentimiento general, la incivilidad y la polarización afectiva de las masas.
• Escalabilidad Metodológica: El enfoque aprovecha LLMs preentrenados (específicamente GPT-4o y alternativas de pesos abiertos) que operan a través de idiomas (húngaro, italiano, inglés) sin necesidad de entrenamiento o ajuste fino específicos para la tarea. Esto permite el primer panel longitudinal, multilingüe y viable de polarización de las élites.
• Validación Técnica: El estudio demuestra que los LLM pueden lograr alta sensibilidad (recordando más referencias que los codificadores humanos en algunos contextos) y alto acuerdo en el sentimiento (Error Absoluto Medio de 0.85–1.48 en una escala de 10 puntos) con los codificadores humanos. Crucialmente, la Tasa de Falsos Descubrimientos (FDR) fue cero en todas las muestras de validación, confirmando que cada referencia identificada por la IA tenía un anclaje textual genuino.

Resultados
La metodología se aplicó a corpus parlamentarios del Reino Unido (1987–2020), Hungría (2002–2023) e Italia (2013–2022).

• Hungría: La EPS captura la consolidación del régimen y la reconfiguración del sistema de partidos. La polarización alcanzó su punto máximo en 2018–2019, en lugar de durante la fase inicial de la ampliación del poder ejecutivo (2010–2011), lo que sugiere que la medida refleja la reacción de la oposición y el nuevo equilibrio del sistema más que la toma de posesión institucional inmediata.
• Reino Unido: El índice muestra una tendencia en forma de U (disminuyendo después de 1997, aumentando después de 2010). Es empíricamente distinto de los índices de polarización afectiva de las masas y de la polarización ideológica; notablemente, durante el período del Brexit, la polarización de las élites no se disparó a pesar de la alta tensión pública e ideológica, lo que indica que la retórica parlamentaria permaneció restringida por las normas institucionales.
• Italia: La medida es altamente sensible a la dinámica de coaliciones. La negatividad hacia partidos externos disminuye cuando antiguos rivales entran juntos al gobierno (por ejemplo, el gobierno de unidad Draghi) y aumenta cuando regresan a la oposición.
• Validación: El enfoque distingue con éxito entre diferentes tipos de polarización. En el caso del Reino Unido, la EPS mostró una baja correlación con la polarización afectiva de las masas en años posteriores, confirmando que mide un fenómeno distinto a nivel de élites.

Significado y Afirmaciones
El artículo afirma que la Puntuación de Polarización de las Élites proporciona una base escalable y transnacional para futuras investigaciones sobre las causas y consecuencias de la hostilidad entre las élites.

• Distintividad: La medida es conceptual y empíricamente distinta de las métricas existentes, ofreciendo una nueva lente para estudiar la estabilidad democrática sin depender de datos centrados en EE. UU. o encuestas de masas.
• Viabilidad: El estudio demuestra que los LLM pueden realizar análisis de texto político fino (detección de actores y atribución de sentimientos) a una escala previamente imposible, superando la necesidad de codificación manual costosa o estudios estrechos de un solo país.
• Utilidad Futura: Los autores postulan que esta medida permite a los académicos tratar la polarización de las élites tanto como variable dependiente (estudiando qué la produce, como elecciones o crisis) como variable independiente (estudiando qué produce, como retroceso democrático o escalada populista). La pipeline está diseñada para extenderse a los 29 estados miembros de la UE a través del corpus ParlaMint, creando potencialmente un panel de toda la UE de veinte años.