Graph-Augmented LLMs for Swiss MP Ideology Prediction

Resumen Técnico: LLMs Aumentados con Grafos para la Predicción de Ideología de Diputados Suizos

Enunciado del Problema
Aproximar las posiciones ideológicas de los miembros del parlamento (diputados) es una tarea fundamental en la ciencia política, tradicionalmente lograda mediante el análisis del comportamiento legislativo, los discursos y los registros de votación. Si bien los Modelos de Lenguaje Grandes (LLM) han demostrado ser prometedores para estimar estas posturas a partir de fuentes textuales, los enfoques existentes adolecen de dos limitaciones principales:

1. Hipótesis de Independencia: Suelen tratar a los diputados como generadores de texto independientes, ignorando la rica estructura relacional de los sistemas parlamentarios (por ejemplo, redes de copatrocinio, membresías en comisiones y bloques partidistas).
2. Restricciones de Datos y Dependencias: Los métodos basados en LLM a menudo luchan en entornos con pocos datos o cuando se requieren dependencias a largo plazo a través de múltiples sesiones parlamentarias.

Los métodos actuales no logran aprovechar la "imagen más amplia e informativa" proporcionada por la compleja interacción de actores y elementos dentro de un parlamento, a pesar de la evidencia de que la información relacional puede enriquecer sustancialmente las representaciones.

Metodología: Marco PG-RAG
Los autores proponen PG-RAG (Generación Aumentada por Recuperación de Grafos Políticos), un marco diseñado para integrar conocimiento estructurado en grafos en las tuberías de predicción de LLM. La metodología se desarrolla en tres etapas:

1. Construcción del Grafo de Conocimiento Político (KG):
   El sistema utiliza un KG construido a partir del Boletín del Parlamento Suizo, codificando el proceso de elaboración de políticas. El esquema incluye entidades como Pursuit (propuestas legislativas) y Speech (discurso), vinculadas por dependencias temporales y enriquecidas con metadatos sobre diputados, partidos y comisiones.

2. Extracción de Subgrafos:
   Para un diputado objetivo, el sistema extrae subgrafos específicos del KG basándose en tres paradigmas, ordenados por complejidad:

   • Centrado en Discurso (SP): Recupera todos los discursos vinculados al diputado. Esto sirve como una línea base textual.
   • Centrado en Diputado (MP): Extrae un subgrafo de 1 salto que captura relaciones institucionales, incluyendo afiliación partidista, grupo parlamentario, membresías en comisiones y representación geográfica.
   • Centrado en Propuesta (PR): Extrae un subgrafo de 2 saltos centrado en iniciativas legislativas patrocinadas o copatrocinadas por el diputado.

3. Codificación de Contexto y Generación:
   Los subgrafos extraídos se codifican en el contexto del LLM utilizando dos estrategias:

   • Resumen (S): Los tripletes del subgrafo se serializan en declaraciones en lenguaje natural y se resumen mediante un LLM (GPT-5) para crear una representación textual estructurada del contexto político del diputado.
   • Grafo Crudo (R): El subgrafo se proporciona directamente como un conjunto crudo de nodos y relaciones (formato JSON de Neo4j), preservando los tipos de relación y atributos explícitos sin resumen.

El marco evalúa estas combinaciones (por ejemplo, MP-S, MP-R, SP-R) frente a líneas base estándar para predecir puntuaciones de ideología (mapeadas en una escala izquierda-derecha) basándose en la identidad del diputado, el partido y la información del grupo.

Configuración Experimental

• Conjunto de datos: Datos del Consejo Nacional Suizo (cámara baja) que cubren el 50.º período legislativo (2015–2019), que comprende 225 diputados únicos.
• Verdad Terrena: Puntuaciones de ideología derivadas de una muestra aleatoria de 1.000 votos registrados, escaladas utilizando un modelo de Teoría de Respuesta al Ítem (IRT) de dos parámetros.
• Líneas base:
  • Ingenua: Media global, media del partido, media del bloque partidista.
  • LLMs: GPT-5, Qwen3-8B, Qwen3-32B y Apertus-8B (LLM suizo), probados en configuraciones de cero disparos y pocos disparos.
• Métricas: Error Absoluto Medio (MAE), Error Cuadrático Medio (MSE), Raíz del Error Cuadrático Medio (RMSE) y Correlación de Rango de Spearman (RC).

Resultados Clave

• Mejora del Rendimiento: Incorporar conocimiento derivado de grafos mejora significativamente la precisión de la predicción. En la configuración de cero disparos, el subgrafo centrado en diputado con resumen (MP-S) redujo el MAE de 0,75 (línea base GPT-5) a 0,72.
• Reducción del Error: El enfoque aumentado con grafos redujo notablemente el MSE (de 1,06 a 0,74 para MP-R en cero disparos), demostrando la capacidad de corregir predicciones que se desvían sustancialmente de la verdad terrena.
• Sensibilidad al Tamaño del Modelo: Los beneficios de la augmentación con grafos fueron más pronunciados para modelos de menor escala. Qwen-8B mostró mejoras porcentuales en RMSE que oscilaron entre el 16,4 % y el 22,4 % en configuraciones RAG, en comparación con el 8,7 % al 16,5 % para GPT-5. Esto sugiere que los modelos más pequeños dependen más de la guía estructurada externa.
• Efectividad del Subgrafo: El subgrafo centrado en diputado arrojó los mejores resultados en todos los escenarios. El subgrafo centrado en propuesta tuvo un rendimiento inferior, probablemente debido a su mayor tamaño y complejidad, que los LLMs tuvieron dificultades para aprovechar eficazmente.
• Desafíos Específicos por Partido: Si bien el modelo mejoró la coherencia general, tuvo dificultades específicamente con los Socialdemócratas (SP). El modelo tendió a predecir a los miembros del SP como más de derechas de lo que indicaba su comportamiento de votación y no logró capturar la diversidad dentro del partido tan eficazmente como lo hizo para otros bloques.

Significado y Afirmaciones
El artículo afirma que integrar información relacional específica del dominio mediante una tubería RAG aumentada con grafos mejora la modelización del comportamiento político. Específicamente:

1. Valor de los Datos Relacionales: Los resultados destacan que codificar información sobre diferentes entidades y relaciones (más allá del texto crudo) mejora el rendimiento de la predicción, particularmente para modelos más pequeños.
2. Más allá del Texto: El enfoque demuestra que capturar las relaciones entre diputados y los contextos institucionales permite a los LLMs comprender mejor la compleja red que define el comportamiento legislativo.
3. Futuras Direcciones: Los autores notan modestamente que, si bien el método mejora el rendimiento general, la dificultad persistente en predecir partidos de izquierda (específicamente los Socialdemócratas) sugiere la necesidad de una investigación adicional para determinar si esto se debe a acciones heterogéneas de los diputados o a sesgos inherentes en los LLMs respecto a la retórica política.

El trabajo establece una base para futuras investigaciones sobre la extensión de estos métodos a conjuntos de datos más amplios y el refinamiento de la modelización de matices ideológicos específicos dentro de los sistemas parlamentarios.