Graph-Augmented LLMs for Swiss MP Ideology Prediction

Riepilogo Tecnico: LLM Potenziati da Grafi per la Previsione dell'Ideologia dei Membri del Parlamento Svizzero

Enunciato del Problema
Approssimare le posizioni ideologiche dei Membri del Parlamento (MP) è un compito fondamentale nelle scienze politiche, tradizionalmente realizzato analizzando il comportamento legislativo, i discorsi e i registri di voto. Sebbene i Modelli Linguistici di grandi dimensioni (LLM) abbiano dimostrato potenziale nella stima di queste posizioni a partire da fonti testuali, gli approcci esistenti soffrono di due limitazioni principali:

1. Ipotesi di Indipendenza: Trattano tipicamente gli MP come generatori di testo indipendenti, ignorando la ricca struttura relazionale dei sistemi parlamentari (ad esempio, reti di co-patrocinio, appartenenze a commissioni, blocchi di partito).
2. Vincoli di Dati e Dipendenze: I metodi basati su LLM spesso faticano in contesti a bassa disponibilità di dati o quando sono richieste dipendenze a lungo termine attraverso più sessioni parlamentari.

I metodi attuali non riescono a sfruttare il "quadro più ampio e informativo" fornito dall'interazione complessa tra attori ed elementi all'interno di un parlamento, nonostante le evidenze che le informazioni relazionali possano arricchire sostanzialmente le rappresentazioni.

Metodologia: Framework PG-RAG
Gli autori propongono PG-RAG (Political Graph Retrieval-Augmented Generation), un framework progettato per integrare conoscenza strutturata a grafo nelle pipeline di previsione degli LLM. La metodologia procede in tre fasi:

1. Costruzione del Grafo di Conoscenza Politica (KG):
   Il sistema utilizza un KG costruito dal Bollettino del Parlamento Svizzero, che codifica il processo di formazione delle politiche. Lo schema include entità come Pursuit (proposte legislative) e Speech (discorsi), collegate da dipendenze temporali e arricchite con metadati riguardanti MP, partiti e commissioni.

2. Estrazione di Sottografi:
   Per un MP target, il sistema estrae sottografi specifici dal KG basandosi su tre paradigmi, ordinati per complessità:

   • Centrato sul Discorso (SP): Recupera tutti i discorsi collegati all'MP. Questo funge da baseline testuale.
   • Centrato sull'MP (MP): Estrae un sottografo a 1-hop che cattura relazioni istituzionali, inclusa l'affiliazione di partito, il gruppo parlamentare, le appartenenze a commissioni e la rappresentanza geografica.
   • Centrato sulla Pursuit (PR): Estrae un sottografo a 2-hop focalizzato sulle iniziative legislative sponsorizzate o co-sponsorizzate dall'MP.

3. Codifica del Contesto e Generazione:
   I sottografi estratti vengono codificati nel contesto dell'LLM utilizzando due strategie:

   • Sintesi (S): I tripletto del sottografo vengono serializzati in affermazioni in linguaggio naturale e sintetizzati da un LLM (GPT-5) per creare una rappresentazione testuale strutturata del contesto politico dell'MP.
   • Grafo Grezzo (R): Il sottografo viene fornito direttamente come insieme grezzo di nodi e relazioni (formato JSON da Neo4j), preservando tipi di relazione e attributi espliciti senza sintesi.

Il framework valuta queste combinazioni (ad esempio, MP-S, MP-R, SP-R) rispetto a baseline standard per prevedere punteggi ideologici (mappati su una scala sinistra-destra) basandosi sull'identità dell'MP, sul partito e sulle informazioni di gruppo.

Configurazione Sperimentale

• Dataset: Dati del Consiglio Nazionale svizzero (camera bassa) relativi al 50º periodo legislativo (2015–2019), comprendenti 225 MP unici.
• Verità di Riferimento: Punteggi ideologici derivati da un campione casuale di 1.000 voti registrati, scalati utilizzando un modello di Teoria della Risposta all'Item (IRT) a due parametri.
• Baseline:
  • Naive: Media Globale, Media di Partito, Media del Blocco di Partito.
  • LLM: GPT-5, Qwen3-8B, Qwen3-32B e Apertus-8B (LLM svizzero), testati in configurazioni zero-shot e few-shot.
• Metriche: Errore Assoluto Medio (MAE), Errore Quadratico Medio (MSE), Radice dell'Errore Quadratico Medio (RMSE) e Correlazione di Rango di Spearman (RC).

Risultati Chiave

• Miglioramento delle Prestazioni: L'integrazione di conoscenza derivata da grafi migliora significativamente l'accuratezza della previsione. Nella configurazione zero-shot, il sottografo centrato sull'MP con sintesi (MP-S) ha ridotto il MAE da 0,75 (baseline GPT-5) a 0,72.
• Riduzione dell'Errore: L'approccio potenziato da grafi ha notevolmente ridotto l'MSE (da 1,06 a 0,74 per MP-R in zero-shot), dimostrando la capacità di correggere previsioni che si discostano sostanzialmente dalla verità di riferimento.
• Sensibilità alla Dimensione del Modello: I benefici dell'augmentazione tramite grafi sono stati più pronunciati per modelli di scala inferiore. Qwen-8B ha mostrato miglioramenti percentuali dell'RMSE che vanno dal 16,4% al 22,4% attraverso le impostazioni RAG, rispetto all'8,7% - 16,5% per GPT-5. Ciò suggerisce che i modelli più piccoli fanno affidamento più pesantemente su una guida strutturata esterna.
• Efficacia dei Sottografi: Il sottografo centrato sull'MP ha prodotto i migliori risultati in tutti gli scenari. Il sottografo centrato sulla Pursuit ha ottenuto risultati inferiori, probabilmente a causa delle sue dimensioni maggiori e della complessità, che gli LLM hanno faticato a sfruttare efficacemente.
• Sfide Specifiche per Partito: Sebbene il modello abbia migliorato la coerenza complessiva, ha faticato specificamente con i Socialdemocratici (SP). Il modello tendeva a prevedere i membri SP come più orientati a destra rispetto a quanto indicato dal loro comportamento di voto e non riusciva a catturare la diversità interna al partito con la stessa efficacia mostrata per altri blocchi.

Significato e Affermazioni
Il documento afferma che l'integrazione di informazioni relazionali specifiche del dominio tramite una pipeline RAG potenziata da grafi migliora la modellazione del comportamento politico. Nello specifico:

1. Valore dei Dati Relazionali: I risultati evidenziano che codificare informazioni su diverse entità e relazioni (oltre al testo grezzo) migliora le prestazioni di previsione, in particolare per modelli più piccoli.
2. Oltre il Testo: L'approccio dimostra che catturare le relazioni inter-MP e i contesti istituzionali permette agli LLM di comprendere meglio la complessa rete che definisce il comportamento legislativo.
3. Direzioni Future: Gli autori notano modestamente che, sebbene il metodo migliori le prestazioni generali, la difficoltà persistente nella previsione dei partiti di sinistra (in particolare i Socialdemocratici) suggerisce la necessità di ulteriori indagini per determinare se ciò derivi da azioni eterogenee degli MP o da bias intrinseci negli LLM riguardanti la retorica politica.

Il lavoro stabilisce una base per future ricerche volte ad estendere questi metodi a dataset più ampi e a perfezionare la modellazione di sfumature ideologiche specifiche all'interno dei sistemi parlamentari.