Graph-Augmented LLMs for Swiss MP Ideology Prediction

Technische Samenvatting: Grafiek-geaugmenteerde LLM's voor Ideologische Voorspelling van Zwitserse Parlementsleden

Probleemstelling
Het benaderen van de ideologische posities van parlementsleden (MP's) is een fundamentele taak in de politieke wetenschap, traditioneel bereikt door het analyseren van wetgevend gedrag, toespraken en stemregistraties. Hoewel Large Language Models (LLM's) veelbelovend hebben aangetoond in het schatten van deze standpunten uit tekstuele bronnen, lijden bestaande benaderingen onder twee primaire beperkingen:

1. Aanneming van Onafhankelijkheid: Ze behandelen MP's doorgaans als onafhankelijke tekstgeneratoren, waarbij ze de rijke relationele structuur van parlementaire systemen negeren (bijvoorbeeld netwerken van mede-sponsoring, commissieleden, partijblokken).
2. Beperkingen in Gegevens en Afhankelijkheden: LLM-gebaseerde methoden hebben vaak moeite in situaties met weinig gegevens of wanneer langetermijnavhankelijkheden over meerdere parlementaire zittingen vereist zijn.

Huidige methoden slagen er niet in om het "breder en informatiever beeld" te benutten dat wordt geboden door de complexe interactie van actoren en elementen binnen een parlement, ondanks bewijs dat relationele informatie representaties substantieel kan verrijken.

Methodologie: PG-RAG Framework
De auteurs stellen PG-RAG (Political Graph Retrieval-Augmented Generation) voor, een framework ontworpen om grafiekgestructureerde kennis te integreren in LLM-voorspellingspiplines. De methodologie verloopt in drie fasen:

1. Constructie van een Politieke Kennisgrafiek (KG):
   Het systeem maakt gebruik van een KG opgebouwd uit het Bulletin van het Zwitserse Parlement, waarin het wetgevingsproces wordt gecodeerd. Het schema omvat entiteiten zoals Pursuit (wetgevingsvoorstellen) en Speech, gekoppeld door temporele afhankelijkheden en verrijkt met metadata over MP's, partijen en commissies.

2. Extractie van Subgrafieken:
   Voor een doel-MP extrahert het systeem specifieke subgrafieken uit de KG op basis van drie paradigma's, gerangschikt op complexiteit:

   • Speech-centric (SP): Haalt alle toespraken op die gekoppeld zijn aan de MP. Dit dient als tekstuele baseline.
   • MP-centric (MP): Extrahert een 1-hop subgrafiek die institutionele relaties vastlegt, waaronder partijaffiliatie, parlementaire fractie, commissieleden en geografische vertegenwoordiging.
   • Pursuit-centric (PR): Extrahert een 2-hop subgrafiek gericht op wetgevende initiatieven die door de MP zijn gesponsord of mede-gesponsord.

3. Contextcodering en Generatie:
   De geëxtraheerde subgrafieken worden gecodeerd in de LLM-context met behulp van twee strategieën:

   • Samenvatting (S): De subgrafiek-triplets worden geserialiseerd naar natuurlijke taalstatements en samengevat door een LLM (GPT-5) om een gestructureerde tekstuele representatie van de politieke context van de MP te creëren.
   • Raw-Graph (R): De subgrafiek wordt direct aangeleverd als een ruwe set van knopen en relaties (JSON-formaat uit Neo4j), waarbij expliciete relatietypes en attributen zonder samenvatting behouden blijven.

Het framework evalueert deze combinaties (bijvoorbeeld MP-S, MP-R, SP-R) tegen standaard baselines om ideologiescores te voorspellen (gekaart op een links-rechts schaal) op basis van de identiteit, partij en groepsinformatie van de MP.

Experimentele Opstelling

• Dataset: Gegevens van de Zwitserse Nationale Raad (lagerhuis) die de 50e wetgevingsperiode (2015–2019) bestrijken, bestaande uit 225 unieke MP's.
• Ground Truth: Ideologiescores afgeleid van een willekeurige steekproef van 1.000 geregistreerde stemmen, geschaald met behulp van een Item Response Theory (IRT)-model met twee parameters.
• Baselines:
  • Naive: Globaal Gemiddelde, Partijgemiddelde, Partijblok-gemiddelde.
  • LLM's: GPT-5, Qwen3-8B, Qwen3-32B en Apertus-8B (Zwitserse LLM), getest in zero-shot en few-shot settings.
• Maten: Gemiddelde Absolute Fout (MAE), Gemiddelde Kwadratische Fout (MSE), Root Mean Squared Error (RMSE) en Spearman's Rangcorrelatie (RC).

Belangrijkste Resultaten

• Prestatieverbetering: Het integreren van grafiek-afgeleide kennis verbetert de voorspellingsnauwkeurigheid aanzienlijk. In de zero-shot setting verlaagde de MP-centric subgrafiek met samenvatting (MP-S) de MAE van 0,75 (GPT-5 baseline) naar 0,72.
• Foutreductie: De grafiek-geaugmenteerde aanpak verminderde de MSE opvallend (van 1,06 naar 0,74 voor MP-R in zero-shot), wat de mogelijkheid aantoont om voorspellingen die aanzienlijk afwijken van de ground truth te corrigeren.
• Gevoeligheid voor Modelgrootte: De voordelen van grafiek-augmentatie waren duidelijker voor modellen van kleinere schaal. Qwen-8B toonde procentuele RMSE-verbeteringen variërend van 16,4% tot 22,4% over RAG-settings, vergeleken met 8,7% tot 16,5% voor GPT-5. Dit suggereert dat kleinere modellen zwaarder vertrouwen op externe gestructureerde begeleiding.
• Effectiviteit van Subgrafieken: De MP-centric subgrafiek leverde de beste resultaten op in alle scenario's. De Pursuit-centric subgrafiek presteerde slechter, waarschijnlijk vanwege de grotere omvang en complexiteit, waarmee de LLM's moeite hadden om effectief gebruik te maken.
• Partij-specifieke Uitdagingen: Hoewel het model de algehele coherentie verbeterde, had het specifiek moeite met de Sociaaldemocraten (SP). Het model neigde ertoe SP-leden te voorspellen als meer rechtsgeoriënteerd dan hun stemgedrag aangaf, en slaagde er minder goed in om diversiteit binnen de partij te vangen dan voor andere blokken.

Betekenis en Claims
Het artikel claimt dat het integreren van domeinspecifieke relationele informatie via een grafiek-geaugmenteerde RAG-pijplijn de modellering van politiek gedrag verbetert. Specifiek:

1. Waarde van Relationele Data: De resultaten benadrukken dat het coderen van informatie over verschillende entiteiten en relaties (bovenop ruwe tekst) de voorspellingsprestaties verbetert, met name voor kleinere modellen.
2. Voorbij Tekst: De aanpak toont aan dat het vastleggen van inter-MP-relaties en institutionele contexten LLM's in staat stelt het complexe web dat wetgevend gedrag definieert, beter te begrijpen.
3. Toekomstige Richtingen: De auteurs merken bescheiden op dat hoewel de methode de algemene prestaties verbetert, de aanhoudende moeilijkheid om linksgeoriënteerde partijen (specifiek de Sociaaldemocraten) te voorspellen, wijst op de noodzaak van verder onderzoek naar of dit voortkomt uit heterogene acties van MP's of inherente biases in LLM's met betrekking tot politieke retoriek.

Het werk legt de basis voor toekomstig onderzoek naar het uitbreiden van deze methoden naar bredere datasets en het verfijnen van de modellering van specifieke ideologische nuances binnen parlementaire systemen.