Can Commercial LLMs Be Parliamentary Political Companions? Comparing LLM Reasoning Against Romanian Legislative Expuneri de Motive

Titel: Kunnen commerciële Large Language Models (LLMs) fungeren als parlementaire politieke assistenten?

Vergelijking van LLM-resoneren met Roemeense wetgevende Expuneri de Motive (Motiveringen)

---

1. Het Probleem en de Context

Politieke besluitvorming vindt plaats onder voorwaarden van beperkte rationaliteit (bounded rationality): wetgevers hebben te maken met een enorme stroom aan beleidsvoorstellen en beperkte cognitieve middelen. Ze vertrouwen traditioneel op adviseurs (personeel, denktanks) om informatie te filteren en te synthetiseren.

De opkomst van commerciële LLMs introduceert een nieuw potentieel adviesinstrument. Echter, de huidige literatuur focust voornamelijk op:

• Abstracte politieke bias-tests (vaak in het Engels en gericht op de VS).
• LLMs als simulatie-objecten of bedreigingen voor democratie.

Er ontbreekt een empirisch antwoord op de praktische vraag: Kunnen wetgevers zich op dagelijkse basis verlaten op commerciële LLMs voor juridisch en politiek advies? Specifiek wordt onderzocht of deze modellen betrouwbare redeneringen kunnen genereren die overeenkomen met officiële wetgevende motiveringen (expuneri de motive) in een niet-Anglofone context (Roemenië).

2. Methodologie

Het onderzoek volgt een drie-staps pipeline om zes LLMs te evalueren tegenover "ground truth" data.

• Dataset:

  • 15 Roemeense wetsvoorstellen van de Senaat en het Huis van Afgevaardigden.
  • Elk paar bestaat uit de wetswijziging en de officiële expuneri de motive (de motivering).
  • De teksten variëren in lengte (2.000–35.000 tekens) en behandelen arbeidsrecht, strafrecht en administratieve procedures.
  • Alle data is in het Roemeens.

• Geëvalueerde Modellen (6 modellen, 3 aanbieders):

  • OpenAI: GPT-5-mini (redenerend), GPT-5-chat (niet-redenerend).
  • Anthropic: Claude Haiku 4.5 (efficiënte frontier).
  • Meta (Open-weight): Llama 4 Maverick (MoE, 17B/400B), Llama 3.3 70B, Llama 3.1 8B.
  • Doel: Vergelijken van provider-families, schaal (parameters), architectuur (dense vs. MoE) en redeneercapaciteiten.

• Generatie:

  • Elk model krijgt een vaste prompt om als Roemeens wetgevingsexpert de motivering te genereren.
  • 5 onafhankelijke runs per model-inputcombinatie (totaal 450 traces).

• Evaluatie Framework (Dual Approach):

  1. LLM-as-Judge: Een derde LLM beoordeelt de output op een 5-puntsschaal in drie dimensies:
     • Argument Coverage: Zijn de kernargumenten van de officiële tekst aanwezig?
     • Factual Alignment: Zijn feiten, statistieken, artikelnummers en instanties correct?
     • Exposé des Motifs Closeness: Holistische semantische gelijkenis.
  2. Programmatieke Metrics: N-gram overlap (ROUGE), token-set metrics, embedding-based cosine similarity, en domeinspecifieke metrics (overlap van juridische entiteiten).

• Theoretisch Kader:

  • Hoofdpersoon-Agent Theorie: De wetgever is de principal, de LLM is de agent. Er is sprake van informatieasymmetrie en het risico op adverse selection (keuze van een slecht model) en moral hazard.
  • Beperkte Rationaliteit: LLMs kunnen zowel de beperkingen van de wetgever verhelpen als verergeren door "System 1" heuristieken (vlotte maar onjuiste output) te kopiëren.

3. Belangrijkste Resultaten

A. Twee-Tier Structuur (Frontier vs. Open-Weight)

Er is een scherpe scheidslijn tussen twee niveaus van prestatie:

• Tier 1 (Frontier): Claude Haiku 4.5, GPT-5-chat en GPT-5-mini. Deze zijn statistisch niet van elkaar te onderscheiden op semantische gelijkenis (gemiddelde score > 4.6/5.0).
• Tier 2 (Open-Weight): Llama 4 Maverick, Llama 3.3 70B en Llama 3.1 8B. Deze scoren een volledige tier lager (gemiddeld ~3.75–4.00).
• Conclusie: De provider-familie en trainingsdata zijn belangrijker dan de schaal (aantal parameters) binnen een familie. Het vergroten van Llama van 8B naar 70B parameters levert slechts een marginale verbetering op (Cohen's d = 0.41).

B. Het "Efficiënte Frontier"-Verrassing

• Claude Haiku 4.5 presteert holistisch even goed als de zwaardere GPT-5-modellen.
• Asymmetrisch Profiel: Hoewel Haiku uitstekende argumenten selecteert (Coverage), faalt het vaker in feitelijke nauwkeurigheid (Fact Alignment). Het genereert plausibele structuren met verzonnen artikelnummers of data. Dit creëert een "Competence Trap": de output ziet er professioneel uit (System 1 heuristiek), maar bevat verborgen feitelijke fouten die alleen door domeinexperts te detecteren zijn.

C. Redeneren vs. Kennis

• De "redenerende" variant (GPT-5-mini) verbetert de volledigheid van argumenten ten opzichte van de niet-redenerende variant (GPT-5-chat), maar verbetert niet de algehele kwaliteit.
• De bottleneck is niet de redeneerdiepte (Chain-of-Thought), maar de domeinkennis en trainingsdata-coverage.

D. Taak-afhankelijke Confabulatie

• Makkelijke taken: Wetten die EU-richtlijnen implementeren of procedurele wijzigingen zijn goed te voorspellen (hoge scores).
• Moeilijke taken: Politiek idiosyncratische voorstellen (bijv. fondsen toewijzen aan specifieke religieuze instellingen) leiden tot "plausibele maar ongegronde" redeneringen.
• Het risico is niet ideologische bias, maar contextuele onwetendheid door gebrek aan trainingsdata voor specifieke Roemeense politieke contexten.

E. Metrische Divergentie

• Er is een geen correlatie (r = -0.04) tussen embedding-based cosine similarity en de semantische kwaliteit beoordeeld door de LLM-as-Judge.
• Traditionele metrics (ROUGE) onderscheiden modellen slecht. Dit betekent dat goedkope, geautomatiseerde monitoring proxies onbetrouwbaar zijn voor juridische tekst.

4. Kernbijdragen

1. Eerste Practitioner-Oriented Evaluatie: Eerste empirische studie die commerciële LLMs test als politieke adviseurs met echte parlementaire data (Roemenië), in plaats van abstracte quizzen.
2. Herdefinitie van Bias: De grootste bedreiging voor wetgevers is niet stabiele ideologische bias, maar taak-afhankelijke confabulatie veroorzaakt door trainingsdata-coverage. Modellen kunnen neutraal lijken in tests maar misleidend advies geven in specifieke juridische contexten.
3. Concept: Cascading Bounded Rationality: Een nieuw raamwerk dat beschrijft hoe fouten zich vermenigvuldigen in een keten van beperkte actoren:
   • De Principal (wetgever) heeft beperkte tijd.
   • De Agent (LLM) heeft beperkte kennis.
   • De Monitor (evaluatiemodel) heeft beperkte domeinkennis.
   • Een hallucinatie door de LLM overleeft de monitoring en beïnvloedt de wetgever, omdat geen van de drie lagen de volledige waarheid kan verifiëren.

5. Significantie en Implicaties

• Adverse Selection: Wetgevers kunnen geen betrouwbare kwaliteitsindicatoren vinden in de markt (prijs, parameteraantal). Een goedkoop model (Haiku) kan even goed presteren als een duur model, maar met andere valkuilen.
• Monitoring Kosten: De monitoring van LLM-advies vereist aanzienlijk meer menselijke expertise dan andere toepassingen, omdat oppervlakkige metrics falen.
• Institutioneel Ontwerp: LLMs moeten niet als autonome adviseurs worden ingezet, maar als hulpmiddelen die gekoppeld zijn aan menselijke verificatie, met name voor politiek complexe, niet-standaard wetsvoorstellen.
• Epistemologisch Risico: Het probleem verschuift van een politiek-ideologisch probleem naar een epistemologisch probleem: LLMs lijken competent maar missen de contextuele diepgang die nodig is voor specifieke nationale wetgeving.

Conclusie: Commerciële LLMs kunnen waardevolle politieke compagnons zijn voor gestructureerde, goed gedocumenteerde taken (zoals EU-transposities), maar vormen een significant risico bij politiek complexe, idiosyncratische vraagstukken vanwege hun neiging tot plausibele maar feitelijke onjuiste redeneringen.