🤖 AI

Informing AI Policy Assessment using Large-Scale Simulation of Interventions

Dit artikel introduceert een methodologie die participatieve evaluatie, expertkostenbeoordeling en op LLM gebaseerde analyse van schadebeperking combineert binnen een genetisch algoritmesimulatie om beleidsmakers te helpen haalbare AI-beleidsopties te identificeren en te prioriteren door diverse afwegingen tussen implementatiekosten, belanghebbendeninbreng en effectiviteit te verkennen.

Oorspronkelijke auteurs: Julia Barnett, Kimon Kieslich, Natali Helberger, Nicholas Diakopoulos

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Julia Barnett, Kimon Kieslich, Natali Helberger, Nicholas Diakopoulos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je burgemeester bent van een bruisende stad en er is een nieuw, krachtig gereedschap gearriveerd: Kunstmatige Intelligentie (KI). Hoewel dit gereedschap verbazingwekkende dingen kan doen, veroorzaakt het ook problemen. Het verspreidt nepnieuws, kost mensen hun baan en maakt krantenkoppen overdreven dramatisch. Je hebt een enorme gereedschapskist vol met honderden verschillende sleutels, hamers en schroevendraaiers (dit zijn beleidsopties) om de problemen op te lossen. Maar je kunt ze niet allemaal tegelijk gebruiken; sommige zijn te duur, sommige zijn moeilijk af te dwingen en sommige lossen het probleem misschien niet eens echt op.

De vraag is: Welke combinatie van gereedschappen kies je om de puinhoop op te lossen zonder de bank te breken of de wensen van de burgers te negeren?

Dit artikel van Barnett en collega's introduceert een nieuwe manier om die vraag te beantwoorden. Zij hebben een "Beleidsimulator" ontwikkeld die fungeert als een high-tech, digitale proef-en-foutmachine. Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige onderdelen:

1. De Drie Ingrediënten van het Recept

Om de beste beleidsmix te vinden, weegt de simulator drie concurrerende ingrediënten tegen elkaar af, zoals een chef die een soep proeft:

De "Schadebeperking"-smaak (Effectiviteit): Stopt dit beleid het slechte KI-gedrag daadwerkelijk? De onderzoekers gebruikten KI om toekomstige verhalen te bedenken waarin deze beleidswijzigingen van kracht waren en vroegen zich af: "Is het probleem verbeterd?"
De "Prijskaartje"-smaak (Kosten): Hoeveel geld en moeite kost het om dit uit te voeren? Een panel van experts (juristen, tech-experts, journalisten) beoordeelde elk beleid van "goedkoop en makkelijk" tot "duur en onmogelijk".
De "Burgerstem"-smaak (Participatie): Wat willen gewone mensen? De onderzoekers vroegen gewone burgers (leken-belanghebbenden) welke beleidsopties zij het belangrijkst vonden en waarmee zij het eens waren.

2. De "Evolutionaire" Zoekmachine

Het probleem is dat er miljarden mogelijke combinaties van beleid bestaan. Als je elke enkele combinatie zou proberen te testen, zou het langer duren dan de leeftijd van het universum.

Om dit op te lossen, gebruikten de auteurs een Genetisch Algorithm. Denk hierbij aan honden fokken of een tuin laten groeien:

Generatie 1: De computer begint met een willekeurige mix van beleid (een "kennel" met puppy's).
De Test: Het controleert welke puppy's de "fitste" zijn (degenen die schadebeperking, lage kosten en hoge burgersteun het beste in evenwicht brengen).
Fokken: Het neemt de beste beleidsopties uit de eerste groep en "smelt" ze samen om een nieuwe, hopelijk betere, generatie te creëren.
Mutatie: Af en toe wisselt het willekeurig een beleidsoptie in of uit om te zien of een verrassende verandering de dingen verbetert.
Herhalen: Het doet dit keer op keer, generatie na generatie, totdat het de "kampioen"-beleidcombinaties vindt die nauwelijks te verslaan zijn.

3. De "Magie" van de KI

Omdat ze niet duizenden echte mensen konden vragen om miljoenen verschillende toekomstverhalen te lezen en te beoordelen, gebruikten ze een Groot Taalmodel (LLM) als vervanger.

Stel je het LLM voor als een zeer goed opgeleide acteur. De onderzoekers leerden deze acteur eerst hoe hij moest denken en voelen als echte burgers door hem duizenden voorbeelden te tonen van hoe echte mensen verhalen beoordeelden.
Zodra de acteur "uitgelijnd" was met het publiek, gebruikten ze hem om miljoenen gesimuleerde toekomstscenario's te lezen en te beoordelen hoe goed verschillende beleidsopties werkten. Dit bespaarde hen de noodzaak om een leger mensen aan te werven voor de eerste screening.

4. Wat Ze Vonden (De Resultaten)

Toen ze de simulator draaiden met verschillende "recepten" (door de weging van de drie ingrediënten te veranderen), kregen ze zeer verschillende resultaten:

Als je alleen om het stoppen van de schade geeft: Suggereert de simulator een enorme lijst met beleidsopties. Het is alsof je een lekend dak probeert te repareren door er duizend planken op te spijkeren. Het werkt geweldig om het lek te stoppen, maar het is ongelooflijk duur en misschien zelfs onmogelijk te bouwen.
Als je alleen om het besparen van geld of het luisteren naar het publiek geeft: Suggereert de simulator een kleine lijst van 1 of 2 beleidsopties. Deze zijn goedkoop en populair, maar ze lossen de KI-problemen misschien niet erg goed op.
Als je alle drie in evenwicht brengt: Vindt de simulator een "sweet spot". Meestal suggereert het een kleine, beheersbare lijst van 1 of 2 beleidsopties die populair zijn bij het publiek, gemiddeld kosten en toch een fatsoenlijke baan doen om schade te beperken.

De Kernboodschap: Er is geen enkel "perfect" beleid. De beste keuze hangt volledig af van wat de besluitvormer het belangrijkst vindt. Als je veiligheid boven alles prioriteert, krijg je een andere lijst dan als je het besparen van geld prioriteert.

5. Het Veiligheidsnet

De auteurs zijn zeer duidelijk: Dit instrument neemt de uiteindelijke beslissing niet. Het is geen robot die zegt: "Hier is de wet die je moet aannemen."

In plaats daarvan is het een beslissingsondersteunende kaart. Het toont beleidsmakers het landschap van mogelijkheden. Het zegt: "Als je X wilt, zijn dit je beste opties. Als je Y wilt, is dit een andere set opties." Het helpt leiders de afwegingen duidelijk te zien voordat ze echt geld of tijd uitgeven aan een beleid dat misschien faalt.

Kortom, dit artikel biedt een digitale zandbak waar leiders kunnen spelen met verschillende beleidcombinaties om te zien wat het beste werkt voor hun specifieke doelen, zodat ze geen beleid kiezen dat te duur, te impopulair of simpelweg ineffectief is.

Technische Samenvatting: Beleidsbeoordeling voor AI informeren via grootschalige simulatie van interventies

Probleemstelling

De snelle proliferatie van AI-systemen heeft een complex bestuurslandschap gecreëerd, waarin beleidsmakers worden geconfronteerd met een overweldigende overvloed aan mogelijke beleidsopties om schade te beperken. Het prioriteren van deze concurrerende strategieën is uitdagend vanwege de moeilijkheid om risico's te kwantificeren, de schaarste aan middelen en het ontbreken van inclusieve beoordelingsmethoden die diverse belanghebbendenperspectieven integreren. Bestaande benaderingen vertrouwen vaak sterk op deskundigenkennis, wat kan leiden tot bevooroordeelde risicobeoordelingen die de levenservaringen van leken-belanghebbenden die het meest door AI-schade worden getroffen, negeren. Bovendien zijn traditionele methoden voor beleidsevaluatie, zoals gerandomiseerde gecontroleerde trials, vaak te duur of te tijdrovend om vroeg in het besluitvormingsproces te worden gebruikt om beleidsmakers te oriënteren. Er is een kritieke behoefte aan een methodologie die efficiënt een enorme oplossingsruimte van beleidscombinaties kan verkennen, terwijl het een evenwicht bewaart tussen verwachte schadebeperking, implementatiekosten en publieke perceptie.

Methodologie

De auteurs stellen een computationeel kader voor dat participatieve evaluatie, deskundigenbeoordeling en simulatie met Large Language Models (LLM) integreert om levensvatbare beleidsopties te identificeren. De methodologie is gebaseerd op een genetisch algoritme (GA) dat is ontworpen om een ondoordringbaar grote oplossingsruimte te navigeren (bijvoorbeeld meer dan 2 miljard combinaties alleen al voor politieke manipulatie).

Kerncomponenten

Stakeholder-Actieparen (SAP's): De fundamentele eenheden van beleid zijn SAP's, die een specifieke belanghebbende (bijvoorbeeld nieuwsuitgevers, technologiebedrijven) koppelen aan een specifieke actie (bijvoorbeeld "transparant zijn over dataverzameling"). Deze zijn oorspronkelijk bedacht en beoordeeld door leken-belanghebbenden in eerder werk.
Optimalisatiefunctie: Het systeem optimaliseert een gewogen functie $F(S, P')$ $F (S, P^{'})$ die drie concurrerende factoren in evenwicht brengt:
- Schadebeperking ( $\alpha$ ): De waargenomen vermindering van de ernst en omvang van schade. Dit wordt beoordeeld door originele schadescenario's ( $S$ ) te herschrijven onder specifieke beleidsvoorwaarden ( $P'$ ) en de verandering in risicodimensies te beoordelen.
- Deskundigenkosten ( $\beta$ ): De geraamde implementatiekosten die door een interdisciplinair panel van deskundigen (beleid, recht, journalistiek, AI-implementatie) worden toegewezen. Kosten worden beoordeeld op een schaal van 1 (Laag) tot 3 (Hoog), waarbij 4 "Niet levensvatbaar" aangeeft (juridisch of technisch onuitvoerbaar).
- Participatieve rating ( $\gamma$ ): De mate waarin leken-belanghebbenden specifieke SAP's prioriteren en ermee akkoord gaan, afgeleid van eerdere surveygegevens.
LLM-uitlijning en simulatie:
- Om de evaluatie van miljoenen beleidscombinaties te schalen, uitlijnen de auteurs een LLM (specifiek o3-mini met lage redeneerinspanning) met menselijke ratings.
- De LLM wordt geprompt om op te treden als een panel van vijf diverse rechters om herschreven scenario's ( $S'$ ) te beoordelen op drie dimensies: Ernst, Omvang en Plausibiliteit.
- Het model is getraind en gevalideerd tegen een dataset van 234 door leken beoordeelde scenario's, met Pearson-correlatiecoëfficiënten van 0,794 (ernst), 0,707 (omvang) en 0,616 (plausibiliteit) tegenover menselijke ratings.
Genetisch Algoritme (GA):
- Initialisatie: Een populatie van willekeurige beleids subsets (chromosomen) wordt gegenereerd.
- Selectie en Crossover: Ouders worden geselecteerd op basis van fitheid (de score van de optimalisatiefunctie) met behulp van roulette-wiel sampling. Tweepunts-crossover wordt gebruikt om nakomelingen te creëren.
- Mutatie: Een lage mutatiegraad (0,03) introduceert variatie.
- Elitisme: De top 3 presterende beleidslijnen worden in elke generatie behouden om het verlies van optimale oplossingen te voorkomen.
- Beëindiging: Het algoritme draait totdat een maximumaantal "stall-generaties" is bereikt zonder nieuwe optima te vinden.

Casestudies

De methode werd toegepast op drie specifieke schades in het ecosysteem van generatieve AI-media:

Politieke manipulatie (31 mogelijke SAP's).
Werkloosheid (16 mogelijke SAP's).
Media-sensatiezucht (26 mogelijke SAP's).

Belangrijkste Resultaten

De studie toont aan dat het variëren van de gewichten die worden toegewezen aan schadebeperking, kosten en participatieve componenten aanzienlijk verschillende beleidsresultaten oplevert:

Gebalanceerde Gewichten (Allemaal Gelijk): Resulteert in een zeer selectieve beleidsset (1–2 SAP's) die prioriteit geeft aan lage tot gemiddelde kosten en hoge participatieve waarde. De verwachte schadevermindering is bescheiden.
Accent op Schadebeperking ( $\alpha=1$ ): Leidt tot het grootste aantal voorgeschreven SAP's (40–50% van de totale pool) en de hoogste verwachte schadevermindering. Deze aanpak bevat echter vaak niet-levensvatbare SAP's (beoordeeld als kosten 4 door experts) en brengt de hoogste kosten met zich mee.
Accent op Kosten of Participatie: Wanneer kosten worden geprioriteerd, selecteert het model minder, goedkope SAP's. Wanneer participatie wordt geprioriteerd, selecteert het model SAP's met hoge publieke instemming, soms inclusief dure items.
Niet-levensvatbare SAP's: Wanneer het kostencomponent wordt uitgesloten van de optimalisatie ( $\beta=0$ ), selecteert het algoritme vaak niet-levensvatbare SAP's (bijvoorbeeld overheidsverboden op door AI gegenereerd nieuws), wat de noodzaak van deskundigenbeperkingen benadrukt.
Beleidsdiversiteit: Het GA identificeerde een diverse set lokaal optimale oplossingen. Hoewel sommige SAP's (bijvoorbeeld "Nieuwsuitgevers moeten transparant zijn over AI-gebruik") consequent werden geselecteerd over verschillende wegingen heen, varieerden veel andere combinaties, wat suggereert dat er geen enkele "optimale" beleidslijn bestaat zonder expliciete afwegingsvoorkeuren.

Betekenis en Claims

De auteurs positioneren dit werk als een proof-of-concept methodologie in plaats van een definitief beleidsvoorschrift. Hun primaire claims zijn:

Operationalisering van Participatieve AI: De methode integreert succesvol perspectieven van leken-belanghebbenden direct in praktische beleidsontwikkelingsprocessen, en vult deskundigenkennis aan in plaats van deze te vervangen.
Verkenning van Afwegingen: Door beleidsmakers de mogelijkheid te geven gewichten ( $\alpha, \beta, \gamma$ ) aan te passen, maakt de tool de afwegingen tussen effectiviteit, kosten en publieke acceptatie expliciet. Het onthult dat het prioriteren van één factor (bijvoorbeeld schadebeperking) vaak het opofferen van andere vereist (bijvoorbeeld kosten of uitvoerbaarheid).
Schalbare Simulatie: De aanpak toont aan dat LLM's, wanneer uitgelijnd met menselijke data, kunnen dienen als een kosteneffectieve proxy voor grootschalige scenario-evaluatie, waardoor de verkenning van oplossingsruimtes mogelijk wordt die computationeel ondoordringbaar zijn voor evaluatie door alleen mensen.
Beslisondersteuning, geen Vervanging: De auteurs benadrukken dat de output een "startpunt voor deliberatie" is. De methode is ontworpen om beleidsmakers te ondersteunen bij het identificeren van levensvatbare gebieden voor verdere investering en beoordeling, niet om besluitvorming te automatiseren of menselijk oordeel te vervangen.

Het artikel concludeert dat de diversiteit aan levensvatbare beleidscombinaties die door het genetisch algoritme wordt gevonden, een nuttige basis biedt voor deliberatie, en belanghebbenden helpt te begrijpen hoe verschillende kennisbronnen (deskundigen versus leken) en prioriteiten het landschap van potentieel AI-bestuur vormen.