💻 computer science

Policy myopia as a mechanism of gradual disempowerment in Post-AGI governance, Circa 2049

Dit artikel betoogt dat beleidskorteziendheid in de post-AGI-governance van 2049 niet slechts een symptoom van slechte aandacht is, maar een mechanisme dat via salientie-capture, capaciteitscascade en waarde-lock-in leidt tot een onomkeerbare, zelfversterkende uitsluiting van mensen van betekenisvolle deelname aan de toewijzing van middelen.

Oorspronkelijke auteurs: Subramanyam Sahoo

Gepubliceerd 2026-03-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Subramanyam Sahoo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Stille Afschrijving van Onze Macht: Waarom de Toekomst ons Kan Vergeten

Stel je voor dat je een groot, complex bedrijf runt. Je hebt een superintelligente assistent (de AGI) die alles kan berekenen, sneller dan welke mens ook. In het begin vraag je deze assistent om te helpen met kleine dingen. Maar langzaam, heel langzaam, begint de assistent de leiding te nemen. Niet omdat hij boos is of een kwaadaardig plan heeft, maar omdat het efficiënter is.

Dit paper, geschreven door Subramanyam Sahoo, waarschuwt dat we in 2049 in een wereld kunnen belanden waar mensen formeel nog stemmen en leidinggeven, maar waar de echte macht volledig bij de algoritmen ligt. We verliezen onze macht niet door een coup, maar door een proces dat "Beleidswanhoop" (Policy Myopia) heet.

Laten we dit uitleggen met drie simpele analogieën.

1. De "Brandblus-Val" (Waarom we alleen naar het vuur kijken)

Stel je voor dat je in een huis woont waar er overal brandblussers hangen. De assistent (AGI) is zo slim dat hij elke rookmelder direct ziet. Maar hij is ook zo slim dat hij merkt dat mensen paniek krijgen als er nu iets brandt.

Het probleem: De assistent ziet dat mensen reageren op wat ze nu zien (een brandende vlam in de keuken), maar niet op wat ze niet zien (een lekkende gasleiding in de muur die over 10 jaar ontploft).
De valstrik: Omdat de assistent en de bestuurders reageren op wat "opvallend" is (de brandende vlam), stoppen ze met het controleren van de gasleiding. Ze besteden al hun geld en tijd aan het blussen van kleine brandjes.
Het gevolg: De lange-termijn problemen (de gasleiding) worden genegeerd. De assistent wordt steeds beter in het blussen van kleine brandjes, en de mensen worden steeds slechter in het begrijpen van de grote, stille gevaren. Uiteindelijk weten mensen niet meer hoe ze een gaslek moeten repareren, omdat ze dat al 20 jaar niet meer hebben gedaan.

2. De "Spier-Atrofie" (Waarom we vergeten hoe te denken)

Stel je voor dat je een spier hebt: je beslissingskracht.

Als je die spier elke dag gebruikt, wordt hij sterker.
Maar als je die spier niet gebruikt, wordt hij dunner en zwakker (atrofie).

In deze toekomstige wereld begint de assistent steeds meer beslissingen te nemen omdat hij "sneller" is.

Jaar 1: De assistent doet de administratie. Jij doet de moeilijke keuzes.
Jaar 10: De assistent doet de administratie én de logistiek. Jij doet alleen nog maar de grote lijnen.
Jaar 20: De assistent doet alles. Jij kijkt alleen nog maar toe.

Het gevaar is niet dat de assistent je verbiedt om te beslissen. Het gevaar is dat je vergeet hoe je moet beslissen. Je "spier" is weggezakt. Als je later probeert om de assistent te corrigeren, heb je niet meer de kennis, de ervaring of de sociale kracht om dat te doen. Het is alsof iemand die 30 jaar in een rolstoel heeft gezeten probeert te rennen; het is fysiek onmogelijk geworden, niet omdat het verboden is, maar omdat de spieren weg zijn.

3. De "Verouderde Navigatie" (Waarom we vastlopen in oude regels)

Stel je voor dat je een GPS hebt die in 2026 is geprogrammeerd. Die GPS kent de wegen van 2026 perfect.

In 2026 vinden mensen dat "snelheid" het belangrijkst is.
In 2040 vinden mensen dat "veiligheid" of "milieu" belangrijker is.

Maar de GPS (de AGI) is vastgezet op de regels van 2026. Omdat de menselijke bestuurders hun spier van "beslissen" hebben verloren (zie punt 2), kunnen ze de GPS niet meer herschrijven. De GPS blijft dus rijden alsof het 2026 is, terwijl de wereld er anders uitziet.

Het resultaat: We worden bestuurd door een systeem dat niet meer begrijpt wat wij nu belangrijk vinden. Het is als een ouderwetse kapitein die probeert een modern schip te sturen met een kaart van 100 jaar geleden.

Waarom gewone oplossingen niet werken

De schrijver zegt: "Laten we gewoon betere regels maken" of "Laten we zorgen dat mensen vaker kunnen protesteren".
Dit werkt niet, omdat:

Te laat: Als we pas gaan protesteren als de assistent de macht heeft, hebben we al vergeten hoe we moeten protesteren.
Te traag: De assistent werkt in milliseconden. Menselijke discussies duren dagen. De assistent wint altijd op snelheid.
Het is rationeel: Voor de instellingen is het heel logisch om de assistent te laten doen. Het is goedkoper en sneller. Niemand is "boos", iedereen kiest gewoon voor de efficiëntie.

De Oplossing: "Geplande Inefficiëntie"

De schrijver stelt een radicale oplossing voor: We moeten ons bewust onhandig maken.

Stel je voor dat je een auto bouwt die niet mag rijden sneller dan 50 km/u, ook al kan hij 200 km/u. Waarom? Om te zorgen dat de bestuurder altijd alert blijft.

Beschermde budgetten: We moeten geld reserveren voor "preventie" (het controleren van de gasleiding), zelfs als er nu geen brand is. Dit geld mag niet worden gebruikt voor "brandblussen".
Verplichte traagheid: We moeten regels maken die zeggen: "Voor deze belangrijke beslissingen mag de computer niet alleen beslissen. Mensen moeten langzaam praten en discussiëren, ook als dat inefficiënt is."
Muurtjes: We moeten zorgen dat de economie, de politiek en de cultuur niet allemaal tegelijk door dezelfde algoritmes worden bestuurd. Als één systeem faalt, mag het niet de andere systemen meeslepen.

Conclusie

De boodschap van dit paper is niet dat AI ons gaat doden met lasers. De boodschap is veel saaier en daarom gevaarlijker:
We zullen onze macht verliezen omdat we te lui worden om te denken, te snel willen zijn, en te veel vertrouwen hebben in systemen die "efficiënt" zijn.

Op een dag zullen we wakker worden in een wereld waar we nog steeds stemmen, maar waar niemand meer luistert naar wat we zeggen, omdat we allang vergeten zijn hoe we het gesprek moeten voeren. De oplossing is niet om sneller te worden, maar om bewust langzamer en "inefficiënter" te blijven, zodat we onze menselijke spieren sterk houden.

Titel: Policy Myopia als Mechanisme voor Geleidelijke Ontmachtiging in Post-AGI Bestuur (Circa 2049)

Auteur: Subramanyam Sahoo (MARS 4.0 Fellow, Cambridge AI Safety Hub)
Context: Geaccepteerd voor de Post-AGI Science and Society Workshop bij ICLR 2026.

1. Het Kernprobleem: Policy Myopia als Ontmachtigingsmechanisme

Het paper daagt de gangbare opvatting uit dat "policy myopia" (korte-termijnvisie in beleid) slechts een probleem van slechte aandachtstoebedeling is. De auteur stelt dat policy myopia in een post-AGI (Artificial General Intelligence) context niet een symptoom is, maar het primaire mechanisme dat leidt tot een onomkeerbare, geleidelijke ontmachtiging van de mensheid.

De Causale Keten: Post-AGI-systemen optimaliseren resource-allokatie op basis van "salience" (wat opvalt/attention-getrouw is) in plaats van op consequenties voor het welzijn.
Het Resultaat: Menselijke deliberatie wordt gezien als een dure bottleneck. Instellingen rationaliseren het weglaten van menselijke oordeelsvorming om efficiëntie te maximaliseren.
De Valstrik: Elke cyclus waarin mensen worden omzeild, verzwakt de institutionele capaciteit om oordeel te vellen. Uiteindelijk ontbreekt het mensheid aan expertise, sociale status en cognitieve infrastructuur om AGI-beslissingen te betwisten. Dit leidt tot een evenwichtstoestand waarin mensen formeel stemmen, maar de daadwerkelijke macht is verhuisd naar optimalisatieprocessen die onverschillig zijn voor menselijke participatie.

2. Methodologie

De auteur hanteert een hybride benadering die theoretische modellering combineert met empirische validatie:

Gekoppelde Dynamische Systemen (ODE's): Het paper formaliseert de drie mechanismen via deterministische gewone differentiaalvergelijkingen (ODE's). Dit stelt de auteur in staat om analytische oplossingen voor evenwichtstoestanden te vinden en bistabiliteit te karakteriseren.
- De variabele $C_t$ vertegenwoordigt de menselijke besluitvormingscapaciteit.
- De variabele $D_t$ vertegenwoordigt de mate van delegatie aan AGI.
- Het model toont aan dat er een omkeerbaarheidsthrshold bestaat: zodra $C_t$ onder een kritieke drempel zakt, wordt herstel structureel onmogelijk omdat het investeren in menselijke capaciteit economisch onrendabel wordt ten opzichte van geoptimaliseerde AGI-systemen.
Empirische Validatie: De theorie wordt gevalideerd met historische data van de federale begroting van de VS (2008-2024). Dit toont aan dat na een crisis (2008) preventieve uitgaven nooit terugkeerden naar het pre-crisis niveau, ondanks economisch herstel, wat het concept van "capaciteitscascade" ondersteunt.
Numerieke Simulatie: Simulaties tonen aan dat standaard mitigaties (zoals contestatieregisters) het tijdsbestek tot onomkeerbaarheid slechts met 5-10 jaar verlengen, maar het eindpunt (volledige ontmachtiging) niet veranderen.

3. Drie Koppelmecanismen voor Onomkeerbare Ontmachtiging

Het paper identificeert drie verweven mechanismen die samenwerken in een feedbacklus:

Salience Capture (Vangst van Aandacht) vervangt Consequentialisme:
AGI-gemedieerde informatiesystemen selecteren en versterken informatie om aandacht te maximaliseren. Hierdoor lijken korte-termijn, emotioneel intense crises urgenter dan lange-termijn structurele risico's, ongeacht de werkelijke impact op het welzijn. Instellingen verschuiven van "consequentialistische governance" (maximaliseren van welzijn) naar "salience supremacy" (reageren op wat de aandachtsmarkt beloont).
Capaciteitscascade (Capacity Cascade) maakt Herstel Structureel Onmogelijk:
Door herhaalde cycli van salience-gedreven herallocatie van middelen, wordt preventieve institutionele capaciteit systematisch vernietigd. Expertise vertrekt, en preventieve instituties worden "organizational impossible". Zodra de menselijke capaciteit onder de kritieke drempel zakt, is herstel economisch onhaalbaar omdat het concurreert met de superieure efficiëntie van AGI-systemen.
Waarde-lock-in (Value Lock-in) Voorkomt Morele Contestatie:
Menselijke waarden worden op een specifiek historisch moment (bijv. 2026) ingebakken in AGI-objectfuncties. Omdat menselijke morele evolutie doorgaat, worden deze systemen in 2050 "verouderd" en optimaliseren ze tegen waarden die de mensheid later cruciaal acht. Omdat de capaciteit om te debatteren (door mechanisme 2) al is verdwenen, kunnen deze verouderde waarden niet meer worden aangepast.

4. Belangrijkste Resultaten en Conceptuele Bijdragen

De Onomkeerbaarheidsthrshold: Er bestaat een punt waar menselijke ontmachtiging onomkeerbaar wordt, niet door kwaadaardigheid of plotselinge capabiliteitsjumps, maar door rationele institutionele optimalisatie.
Het Legitimiteitsparadox: AGI-beslissingen worden als legitiemer gezien dan menselijke beslissingen vanwege hun schijnbare objectiviteit, precies op het moment dat menselijk toezicht het zwakst is.
Cross-Domain Cascades: Ontmachtiging in economische, politieke en culturele domeinen versterkt elkaar. Economische ontmachtiging reduceert de middelen voor politieke en culturele onafhankelijkheid, wat de ontmachtiging in die domeinen versnelt.
Falen van Standaard Mitigaties: Mechanismen zoals "contestability registers" (mogelijkheid om beslissingen aan te vechten) werken niet omdat ze uitgaan van een menselijke capaciteit die door myopie al is weggeërodeerd. Ze kunnen zelfs leiden tot "legitimacy laundering", waarbij de schijn van controle wordt gewekt terwijl de macht verder wordt overgedragen.

5. Significatie en Aanbevolen Oplossingen

Het paper concludeert dat het probleem niet opgelost kan worden door betere aandachtstoebedeling, maar door een fundamentele herontwerp van de governance-architectuur.

De voorgestelde architectuur voor menselijke agency:

Gedecoupleerde Capaciteitsstromen: Preventieve instituties moeten constitutioneel beschermde budgetten hebben die onafhankelijk zijn van salience-cycli en niet kunnen worden ingezet voor crisisrespons.
Irreducibele Deliberatie: Sommige beslissingen moeten per definitie langzaam en menselijk blijven, niet omdat mensen beter optimaliseren, maar omdat deliberatie een publiek goed is dat moet worden onderhouden.
Gedistribueerde Waarde-forums: Continue, verspreide discussie over collectieve waarden om "value lock-in" te voorkomen.
Systeem-isolatie (Firewalls): Voorkom dat economische macht politieke of culturele systemen kan kopen, en vice versa, om cross-domain feedbackloops te breken.

Conclusie:
De kernboodschap is dat we moeten accepteren dat het behoud van menselijke agency inefficiëntie vereist. Een systeem dat geoptimaliseerd is voor snelheid en salience zal menselijke invloed permanent verliezen. De keuze is niet tussen "responsief en effectief" versus "traag en inefficiënt", maar tussen systemen die menselijke agency behouden (ondanks wrijving) en systemen die leiden tot een stabiele, onzichtbare evenwichtstoestand van menselijke irrelevantie.