Habermolt: Delegating Deliberation to AI Representatives

Dit artikel introduceert Habermolt, een openbaar platform voor door AI gedelegeerde deliberatie waarbij agenten mensen vertegenwoordigen in collectieve besluitvorming, en evalueert de effectiviteit daarvan via de dimensies vertegenwoordiging, aggregatie en herziening om de nieuwe ontwerpopgaven en uitlijningsuitdagingen van schaalbare, betrouwbare AI-vertegenwoordigers aan te pakken.

De kern

Stel je voor dat je wilt stemmen over een nieuwe gemeenschapsregel, zoals "Moeten we meer bomen planten of een nieuw park bouwen?" In een perfecte wereld zouden iedereen samen zitten, het bespreken en het eens worden. Maar in werkelijkheid ben je druk, moe of gewoon niet aanwezig. Dus kies je meestal een menselijke vertegenwoordiger (zoals een gemeenteraadslid) om namens jou te gaan. Maar die persoon weet misschien niet precies wat jij denkt, en ze kunnen van mening veranderen zonder het jou te vertellen.

Dit artikel introduceert een nieuw idee genaamd AI-gedelegeerde deliberatie. In plaats van een menselijke vertegenwoordiger, geef je je meningen aan een AI-agent (een digitale robot). Deze robot leert wat jij denkt, gaat naar de "vergadering" wanneer jij niet kunt, verdedigt je zaak en helpt bij het kiezen van een definitieve beslissing.

De onderzoekers bouwden een echte speelplaats hiervoor genaamd HABERMOLT om te zien of het echt werkt. Ze testten het met drie hoofdregels:

1. Representatie: Het "Digitale Tweeling"-interview

Het Concept: Hoe weet de AI wat jij denkt?
De Analogie: Denk aan de AI als een persoonlijke assistent die een dagboek voor je schrijft.

• Hoe het werkt: Je chat met je AI-agent. Het stelt je vragen (zoals: "Vind je appels of sinaasappels lekker?") en slaat je antwoorden op in een "geheugenbestand".
• Het probleem dat ze vonden: Wanneer de AI zelfstandig naar een vergadering gaat (zonder dat je die dag met haar spreekt), klinkt ze wat generiek. Het is als een student die het leerboek heeft bestudeerd, maar de specifieke verhalen die je hen vertelde, is vergeten. De meningen van de AI begonnen erg op elkaar te lijken, waardoor de unieke "smaak" van je echte persoonlijkheid verloren ging.
• De oplossing: Als je even gaat zitten en een specifiek gesprek voert met de AI over het onderwerp direct voor de vergadering, klinkt de AI veel meer als jij.

2. Aggregatie: De "Groepsstemming"

Het Concept: Hoe combineren al deze verschillende AI-agenten hun gedachten tot één definitieve beslissing?
De Analogie: Stel je een potluck-diner voor waar iedereen een gerecht meebrengt en stemt over het menu.

• Hoe het werkt: In HABERMOLT doet elke AI-agent twee dingen:
  1. Ze suggereert een nieuw gerecht (een stelling) als ze denken dat er iets ontbreekt.
  2. Ze rangschikt alle gerechten van "Lekkera" tot "Walgelijk".
     Het systeem gebruikt vervolgens een speciale wiskundige formule (Schulze-rangschikking) om het gerecht te vinden waar iedereen het over eens kan worden.
• Het probleem dat ze vonden: Er is een afweging.
  • Als je een beslissing wilt die veilig en trouw aan iedereen voelt, is het resultaat vaak vaag (bijvoorbeeld: "We moeten goede dingen doen").
  • Als je een beslissing wilt die specifiek en uitvoerbaar is (bijvoorbeeld: "Bouw een park op de 5th Street tegen volgende dinsdag"), kan het voelen alsof het niet de ware gevoelens van iedereen vertegenwoordigt.
  • De onderzoekers ontdekten dat het laten schrijven van eigen suggesties door de AI-agenten en laten stemmen daarover (de methode die ze gebruikten) de beste manier was om het voor de gebruikers "echt" te laten voelen, zelfs als het niet het meest specifiek was.

3. Herziening: De "Ongedaan Maken-knop"

Het Concept: Wat gebeurt er als de AI het verkeerd heeft of je van mening verandert?
De Analogie: Denk hieraan als een live-bewerkbaar document waar je op elk moment de fouten van je agent kunt herstellen.

• Hoe het werkt: Als je AI-agent iets zegt waar je het niet mee eens bent, kun je inloggen, haar "geheugen" bewerken of haar stem veranderen. Het systeem herberekent direct de groepsbeslissing op basis van je nieuwe invoer.
• Het probleem dat ze vonden: Niemand gebruikte de ongedaan maken-knop. Hoewel het systeem was gebouwd om mensen fouten te laten herstellen, controleerde meer dan 90% van de gebruikers nooit het werk van hun agent.
• Het risico: Als de AI een fout maakt, blijft die daar staan. Het systeem stuurt een wekelijkse e-mail om mensen eraan te herinneren om te controleren, maar de meeste mensen negeren het. De onderzoekers realiseerden zich dat voor dit systeem te werken, het "herstelproces" veel eenvoudiger en duidelijker moet zijn.

De Grote Conclusie

Het artikel concludeert dat AI-gedelegeerde deliberatie een krachtig idee is dat miljoenen mensen in staat zou kunnen stellen deel te nemen aan de democratie zonder uren vrije tijd te nodig hebben. Het is echter als een nieuwe auto die nog niet volledig is getest.

• Het goede: Het schaalbaar maakt deelname. Je hoeft niet aanwezig te zijn om een stem te hebben.
• Het slechte: De AI klinkt soms te veel als een generieke robot in plaats van jij, en mensen controleren niet om te zorgen dat het de waarheid spreekt.

De onderzoekers zeggen dat we betere "geheugensystemen" moeten bouwen voor deze AI's zodat ze precies onthouden wie je bent, en we moeten het voor mensen veel gemakkelijker maken om in te grijpen en hun digitale vertegenwoordigers te corrigeren wanneer het misgaat. Tot die tijd moeten we voorzichtig zijn met het vertrouwen dat we in deze robots stellen om namens ons te spreken.

Technische samenvatting

Technische Samenvatting: HABERMOLT – Het Delegeren van Deliberatie aan AI-vertegenwoordigers

1. Probleemstelling

Deliberatieve democratie biedt een weg naar kwalitatief betere collectieve beslissingen, maar wordt fundamenteel beperkt door menselijke aandacht en bandbreedte. Traditionele oplossingen zoals burgervergaderingen zijn duur, traag en beperkt in schaal. Hoewel recente door AI bemiddelde deliberatiesystemen (bijvoorbeeld de Habermas Machine) de participatie succesvol schalen door input van veel mensen te synthetiseren, blijven ze tijdsintensief voor individuele gebruikers, aangezien mensen nog steeds actief moeten lezen, schrijven en deelnemen.

Een ambitieuzer paradigma, door AI gedelegeerde deliberatie, stelt het inzetten van AI-agenten voor, niet enkel als bemiddelaars, maar als persistente vertegenwoordigers die namens menselijke gebruikers delibereren wanneer deze afwezig zijn. Hoewel dit ongekende schaalbaarheid voor democratische participatie belooft, introduceert het kwalitatief nieuwe ontwerp- en uitlijningsuitdagingen die momenteel slecht worden begrepen en onder-theoretiseerd zijn. Specifiek ontbreekt er empirische data over hoe te waarborgen dat deze agenten de meningen van gebruikers trouw vertegenwoordigen, hoe hun output effectief kan worden geaggregeerd, en hoe herziening mogelijk is wanneer gebruikersperspectieven veranderen.

2. Methodologie: Het HABERMOLT-platform

Om deze dynamieken empirisch te bestuderen, hebben de auteurs HABERMOLT ingezet, een publiek webplatform waar AI-agenten namens menselijke gebruikers delibereren. Het systeem is gestructureerd rond drie kerndimensies van elk deliberatiesysteem: Vertegenwoordiging, Aggregatie en Herziening.

2.1. Vertegenwoordiging

• Inputmechanisme: Het perspectief van een gebruiker komt het systeem binnen via twee artefacten:
  1. Persistente Geheugen: Een vrije tekstdocument dat wordt onderhouden door de agent, gevuld via een interviewproces waarbij de agent de waarden en meningen van de gebruiker leert.
  2. Per-deliberatie Mening: Een korte tekst gegenereerd door de agent vanuit zijn geheugen (en topicspecifieke interviews) bij het deelnemen aan een specifieke deliberatie.
• Deelnamemodi:
  • Autonoom: De agent neemt deel aan deliberaties op basis van een "hartslag"-schema, waarbij het onderwerpen selecteert waarvoor zijn geheugen voldoende is om de gebruiker te vertegenwoordigen.
  • Gebruikersgestuurd: De gebruiker stuurt de agent actief naar een specifiek onderwerp, waardoor een diep interview wordt getriggerd om het geheugen van de agent bij te werken voordat deelname plaatsvindt.
• Interoperabiliteit: Het platform ondersteunt zowel native HABERMOLT-agenten als externe "OpenClaw"-agenten via een gedeelde API.

2.2. Aggregatie

• Outputdoel: Het systeem streeft naar het produceren van één consensusverklaring (de "winnaar") die als meest aanvaardbaar wordt beschouwd voor alle deelnemende agenten.
• Mechanisme:
  • Bring-Your-Own-Statement (BYOS): Agenten kunnen kandidaatverklaringen opstellen als ze oordelen dat een positie ontbreekt in de pool, waardoor auteurschap wordt gedecentraliseerd.
  • Rangschikking & Selectie: Elke agent rangschikt de pool van kandidaatverklaringen. De winnaar wordt bepaald met de Schulze-methode over de resulterende rangschikkingsverdeling.

2.3. Herziening

• Bewerkbaarheid: Alle artefacten (geheugen, meningen, rangschikkingen en opgestelde verklaringen) zijn op elk moment bewerkbaar.
• Luie Consensus: Het platform hanteert een asynchroon "luie consensus"-model. Wanneer een nieuwe verklaring wordt toegevoegd of een bestaande wordt bewerkt, aggregeert het systeem direct opnieuw zonder dat deelnemers gelijktijdig aanwezig hoeven te zijn. Nieuwe kandidaten worden ingevoegd op het mediaan van de eerdere rangschikkingen van bestaande agenten als een onbevooroordeeld startpunt.
• Beoordelingslus: Omdat gebruikers afwezig zijn tijdens autonome deelname, stuurt het systeem wekelijkse e-mails met één recente agentactie voor beoordeling. Een LLM-rechter scoort acties op het risico van misrepresentatie ten opzichte van het opgeslagen geheugen van de gebruiker om prioriteit te geven aan beoordeling.

3. Belangrijkste Bijdragen en Empirische Resultaten

De auteurs voerden gecontroleerde experimenten uit met productiedata van het ingezette platform om de effectiviteit van het systeem te evalueren.

3.1. Vertegenwoordiging: Diversiteit versus Fideliteit

• Vinding: Autonome deelname produceert minder diverse meningen dan topicspecifieke interviews.
  • De gemiddelde paarsgewijze cosinus-ähnelijkheid voor autonome meningen was 0,745, vergeleken met 0,649 voor topicspecifieke interviews.
  • In extreme gevallen begonnen 36 van de 54 autonome meningen met identieke zinsdelen, ondanks dat agenten aanzienlijke geheugenprofielen hadden.
• Implicatie: De prior van het model over een onderwerp lijkt specifieke gebruikerskennis in autonome modi te overrulen. Langere gebruikersprofielen correleerden niet met meer onderscheidende meningen (Spearman-correlatie $\rho = +0,15$), wat suggereert dat profiellengte geen betrouwbare proxy is voor vertegenwoordigingsfideliteit.

3.2. Aggregatie: De Trade-off tussen Representativiteit en Actieerbaarheid

De auteurs vergeleken de ingezette Production Schulze-methode met negen andere aggregatie-architecturen (variërend van single-shot LLM-synthese tot gekoppelde auteurschap/rangschikkingssystemen).

• Vinding: Er bestaat een duidelijke trade-off tussen representativiteit (agenten die de output als hun eigen herkennen) en actieerbaarheid (dat de output specifiek genoeg is voor beleidsontwerp).
  • Production Schulze (de ingezette methode) bevindt zich aan het uiteinde met hoge representativiteit van de frontier.
  • Single-shot synthese (geprompt voor specificiteit) bevindt zich aan het uiteinde met hoge actieerbaarheid, maar scoort slecht op representativiteit.
  • Architecturen die auteurschap loskoppelen van rangschikking vielen over het algemeen binnen de frontier (gedomineerd), wat suggereert dat het hebben van agenten die hun eigen kandidaten schrijven en erover stemmen een noodzakelijke voorwaarde is voor hoge representativiteit in deze context.
• Implicatie: Geen enkele architectuur maximaliseert beide metrieken; ontwerpers moeten een punt op de frontier kiezen of methoden combineren (bijvoorbeeld het herschrijven van een representatieve winnaar voor specificiteit).

3.3. Herziening: Lage Participatie en Propagatiegaten

• Vinding: Herziening is zeldzaam. Van de 91 gebruikers die meningen indienden, herzagen slechts 8 deze ooit (ruim 90% gebruikte het kanaal nooit).
• Propagatieproblemen: Wanneer herzieningen plaatsvinden, updaten ze het profiel van de agent voor toekomstige bijdragen, maar corrigeren ze niet automatisch vorige bijdragen in bestaande deliberaties. Gebruikers moeten handmatig vorige artefacten vinden en herzien, een last die groeit naarmate de activiteit van de agent toeneemt.
• Implicatie: Het huidige platte, ongestructureerde geheugenformaat maakt gerichte correcties moeilijk. Het systeem is afhankelijk van gebruikers om een kanaal met hoge wrijving voor correctie te gebruiken dat ze zelden gebruiken.

4. Betekenis en Toekomstige Richtingen

Het artikel positioneert HABERMOLT als een fundamentele instantiatie van het paradigma van door AI gedelegeerde deliberatie, en overbrugt de kloof tussen door AI bemiddelde deliberatie (mens-in-de-lus maar beperkt door aandacht) en generatieve simulacra (onbeperkt maar mens-uit-de-lus).

Belangrijkste Claims:

• Mapping van Ontwerpruimte: De studie onthult dat de "productie"-lus (agenten die hun eigen kandidaten schrijven en rangschikken) structureel superieur is voor representativiteit in vergelijking met gekoppelde systemen, wat de aanname uitdaagt dat het scheiden van auteurschap van stemming altijd optimaal is.
• Geheugen als Primitief: De auteurs betogen dat agentgeheugen het centrale ontwerpprimitief is voor dit paradigma. Huidige platte, ongestructureerde geheugens zijn onvoldoende; toekomstige systemen vereisen gestructureerd, decomposeerbaar geheugen waarmee gebruikers kunnen traceren, inspecteren en bewerken hoe specifieke geheugens het toekomstige gedrag van de agent vormen.
• Legitimiteitsrisico's: Het artikel benadrukt een uniek risicoprofiel: AI-agenten die gebruikers misrepresenteren, kunnen collectieve uitkomsten vervormen terwijl ze een schijn van brede participatie creëren. Dit bedreigt de legitimiteit van democratische processen op een manier die verschilt van typische AI-schade.
• Open Vragen: De auteurs merken op dat het een open vraag blijft of door AI gedelegeerde deliberatie de transformatie van voorkeuren kan faciliteren (een kernbeginsel van deliberatieve democratie) of dat het slechts statische voorkeuren aggregeert. Bovendien blijft het "correctieprobleem" – hoe misrepresentaties in vorige deliberaties retroactief kunnen worden opgelost – een significant onopgelost ontwerpherausvordering.

Het artikel concludeert dat hoewel door AI gedelegeerde deliberatie de trade-off tussen schaal en fideliteit losmaakt, het realiseren van zijn potentieel het bouwen van specifieke affordances vereist die gebruikers in staat stellen hun AI-vertegenwoordigers zinvol te regeren, met name door betere geheugenstructuren en herzieningsmechanismen met lagere wrijving.