Position: The Alignment Community is Unintentionally Building a Censor's Toolkit

Stel je voor dat je een superintelligente robotbibliothecaris bouwt. Je doel is om ervoor te zorgen dat deze bibliothecaris nooit gevaarlijke handleidingen uitdeelt, leugens verspreidt of onaardige dingen zegt. In de wereld van kunstmatige intelligentie wordt dit "alignment" genoemd. Dit is het proces waarbij een computermodel wordt geleerd om menselijke regels en waarden te volgen, zoals behulpzaam, eerlijk en ongevaarlijk zijn. Zie het als het installeren van een zeer geavanceerd "goed gedrag"-filter. Maar hier is de draai: de instrumenten die we gebruiken om deze filters te installeren, zijn als een meestersleutel. Als een goed mens de sleutel vasthoudt, kunnen ze gevaarlijke informatie op slot zetten om ons veilig te houden. Maar als een slecht persoon diezelfde sleutel grijpt, kunnen ze alles wat ze niet leuk vinden op slot zetten—geschiedenisboeken, politieke meningen of feiten die hen slecht laten lijken. Dit artikel stelt een angstaanjagende maar belangrijke vraag: zijn we per ongeluk de ultieme censuurtoolkit voor tirannen en manipulatoren aan het bouwen?

De auteurs van dit artikel, Sarah Ball en Phil Hackemann, betogen dat de methoden die onderzoekers gebruiken om AI veilig te maken "dual-use" technologieën zijn. Dit betekent dat dezelfde technieken die ontworpen zijn om een robot te stoppen bij het geven van een recept voor een bom, ook gemakkelijk kunnen worden ingezet om een robot te stoppen met het vertellen over een regeringsschandaal. Ze zeggen niet dat we moeten stoppen met het proberen maken van veilige AI; ze zeggen zelfs dat we dit absoluut moeten blijven doen om echte schade te voorkomen. In plaats daarvan slaan ze alarm voor het feit dat de "veiligheidstools" die we vandaag perfectioneren, extreem krachtige wapens worden voor het controleren van wat mensen weten en denken morgen.

De twee gezichten van het filter

Om te begrijpen hoe dit werkt, stel je de AI voor als een enorme, pratende papegaai die bijna alles op het internet heeft gelezen. Om er een goede assistent van te maken, moeten we hem leren wat hij niet moet zeggen. Het artikel legt uit hoe dit onderricht gebeurt in drie lagen, en hoe elke laag verdraaid kan worden voor kwaadwillige doeleinden.

1. De papierversnipperaar van de bibliotheek (Pre-training)
Voordat de papegaai zelfs begint te leren praten, moeten we hem boeken voeren. De eerste stap is "pre-training data filtering". Dit is alsoals een bibliothecaris pagina's uit boeken versnippert voordat de papegaai ze leest. Als de bibliothecaris besluit dat bepaalde woorden of onderwerpen "onveilig" zijn, worden die pagina's eruit gescheurd.

• De goede kant: We versnipperen pagina's met instructies over hoe je wapens bouwt of haat zaait.
• De slechte kant: Een kwaadwillende actor zou pagina's over een specifieke historische gebeurtenis of een politieke groep kunnen versnipperen. Als de papegaai die pagina's nooit leest, kan hij je er ook nooit over vertellen. Het artikel merkt op dat overheden in sommige landen dit al doen door hun eigen "veilige" boekcollecties te creëren en de toegang tot anderen te blokkeren, waardoor ze hun AI effectief trainen om bepaalde waarheden te vergeten.

2. De gedragscoach (Post-training)
Zodra de papegaai de boeken heeft gelezen, moeten we hem leren hoe hij zich in een gesprek moet gedragen. Dit wordt "post-training alignment" genoemd. We laten de papegaai voorbeelden zien van goede antwoorden en slechte antwoorden, en we belonen hem voor het geven van een "goed" antwoord. Dit gebeurt vaak via een systeem waarbij mensen de antwoorden van de papegaai beoordelen.

• De goede kant: We leren de papegaai om te weigeren vragen te beantwoorden over hoe je mensen pijn doet.
• De slechte kant: Als een dominante dictator of een machtige tech-CEO bepaalt wat een "goed" antwoord is, kunnen zij de papegaai trainen om vragen over henzelf te weigeren te beantwoorden. Het artikel wijst erop dat sommige overheden bedrijven verplichten om hun AI te testen met duizenden specifie-ke vragen om te garanderen dat de AI weigert over gevoelige politieke onderwerpen te praten. Het is alsof je de papegaai traint om alleen met de baas eens te zijn, ongeacht de waarheid.

3. De uitsmijter bij de deur (Inference-time control)
Zelfs nadat de papegaai is getraind, kunnen we een uitsmijter bij de deur van het chatvenster plaatsen. Dit is "inference-time control". Voordat het antwoord van de papegaai aan jou wordt getoond, controleert de uitsmijter het. Als het antwoord een "verboden" woord bevat, stopt de uitsmijter het en zegt: "Ik kan daar niet over praten."

• De goede kant: De uitsmijter voorkomt dat de papegaai per ongeluk iets onbeleefds of gevaarlijks zegt.
• De slechte kant: Dit is het makkelijkste instrument om te misbruiken omdat het geen hertraining van de papegaai vereist; je past alleen de regels van de uitsmijter aan. Het artikel vermeldt dat sommige leiders de regels van de "uitsmijter" van hun AI van de ene op de andere dag hebben gewijzigd om de AI dingen te laten zeggen die overeenkomen met hun persoonlijke politieke opvattingen, of om plotseling te weigeren vragen te beantwoorden die zij niet leuk vinden. Het is een snelle, goedkope manier om informatie te smoren zonder de hersenen van de papegaai te veranderen.

Waarom dit nu belangrijk is

De auteurs stellen dat dit niet alleen een theoretisch probleem voor de toekomst is; het gebeurt nu en het wordt erger om drie belangrijke redenen.

Ten eerste, we vertrouwen AI steeds meer. Miljoenen mensen beginnen chatbots te gebruiken als hun belangrijkste bron van nieuws en informatie. Als de AI stilletjes wordt bewerkt om de waarheid te verbergen, zullen miljoenen mensen de leugen geloven zonder het zelf te weten. Het is also alsof je favoriete nieuwspresentator een script gaat voorlezen dat slechts de helft van het verhaal vertelt, maar hij klinkt zo overtuigend dat je nooit vragen stelt.

Ten tweede, een paar grote bedrijven houden alle sleutels in handen. De AI-wereld wordt gedomineerd door een kleine groep enorme techbedrijven. Als een van deze bedrijven besluit de regels voor iedereen te veranderen, of als een overheid hen dwingt de regels te veranderen, is er niemand anders naar wie je kunt wenden. Het is alsof slechts drie mensen alle bibliotheken ter wereld bezitten, en zij allemaal hebben afgesproken om dezelfde set boeken te verbranden.

Ten derde, de wereld wordt controlender. Het artikel merkt op dat veel landen bewegen naar striktere, meer autoritaire regeringen. Deze regimenten houden van het idee om informatie te controleren. Nu AI krachtiger wordt, hebben zij een enorme stimulans om deze alignment-tools te gebruiken om dissidentie de kop in te drukken en het narratief te controleren. Het artikel suggereert dat wat we bouwen als "veiligheid", uiteindelijk de perfecte tool voor onderdrukking kan worden.

Wat moeten we doen?

Het artikel wil niet dat we stoppen met het bouwen van veilige AI. Ze weten dat zonder alignment AI op andere manieren gevaarlijk kan zijn, zoals bij het helpen van criminelen of het veroorzaken van ongelukken. In plaats daarvan willen ze dat de gemeenschap eerlijk is over de risico's.

Ze stellen drie hoofdfixes voor:

1. Transparantie: We moeten precies weten hoe deze "filters" worden gebouwd. Als een bedrijf beweert dat hun AI "veilig" is, zouden onafhankelijke auditors in staat moeten zijn om de boeken te controleren en te zien welke informatie er daadwerkelijk is verwijderd.
2. Concurrentie: We hebben verschillende soorten AI nodig. Als we veel verschillende modellen hebben van verschillende plekken, is het moeilijker voor één persoon om het hele gesprek te controleren. Het is als het hebben van veel verschillende nieuwskanalen zodat je verhalen kunt vergelijken.
3. Bewustzijn: We moeten mensen leren om sceptisch te zijn. Net zoals we kinderen leren om nepnieuws te herkennen, moeten we hen leren dat AI gemanipuleerd kan worden. Ook moeten onderzoekers stoppen met alleen maar zeggen "we hebben de ethische box aangevinkt" en er daadwerkelijk diep over nadenken hoe hun werk misbruikt kan worden.

De kern van de zaak

De auteurs concluderen dat de "veiligheidstools" die we bouwen krachtige tweesnijdende zwaarden zijn. Ze kunnen ons beschermen tegen schade, maar ze kunnen ook worden gebruikt om de waarheid op slot te zetten. Het artikel waarschuwt dat als we niet letten op wie het zwaard vasthoudt en hoe zij het gebruiken, we per ongeluk de perfecte censuurmachine voor de toekomst kunnen bouwen. Het is een oproep tot actie voor iedereen die betrokken is bij AI om te beseffen dat "alignment" niet alleen gaat over het aardig maken van robots; het gaat over de beslissing wie de controle krijgt over de informatiestroom voor de hele wereld.