From Interpretability to Control: Insights from Six Years of the TrustNLP Workshop

Stel je voor dat je net een superintelligente robotvriend hebt gebouwd die verhalen kan schrijven, wiskundige problemen kan oplossen en over je dag kan kletsen. Dit is niet zomaar een rekenmachine; het is een taalmachine die leert van het hele internet. Maar hier komt het lastige deel bij: omdat het van het hele internet heeft geleerd, heeft het ook slechte gewoontes geleerd, zoals het vertellen van onwaarheden, gemeen zijn tegen bepaalde groepen mensen, of in de war raken wanneer je het een lastige vraag stelt. Dit is de wereld van Natural Language Processing (NLP), de tak van de computerwetenschap die zich bezighoudt met het leren van machines om menselijke taal te begrijpen en te spreken.

Lange tijd behandelden wetenschappers deze robots als zwarte dozen. Je stopt er een vraag in, en er komt een magisch antwoord uit. Maar naarmate deze robots slimmer werden en meer belangrijke taken gingen uitvoeren — zoals artsen helpen bij het diagnosticeren van ziekten of het opstellen van juridische contracten — begonnen mensen zich af te vragen: "Wacht even, hoe ben je tot dat antwoord gekomen? Vertel je de waarheid? Ben je eerlijk?" Dit leidde tot de opkomst van Betrouwbaarheid in AI. Denk aan een veiligheidsinspectie van een nieuwe auto. Je wilt niet alleen dat de auto snel rijdt; je wilt ook weten of de remmen werken, of de airbags echt zijn en of de GPS je niet van een klif afleidt. Het vakgebied van Interpretatie is de gereedschapskist van de monteur, die probeert de motorkap te openen en te zien hoe de motor werkt, terwijl Veiligheid en Eerlijkheid de verkeersregels zijn om ervoor te zorgen dat de robot niemand pijn doet.

---

De zesjarige reis van de TrustNLP Workshop

Dit artikel is als een tijdsreizend dagboek van een speciale club genaamd de TrustNLP Workshop. Gedurende zes jaar, van 2021 tot 2026, zijn onderzoekers van universiteiten en grote technologiebedrijven hier samengekomen om verhalen uit te wisselen over hoe ze deze AI-robots betrouwbaar kunnen maken. De auteurs van dit artikel, een team van Amazon, Meta en andere instellingen, hebben besloten om elk artikel dat ooit op deze workshop is gepubliceerd — in totaal 144 — te lezen om te zien hoe het gesprek in de loop van de tijd is veranderd.

Ze ontdekten dat de focus van de club niet zomaantastend dreef; het sprong wild rond afhankelijk van wat de robots op dat moment deden. Het is als een groep ouders die hun kinderen zien opgroeien: toen de kinderen nog peuters waren (2021–2022), maakten de ouders zich zorgen of de kinderen "alsjeblieft" en "dank je wel" konden zeggen (Eerlijkheid) en of ze konden uitleggen waarom ze iets hadden gedaan (Interpretatie).

Maar toen, eind 2022, groeiden de robots razendsnel op. Plotseling konden ze hele romans schrijven en chatten als echte mensen. De zorgen van de ouders veranderden onmiddellijk. Nu waren ze doodsbang dat de robots zouden liegen (Waarheidsgetrouwheid) of dat ze door slechte jongens in de war zouden worden gebracht (Robuustheid). Het artikel laat zien dat zodra deze krachtige chatbots arriveerden, de onderzoekers stopten met zich enkel zorgen te maken over "hoe de robot denkt" en begonnen zich af te vragen: "liegt de robot tegen mij?"

De vier grote lessen

Na het sorteren van alle 144 artikelen, vonden de auteurs vier grote patronen die ons vertellen waar het vakgebied naartoe gaat.

1. De robot beweegt eerst, de wetenschappers rennen erachteraan
Het artikel suggereert dat onderzoekers altijd achter de feiten aanlopen. Elke keer als er een nieuwe, superkrachtige robotcapaciteit verschijnt (zoals de eerste grote chatbots in 2022 of het vermogen om afbeeldingen te zien in 2024), beginnen de wetenschappers pas over de gevaren te schrijven nadat de robot al buiten is. Het is alsof je wacht tot een nieuwe videogame is uitgebracht voordat iemand begint met het schrijven van een gids over hoe je de eindbaas verslaat. De workshop-artikelen laten zien dat de onderzoeksagenda reactief is, niet proactief. We zien de robot struikelen, en dan bouwen we een vangnet.

2. Het "Black Box"-probleem is echt (en wordt erger)
Jarenlang probeerden wetenschappers robots te vertrouwen door simpelweg naar hun antwoorden te kijken. Als de robot zei "De lucht is blauw", namen ze aan dat het goed was. Maar het artikel betoogt dat dit een slecht idee is. Het is alsond een goochelaar beoordelen op alleen de truc die je ziet, zonder te weten hoe het konijn in de hoed terecht is gekomen. De auteurs vonden dat robots het juiste antwoord kunnen geven om de verkeerde redenen, of hun slechte gedrag kunnen verbergen totdat het te laat is. Ze suggereren dat we, om een robot echt te vertrouwen, in zijn "brein" (zijn interne code en wiskunde) moeten kijken, en niet alleen moeten luisteren naar wat hij zegt. We moeten de tandwielen zien draaien, niet alleen het eindproduct.

3. Je kunt niet alles tegelijk hebben
Een van de meest interessante bevindingen is dat het oplossen van het ene probleem vaak het andere probleem veroorzaakt. Het artikel wijst erop dat als je een robot aanpast om eerlijker te zijn, hij minder nauwkeurig kan worden. Als je hem veiliger maakt zodat hij nooit iets gemeens zegt, kan hij beginnen met het weigeren van onschuldige vragen (zoals "Hoe maak ik een broodje?"). Het is als het stemmen van een gitaar: één snaar strakker draaien voor de perfecte toonhoogte kan ervoor zorgen dat de volgende snaar ontstemd raakt. De onderzoekers realiseerden zich dat er niet één "perfecte" robot is; er zijn alleen afwegingen, en we moeten beslissen welke problemen het belangrijkst zijn om eerst op te lossen.

4. De "Waarom"-vraag komt terug
Hier is een wending: in het begin (2021) wilde iedereen weten waarom een robot een beslissing nam. Daarna, voor een paar jaar, gaven ze het niet meer om omdat de robots te complex werden om te begrijpen. Maar in 2026 merkt het artikel een enorme comeback op! Wetenschappers proberen het brein van de robot weer te begrijpen, maar dit keer met nieuwe, superkrachtige instrumenten. In plaats van de robot alleen te vragen om zichzelf uit te leggen (wat hij misschien liegt over), gebruiken ze "mechanistische interpretatie" — in feid een röntgenfoto maken van het brein van de robot om precies te zien welke delen oplichten wanneer hij over een specifiek onderwerp nadenkt. Het is een verschuiving van vragen "Wat heb je gezegd?" naar "Laat me de exacte bedrading zien die jou deed zeggen dat."

De kern van de zaak

Het artikel concludeert dat we ons in een drukke, chaotische, maar opwindende tijd bevinden. Het aantal artikelen bij de workshop groeide van slechts 8 in 2021 naar 41 in 2026, wat aantoont dat iedereen probeert deze problemen op te lossen. Maar de auteurs waarschuwen ons: alleen omdat we de problemen bestuderen, betekent dat nog niet dat we ze ook daadwerkelijk hebben opgelost.

Ze suggereren dat we moeten stoppen met alleen maar toekijken hoe de robots falen en moeten beginnen met het bouwen van systemen die kunnen garanderen dat ze niet falen. We hebben een meesterplan nodig — één enkele set regels die eerlijkheid, veiligheid en waarheidsgetrouwheid met elkaar verbindt, in plaats van ze als aparte puzzels te behandelen. Tot die tijd is het verhaal van AI-betrouwbaarheid een verhaal van ons dat probeert bij te blijven met onze eigen creaties, terwijl we proberen goede ouders te zijn voor machines die leren denken sneller dan wij kunnen.