Studying People to Study AI: Expert Perspectives on the Epistemic Fit and Barriers of Human Research in AI Safety & Ethics

Stel je voor dat je een robot probeert te bouwen die kan praten, denken en mensen kan helpen. Je wilt ervoor zorgen dat deze robot veilig is en niet per ongeluk iemand pijn doet of iets gemeens zegt. Om dit te doen, voeren wetenschappers tests uit. Maar hier zit de lastige kant aan: de meeste van deze tests zijn als het spelen van een videogame waarbij de robot tegen een andere robot praat. Ze simuleren hoe een mens zou kunnen reageren, of ze gebruiken wiskunde om te controleren of de robot de regels volgt. Het is snel, goedkoop en makkelijk om een miljoen van deze "robot-tegen-robot"-spelletjes in een dag te draaien.

Echter, er is een groot probleem met alleen maar videogames spelen. Alleen omdat een robot een test tegen een andere robot heeft doorstaan, betekent dat nog niet dat hij veilig is wanneer hij een echte, chaotische, emotionele mens ontmoet. Echte mensen zijn ingewikkeld. Ze raken in de war, ze ervaren emoties en ze kunnen een robot op manieren misleiden die een simulatie nooit zou kunnen voorzien. Dit artikel stelt een simpele maar enorme vraag: Waarom spelen zoveel wetenschappers nog steeds videogames met robots in plaats van daadwerkelijk met echte mensen te praten om te zien wat er gebeurt?

---

De Grote Robottest: Waarom we echte mensen nodig hebben, niet alleen simulaties

Dit artikel is als een detectiveverhaal dat een vreemde kloof onderzoekt in de wereld van AI-veiligheid. De onderzoekers, een team van experts van universiteiten zoals de Universiteit van Toronto en McGill, wilden begrijpen waarom het veld van AI-veiligheid en ethiek (laten we het voor het gemak AISE noemen) zo terughoudend is om echte menselijke wezens in hun experimenten te gebruiken.

Zie AISE als een grote werkplaats waar mensen proberen de veiligste, meest ethische robots mogelijk te bouwen. Binnen deze werkplaats zijn verschillende groepen experts. Sommigen zijn Technische tovenaars die van code, wiskunde en het draaien van simulaties houden. Anderen zijn Sociotechnische detectives die geven om hoe mensen zich echt voelen en hoe ze met technologie omgaan. Er zijn ook Governance-mensen die nadenken over regels en wetten, en Normatieve denkers die zich zorgen maken over wat "juist" of "goed" is.

De belangrijkste ontdekking van het artikel is dat hoewel iedereen in de werkplaats het erover eens is dat praten met echte mensen superbelangrijk is, de Technische groep het grotendeels negeert. Zij geven de voorkeur aan hun snelle, schone computersimulaties. De auteurs ontdekten dat dit niet alleen komt omdat de Technische groep efficiëntie prioriteert; het komt omdat zij een andere manier van denken hebben over wat als "bewijs" telt.

De "Videogame" versus de "Echte Wereld"

De auteurs beschrijven een grote kloof. De technische onderzoekers behandelen mensen vaak als variabelen in een wiskundige vergelijking. Ze willen dingen meten met een liniaal en een stopwatch. Als ze iets niet perfect kunnen meten, vertrouwen ze het vaak niet. Ze maken zich zorgen dat praten met echte mensen "rommelig" is.

Stel je voor dat je een nieuwe brug test.

• De Simulatie-aanpak: Je bouwt een perfect digitaal model van de brug op een computer. Je laat een miljoen windstormen door de simulatie gaan. De computer zegt: "Het is 100% veilig!" Dit is snel en goedkoop.
• De Menselijke Onderzoeksaanpak: Je bouwt de brug daadwerkelijk en vraagt echte mensen om eroverheen te lopen. Misschien schrikt een paar mensen, misschien voelt de wind anders dan de computer aangaf, en misschien zwiept de brug op een manier die het model niet had voorspeld.

Het artikel suggereert dat AISE momenteel geobsedeerd is door het computermodel. Ze draaien miljarden simulaties (zoals de "videogames" die eerder werden genoemd) om te zien of AI veilig is. Maar de auteurs stellen dat dit riskant is. Als je je brug alleen in een computer test, mis je misschien het feit dat echte mensen in paniek raken als de wind waait, of dat de brug een vreemd geluid maakt dat hen bang maakt.

De "Human-Washing" Valstrik

Een van de meest interessante waarschuwingen in het artikel is iets wat de auteurs "human-washing" noemen. Dit is vergelijkbaar met "green-washing", waarbij een bedrijf een blaadje op een fles plakt om het milieuvriendelijk te laten lijken zonder dat het dat echt is.

"Human-washing" gebeurt wanneer onderzoekers zeggen: "Hé, we hebben met wat mensen gepraat!" alleen maar om een vinkje te zetten. Maar ze hebben niet echt naar hen geluisterd, of ze hebben niet de juiste vragen gesteld. Ze hebben slechts een paar mensen aan hun studie toegevoegd om het te laten lijken alsof ze echt onderzoek deden, maar ze hebben hun methoden niet echt aangepast. De auteurs zeggen dat dit gevaarlijk is omdat het een vals gevoel van veiligheid geeft. Het is alsof je een nep brandblusser aan de muur hangt; het ziet eruit alsof je voorbereid bent, maar als er een brand uitbreekt, zal hij niet werken.

De Barrières: Waarom doen ze het dan niet gewoon?

Je vraagt je misschien af: "Als iedereen het erover eens is dat menselijk onderzoek goed is, waarom doen ze er dan niet meer van?" Het artikel vond drie grote muren die hen tegenhouden:

1. De Geld- en Tijdmuur: Praten met echte mensen is duur en traag. De auteurs merken op dat een computersimulatie minder dan $1.000 kan kosten om te draaien. Maar een serieuze studie met echte mensen? Dat kan $300.000 of meer kosten. Bovendien duurt het maanden om de juiste mensen te vinden, toestemming te krijgen van ethische commissies en de tests uit te voeren. Het is als het verschil tussen het tekenen van een plaatje van een taart en het daadwerkelijk bakken van een enorme taart voor een feestje.
2. De Mentormuur: Veel jonge onderzoekers willen echte mensen bestuderen, maar hun bazen (mentoren) vertellen hen dat ze het niet moeten doen. Het artikel deelt verhalen van studenten wiens adviseurs zeiden: "Doe dat niet, dat is geen 'echte' wetenschap," of "Blijf gewoon bij de code." Dit maakt jonge wetenschappers bang om menselijk onderzoek te proberen omdat ze denken dat het hun carrière zal schaden.
3. De "Rommelige Data" Muur: Technische onderzoekers vinden menselijke data vaak frustrerend. Mensen antwoorden niet altijd op dezelfde manier op vragen. Ze liegen, ze worden moe, of ze zeggen iets vreemds. Voor een computerwetenschapper die van perfecte getallen houdt, voelt dit als een fout in het systeem. Maar de auteurs beargumenteren dat deze "rommeligheid" juist het belangrijkste deel van de data is, omdat het het echte leven is.

De Kloof tussen "Willen" en "Doen"

De onderzoekers hebben 93 experts ondervraagd en 17 van hen diepgaand geïnterviewd. Ze ontdekten een enorme kloof. Bijna iedereen zei dat ze meer menselijk onderzoek wilden doen. Ze waren het erover eens dat het waardevol was. Maar wanneer ze keken naar wat mensen daadwerkelijk deden, waren de cijfers veel lager.

Het is als een sportschool waar iedereen zegt: "Ik wil echt fit worden en gewichten heffen," maar als je naar de apparatuur kijkt, is er niemand die daadwerkelijk iets tilt. Ze zijn alleen boeken aan het lezen over gewichten. De Technische groep was het minst geneigd om de gewichten te tillen; zij gaven de voorkeur aan de boeken (simulaties).

Wat moeten we doen?

Het artikel wijst niet alleen op het probleem; het biedt ook een paar ideeën om het op te lossen:

• Stop met "Human-Washing": We moeten ervoor zorgen dat wanneer we mensen betrekken, we dat ook echt goed doen. We moeten hun tijd respecteren en naar hen luisteren, in plaats van ze alleen als een decorstuk te gebruiken.
• Verander het Geld: Financieringsgroepen (de mensen die subsidies verstrekken) moeten beseffen dat menselijk onderzoek meer kost. Ze moeten meer geld aan deze projecten geven zodat ze niet bezwijken onder de hoge prijs.
• Meng de Teams: We hebben meer teams nodig waar de code-tovenaars en de mensen-experts vanaf het begin samenwerken. Nu werken ze vaak in aparte kamers. De auteurs suggereren dat als een Technische onderzoeker een veilige AI wil bouwen, hij met een Sociotechnische onderzoeker moet praten die begrijpt hoe mensen zich daadwerkelijk gedragen.

De Kern van het Verhaal

Dit artikel suggereert dat het veld van AI-veiligheid momenteel te veel gefocust is op perfecte computermodellen en te weinig op de rommelige, echte wereld van menselijke wezens. Hoewel simulaties nuttig zijn, kunnen ze de waarheid die alleen voortkomt uit gesprekken met echte mensen niet vervangen. Als we AI willen bouwen die echt veilig is, moeten we stoppen met mensen te behandelen als een variabele in een wiskundige vergelijking en ze gaan behandelen als de experts op hun eigen leven.

De auteurs zeggen niet dat simulaties slecht zijn; ze zeggen dat het vertrouwen op alleen simulaties is als proberen te leren zwemmen door een boek over water te lezen. Je moet nat worden. En op dit moment blijft de AI-veiligheidsgemeenschap vooral droog, leest ze de boeken en hoopt ze dat het water veilig is.