AI LEGO: Scaffolding Cross-Functional Collaboration in Industrial Responsible AI Practices during Early Design Stages

Stel je voor dat je samen met een team vrienden een gigantische, complexe robot bouwt. Je hebt de ingenieur die weet hoe hij de hersenen moet coderen, de kunstenaar die het uiterlijk ontwerpt, en de manager die uitzoekt wat de robot eigenlijk voor mensen moet doen. Meestal bouwt de ingenieur eerst de hersenen, schrijft een hoop verwarrende code en geeft het dan aan de anderen met de tekst: "Hier, maak er maar iets van." Maar vaak begrijpen de kunstenaar en de manager de code niet, waardoor ze een groot probleem missen: misschien gaat de robot bepaalde mensen onbeleefd behandelen of slechte beslissingen nemen. Tegen de tijd dat ze de fout beseffen, is de robot al gebouwd en is het een nachtmerrie om het te herstellen. Dit is een veelvoorkomend probleem in de wereld van Kunstmatige Intelligentie (AI), waarbij experts uit verschillende disciplines moeite hebben om elkaar vroeg genoeg te begrijpen om slechte ideeën te stoppen voordat ze echte, schadelijke producten worden.

Om dit op te lossen, kijken onderzoekers naar een concept dat "boundary objects" (grensobjecten) wordt genoemd. Denk aan een boundary object als een universele vertaler of een gedeelde Lego-set. Het is een hulpmiddel dat voor iedereen anders oogt, maar hetzelfde betekent voor de hele groep. Voor een ingenieur is een Lego-steentje een structureel onderdeel; voor een ontwerper is het een kleurvlak; maar voor het hele team is het gewoon "een steentje" waar ze allemaal over kunnen praten terwijl ze het vasthouden. Het onderzoek waar je zojuist over hebt gelezen, onderzoekt hoe je een betere "gedeelde Lego-set" kunt bouwen voor AI-teams, specifgens één die hen helpt om gevaarlijke fouten te ontdekken voordat ze beginnen met coderen.

---

Het Papier: AI LEGO

De onderzoekers achter deze studie, een team van universiteiten zoals Carnegie Mellon en Northwestern, merkten op dat wanneer bedrijven proberen "Verantwoorde AI" (AI die veilig en eerlijk is) te bouwen, het proces vaak vastloopt. Technische mensen (de programmeurs) en niet-technische mensen (zoals productmanagers en ontwerpers) begrijpen elkaar simpelweg niet. De programmeurs spreken in complexe technische jargon, en de niet-programmeurs voelen zich buitengesloten, waardoor ze potentieel nadelige effecten pas opmerken als het te laat is.

Om dit op te lossen, hebben ze een webtool gebouwd genaamd AI LEGO.

Het Grote Idee: Bouwen met Blokken

Stel je voor dat je een droomvakantie aan een vriend probeert uit te leggen. Als je alleen maar rond te laveren bent over vluchtnummers en hotelcodes, raakt diegene verveeld of in de war. Maar als je een kaart gebruikt met grote, kleurrijke blokken voor "Vlucht", "Hotel" en "Strand", is het makkelijk om het hele plan te zien.

AI LEGO werkt op dezelfde manier voor AI-projecten. In plaats van lange, saaie documenten te schrijven in tools zoals Google Docs, gebruikt het team een digitaal canvas vol met Lifecycle Blocks (levenscyclusblokken).

• Het Technische Team begint met het slepen en neerzetten van deze blokken om hun plan te schetsen. Elk blok vertegenwoordigt een fase van het bouwen van een AI, zoals "Probleemformulering" (Wat lossen we op?), "Dataset Constructie" (Welke data gebruiken we?) of "Model Definitie" (Hoe werkt het brein?). Binnen elk blok staan eenvoudige prompts die hen begeleiden om hun keuzes in gewone taal uit te leggen.
• Het Niet-Technische Team stapt daarna in. Zij hoeven niet te weten hoe ze moeten coderen. Ze bekijken de blokken en gebruiken Stage-centered Checklists (fase-gecentreerde checklists). Dit zijn als inspectiekaarten voor veiligheid. Voor het "Dataset"-blok kan de checklist vragen: "Zit er hier gevoelige informatie in die voor bias kan zorgen?" Dit helpt niet-programmeurs om risico's te ontdekken die ze anders over het hoofd hadden gezien.

Het Geheime Wapen: De "Persona" Minifiguren

Hier wordt het echt leuk. AI LEGO heeft een speciale functie genaamd Persona-centered Evaluation (persona-gecentreerde evaluatie).
Stel je voor dat je een nieuwe videogame ontwerpt. Om te controleren of het eerlijk is, denk je niet alleen aan "spelers" in het algemeen. Je stelt je specifieke personages voor: "Tiener die van sport houdt," "Oma die op een tablet speelt," of "Iemand die geen Engels spree. "

AI LEGO laat het team digitale Minifiguren (kleine Lego-poppetjes) maken die verschillende typen gebruikers vertegenwoordigen. De tool gebruikt zelfs een slimme AI (een Large Language Model) om te simuleren hoe deze Minifiguren op het plan zouden reageren.

• Voorbeeld: Als het team een AI voor film aanbevelingen bouwt, kunnen ze een Minifiguur maken genaamd "Tienert die van films houdt". De tool simuleert wat deze tiener zou zeggen: "Hé, als je mij alleen actiefilms aanbeveelt omdat ik een jongen ben, dan is dat niet eerlijk!"
• Dit helpt het team om "edge cases" (randgevallen) te zien — vreemde of specifieke situaties waar ze niet aan hadden gedacht — door letterlijk het project door de ogen van een ander persoon te bekijken.

Wat Ze Vonden: De Resultaten

De onderzoekers testten deze tool met 18 professionals uit de sector (6 AI-ontwikkelaars, 6 productmanagers en 6 UI/UX-designers) werkend in 6 teams. Ze vroegen deze teams om AI-systemen te ontwerpen met drie verschillende methoden:

1. Google Docs (de oude manier, alleen tekst schrijven).
2. AI LEGO Lite (gebruikmakend van de blokken en checklists, maar zonder de Minifiguren).
3. AI LEGO Full (gebruikmakend van de blokken, checklists, en de Minifiguren).

De resultaten waren vrij duidelijk:

• Meer Problemen Gevonden: Wanneer ze AI LEGO gebruikten, vonden de teams 195% meer problematische ontwerpkeuzes dan wanneer ze Google Docs gebruikten. Dat is bijna het dubbele van het aantal potentiële rampen dat werd gespot!
• Betere Kwaliteit: De problemen die ze vonden waren niet zomaar willekeurige gissingen; ze hadden een grotere kans om daadwerkelijk te gebeuren. De teams die AI LEGO Full gebruikten, vonden problemen die op een schaal van waarschijnlijkheid (van 4) 1,25 punten hoger werden beoordeeld dan de Google Docs-groep.
• De Minifiguren Hielpen: De "Full"-versie van de tool (met de Minifiguren) hielp teams om zelfs meer problemen te vinden dan de "Lite"-versie. De gesimuleerde persona's hielpen niet-technische mensen om dieper na te denken over hoe echte mensen beïnvloed zouden worden.
• Iedereen Vond Het Leuk: De deelnemers gaven aan dat AI LEGO makkelijker in gebruik en leuker was dan Google Docs. Ze hadden het gevoel dat ze echt als een team samenwerkten, in plaats van alleen maar briefjes naar elkaar door te geven.

Waarom Dit Belangrijk Is

Het papier suggereert dat de manier waarop we AI bouwen net zo belangrijk is als de AI zelf. Als we blijven bouwen in silo's — waarbij programmeurs met programmeurs praten en managers met managers — zullen we fouten blijven maken die mensen schaden.

AI LEGO laat zien dat als we teams een gedeelde, visuele taal geven (zoals Lego-blokken) en een manier om in de schoenen van een ander te staan (zoals Minifiguren), we slechte ideeën vroegtijdig kunnen opvangen. En het beste deel? Het vroegtijdig opvangen betekent dat we ze kunnen oplossen voordat iemand schade oploopt, zonder dat we een afgebouwde robot uit elkaar moeten halen en opnieuw moeten beginnen.

De studie beweert niet dat dit een toverstaf is die alle problemen in de wereld oplost. De onderzoekers geven toe dat hun tool een prototype is en dat teams in de echte wereld ingewikkelder zijn dan een studiedag. Maar ze suggereren wel dat het veranderen van hoe we over AI-ontwerp praten — het visueel, gestructureerd en inclusief maken — onze toekomstige technologie veiliger en eerlijker kan maken voor iedereen.