Making Ethical AI Measurable & Auditable: A Construct Validity Framework for Fairness, Transparency, & Explainability
Dit artikel stelt een raamwerk voor constructvaliditeit voor dat ethische AI conceptualiseert als een contextafhankelijk, hoger-orde construct bestaande uit rechtvaardigheid, transparantie en uitlegbaarheid, waarmee een theoretisch gefundeerd pad wordt geboden voor de ontwikkeling van controleerbare meetstandaarden voor regelgevende naleving en empirisch onderzoek.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld is kunstmatige intelligentie verschoven van sciencefiction naar de stille machinerie van het dagelijks leven, waarbij het sollicitatieprocedures sorteert, ziekten diagnosticeert en leningen goedkeurt. Naarmate deze systemen krachtiger worden, is er een wereldwijde discussie ontstaan over hoe te waarborgen dat ze ethisch handelen. Jarenlang waren experts het eens over een lijst met nobele doelen: deze machines moeten eerlijk zijn, ze moeten open zijn over hoe ze werken, en ze moeten in staat zijn hun beslissingen uit te leggen op een manier die mensen kunnen begrijpen. Er heeft zich echter een aanzienlijke kloof gevormd tussen deze hoogdravende beloften en de realiteit van het controleren ervan. Het is alsof een gemeenteraad heeft geëist dat alle nieuwe gebouwen "veilig" zijn, maar weigert te definiëren wat veiligheid precies betekent of hoe men het kan testen, waardoor architecten moeten raden welke materialen zouden kunnen werken. Zonder een duidelijke definitie is een bewering van eerlijkheid slechts een intentieverklaring, geen verifieerbare feit.
Deze onzekerheid creëert een probleem voor de mensen die het werk moeten controleren. Auditors, toezichthouders en bedrijfsleiders worden gevraagd om te certificeren dat een AI-systeem ethisch is, maar zij missen een liniaal waarmee ze dit kunnen meten. Sommige onderzoekers hebben geprobeerd dit op te lossen door mensen te vragen wat zij van AI vinden, terwijl anderen hebben geprobeerd complexe wiskunde te gebruiken om statistische fouten te vinden in de manier waarop machines verschillende groepen behandelen. Beide benaderingen hebben waarde, maar geen van beide behandelt "ethische AI" als één enkel, meetbaar ding dat rigoureus getest kan worden. Ze richten zich ofwel op menselijke gevoelens of op geïsoleerde cijfers, en missen daarmee het grotere plaatje van hoe een AI-systeem zich daadwerkelijk in de echte wereld gedraagt.
Een nieuwe studie door Sheeba Hasnain, een onderzoeker aan de British University in Dubai, stelt een manier voor om deze kloof te overbruggen. Het artikel betoogt dat we moeten stoppen met proberen een enkel getal te vinden dat "goede AI" vertegenwoordigt, en in plaats daarvan ethische kwaliteit moeten behandelen als een complexe structuur die is opgebouwd uit drie afzonderlijke delen. De auteur suggereert dat we, om AI werkelijk te meten, er naar moeten kijken via drie specifieke lenzen: eerlijkheid, transparantie en uitlegbaarheid. Dit zijn niet zomaar modewoorden; het zijn afzonderlijke dimensies die op hun eigen voorwaarden gedefinieerd en gemeten moeten worden voordat ze gecombineerd kunnen worden in een oordeel. Eerlijkheid gaat over de vraag of het systeem verschillende groepen mensen gelijk behandelt. Transparantie gaat over de vraag of de juiste mensen toegang hebben tot de informatie die ze nodig hebben om het systeem te begrijpen. Uitlegbaarheid gaat over de vraag of het systeem een duidelijke, nuttige reden kan geven voor zijn beslissingen aan de persoon die het moet gebruiken.
De kern van Hasnains werk is een nieuw framework dat fungeert als een blauwdruk voor het bouwen van deze metingen. In plaats van een willekeurige wiskundige formule te kiezen en dat een eerlijkheidstest te noemen, eist het framework dat we eerst precies definiëren wat eerlijkheid betekent voor een specifieke situatie. Bijvoorbeeld, wat een eerige uitkomst in een ziekenhuis is, kan heel anders zijn dan wat eerlijk is bij een bank. Zodra de definitie duidelijk is, begeleidt het framework onderzoekers bij het kiezen van specifieke, observeerbare signalen die bewijzen dat aan de definitie wordt voldaan. Dit proces zorgt ervoor dat de verzamelde bewijzen daadwerkelijk de gemaakte claim ondersteunen. De studie benadrukt dat je niet simpelweg de cijfers kunt optellen om tot een eindscore te komen; je moet eerst de context begrijpen waarin de AI werkt. Een systeem kan perfect transparant zijn maar nog steeds oneerlijk, of het kan zeer eerlijk zijn maar onmogelijk te begrijpen. Omdat deze onderdelen verschillend zijn, kunnen ze elkaar niet simpelweg opheffen of middelen.
Om te laten zien hoe dit in de praktie werkt, loopt het artikel door een hypothetisch voorbeeld van een AI-systeem dat in de gezondheidszorg wordt gebruikt om artsen te helpen bij het beoordelen van het risico van patiënten. In dit scenario demonstreren de onderzoekers hoe de nieuwe regels worden toegepast. Eerst definiëren ze eerlijkheid niet als een algemeen idee, maar specifief als het vermijden van oneerlijke verschillen in de manier waarop het systeem verschillende patiëntengroepen behandelt. Vervolgens selecteren ze specifieke indicatoren, zoals het controleren of de foutmarges hetzelfde zijn voor alle groepen, in plaats van alleen naar de algehele nauwkeurigheid te kijken. Daarna controleren ze of de artsen die het systeem gebruiken, de redenen achter de suggesties van de AI daadwerkelijk kunnen begrijpen. Ten slotte kijken ze of de prestaties van het systeem leiden tot betere patiëntuitkomsten, wat dient als een laatste controle of de hele opstelling naar behoren werkt. Deze stapsgewijze aanpak verandert een vage belofte van "ethische AI" in een concreet, controleerbaar proces.
De studie kijkt ook naar hoe dit framework past binnen de werkelijkheid van wetgeving en regelgeving. Overheden in Europa, de Verenigde Staten en het Midden-Oosten nemen nieuwe wetten aan die bedrijven verplichten te bewijzen dat hun AI veilig en eerlijk is. Deze wetten zeggen echter vaak wat er bereikt moet worden zonder te zeggen hoe het gemeten moet worden. Hasnains framework biedt een oplossing door een standaardmethode te bieden voor het creëren van dat bewijs. Het suggereert dat in plaats van te proberen één universele score voor alle AI te creëren, toezichthouders zich moeten richten op het standaardiseren van het meetproces. Zij zouden bedrijven moeten verplichten om duidelijk aan te geven wat ze meten, hoe ze het meten en waarom die methode geldig is voor hun specifieke situatie. Deze aanpak biedt flexibiliteit, waarbij wordt erkend dat een AI die wordt gebruikt voor werving andere tests nodig heeft dan een AI die wordt gebruikt voor medische diagnoses, terwijl er toch een strikte standaard voor bewijsvoering wordt gehandhaafd.
Een van de belangrijkste bevindingen van het artikel is dat ethische kwaliteit geen vaste eigenschap is van de computercode zelf. Het is een eigenschap van het systeem in interactie met mensen, organisaties en de samenleving. Dezelfde algoritme kan in de ene setting ethisch zijn en in de andere onethisch, afhankelijk van wie het gebruikt en wat de gevolgen zijn. Daarom moet de meting altijd worden afgestemd op de specifieke context. Het artikel waarschuwt tegen de verleiding om meetinstrumenten van het ene land of de ene sector naar de andere te kopiëren zonder aanpassingen. Een test die is ontworpen voor een rijk land met gedetailleerde gegevens over ras en etniciteit, kan nutteloos zijn in een regio waar de belangrijkste scheidslijnen gebaseerd zijn op taal of lokale geografie. Ware ethische meting vereist begrip van het lokale landschap.
Het onderzoek concludeert door een pad vooruit te bieden voor de toekomst. De auteur erkent dat dit framework momenteel een voorstel is, een theoretische structuur die nog niet op duizenden real-world systemen is getest. Het is een oproep tot actie voor onderzoekers om de specifieke instrumenten en tests te bouwen die bij dit nieuwe model passen. Het doel is niet om één getal te produceren dat een AI als "goed" of "slecht" bestempelt, maar om een verdedigbare verbinding te leggen tussen wat een systeem bedoeld is te doen en het bewijs dat aantoont dat het dat ook daadwerkelijk doet. Door ethische AI te behandelen als een meetbaar construct met duidelijke definities en contextgevoelige indicatoren, biedt de studie een manier om voorbij vage beloften te gaan en in een wereld te komen waarin ethische claims geverifieerd, geaudit en vertrouwd kunnen worden. Deze verschuiving is essentieel als de samenleving de kracht van kunstmatige intelligentie wil benutten terwijl zij ervoor zorgt dat het in lijn blijft met menselijke waarden en de doelen van duurzame ontwikkeling.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.