Towards Auditing AI Systems in the Wild
Het artikel pleit voor een verschuiving van statische, gesandboxte evaluaties naar principiële, onzekerheidsbewuste auditframeworks die uitgerolde AI-systemen continu monitoren in realtime omgevingen om te waarborgen dat zij voldoen aan evoluerende veiligheids- en rechtvaardigheidsbeperkingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een hypermoderne zelfrijdende auto koopt. Voordat je hem koopt, laat de fabrikant je een video zien van de auto die perfect rijdt op een zonnige dag op een testcircuit. De auto slaagt voor elke test. Je voelt je veilig en koopt hem.
Maar zodraz je op echte wegen rijdt, verandert er van alles. Het weer wordt regenachtig, andere bestuurders gedragen zich onvoorspelbaar en de auto komt wegwerkzaamheden tegen die hij nog nooit eerder heeft gezien. De auto kan vreemde fouten gaan maken die op het testcircuit niet zichtbaar waren.
Dit artikel, "Towards Auditing AI Systems in the Wild," betoogt dat we moeten stoppen met het testen van AI alleen op de "testbaan" (benchmarks) en moeten beginnen met het observeren van de rit op de "echte weg" (in de wildernis) door middel van continue monitoring.
Hier is de uiteenzetting van hun argument met behulp van eenvoudige analogieën:
1. Het Probleem: De "Testbaan" versus de "Echte Weg"
Momenteel testen bedrijven AI-systemen alsof ze een nieuwe auto testen op een afgesloten circuit. Ze gebruiken oude, statische data (de testbaan) om te zien of het model werkt.
- Het probleem: Het echte leven is chaotisch. Data verandert (zoals verschuivende verkeerspatronen), gebruikers gedragen zich anders en er ontstaan nieuwe situaties waar de AI niet voor getraind is.
- Het resultaat: Een AI kan op papier perfect lijken, maar falen of onrechtvaardig handelen zodra deze daadwerkelijk door miljoenen mensen wordt gebruikt. Het artikel stelt dat we in een "race" zitten waarbij bedrijven zo gehaast zijn om nieuwe AI te lanceren dat ze de langetermijnveiligheidscontroles overslaan, in de hoop de race te winnen, maar met het risico op een crash later.
2. De Oplossing: Continue "Verkeersmonitoring"
De auteurs stellen een nieuwe manier van denken voor: AI-auditing.
In plaats van een eenmalige inspectie voordat de auto de fabriek verlaat, hebben we een systeem nodig dat de auto elke dag dat hij op de weg rijdt, monitort.
- De verschuiving: We moeten bewegen van "pre-deployment testing" (het controleren van de auto voordat je hem koopt) naar "post-deployment auditing" (het controleren van de auto terwijl je rijdt).
- Het doel: Om problemen zoals bias (onrechtvaardigheid), veiligheidsrisico's of fouten te detecteren terwijl ze gebeuren, en niet pas nadat een ramp heeft plaatsgevonden.
3. De Nieuwe Aanpak: "Risicobeheersing"
Het artikel suggereert dat we auditing moeten behandelen als een statistisch spel van risicomanagement, en niet als een simpele pass/fail-test.
- De analogie: Stel je een snelheidslimietbord voor. Op de oude manier controleer je of de auto precies 60 mph rijdt. Op de nieuwe manier zeggen de auteurs: "We kunnen de exacte snelheid niet elke milliseconde weten omdat de weg mistig is (onzekerheid). Laten we in plaats daarvan het risico berekenen dat de auto te hard rijdt."
- Hoe het werkt: We stellen een "risicobudget" vast. Als de AI begint te gedrag te vertonen dat een regel zou kunnen schenden (zoals onrechtvaardig zijn tegenover een bepaalde groep), berekent het systeem de waarschijnlijkheid dat dit gebeurt. Als het risico te hoog wordt, grijpen we in. Dit stelt ons in staat om om te gaan met het feit dat we niet over perfecte informatie beschikken over wat de AI doet in de echte wereld.
4. Wie houdt er toezicht op? (De verschillende auditors)
Het artikel merkt op dat verschillende mensen naar de AI kijken met verschillende niveaus van "zicht":
- De Insiders (White-Box): Het bedrijf dat de AI bouwt, heeft de blauwdrukken en kan alles in de motor zien.
- De Regulatoren (Grey-Box): Overheidsinstanties krijgen de kans om onder de motorkap te kijken, maar misschien niet bij het geheime recept.
- Het Publiek/Onderzoekers (Black-Box): Gewone mensen en externe wetenschappers kunnen alleen zien wat de auto van buitenaf doet (inputs en outputs). Zij moeten raden hoe de motor werkt op basis van het gedrag van de auto.
- Het punt: Niemand ziet het volledige plaatje. We hebben al deze groepen nodig die samenwerken om een volledig beeld te krijgen van de veiligheid van de AI.
5. Wat auditen we?
Het artikel somt zes zaken op die we moeten controleren, vergelijkbaar met het controleren van verschillende onderdelen van een auto:
- Functie: Doet de AI daadwerkelijk wat hij moet doen?
- Operaties: Werkt de infrastructuur (de wegen en brandstofleidingen) naar behoren?
- Mens-AI-interactie: Vertrouwen mensen de AI te veel of gebruiken ze deze verkeerd?
- Veiligheid & Beveiliging: Wordt de AI gehackt of misleid?
- Naleving: Houdt de AI zich aan de wet?
- Grote impact op de samenleving: Veroorzaakt de AI op de lange termijn schade aan de samenleving (zoals het creëren van een verkeersopstopping of het verspreiden van desinformatie)?
6. De Moeilijke Delen (Uitdagingen)
De auteurs geven toe dat dit moeilijk is omdat:
- We hebben geen perfecte regels: Het is makkelijk om te zeggen "wees niet racistisch", maar moeilijk om een wiskundige regel te schrijven voor wat dat in elke situatie precies betekent.
- De data is rommelig: Real-world data is ruizig en incompleet.
- Mensen zijn onvoorspelbaar: Wanneer mensen en AI samenwerken, is het moeilijk te bepalen of een fout de schuld was van de AI of van de mens.
De Kernboodschap
Het artikel concludeert dat om AI betrouwbaar te maken, we moeten stoppen met het te behandelen als een statisch product en het moeten gaan behandelen als een levend systeem dat evolueert. We hebben continue, risico-bewuste monitoring nodig die accepteert dat we niet alles weten, maar ons een statistische manier biedt om ervoor te zorgen dat de AI veilig en eerlijk blijft terwijl hij leert en verandert in de echte wereld.
Succes is volgens hen niet alleen of de AI een test haalt; het gaat erom of er een systeem is dat ons kan vertellen: "Er is een kans van 5% dat deze AI op het punt staat een veiligheidsregel te overtreden," zodat we het kunnen oplossen voordat het schade veroorzaakt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.