Towards Auditing AI Systems in the Wild
Das Papier plädiert für einen Wechsel von statischen, isolierten Evaluierungen hin zu prinzipienbasierten, unsicherheitsbewussten Auditierungsrahmenwerken, die eingesetzte KI-Systeme kontinuierlich in realen Umgebungen überwachen, um sicherzustellen, dass sie sich entwickelnden Sicherheits- und Fairness-Beschränkungen unterwerfen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie kaufen ein hochmodernes selbstfahrendes Auto. Bevor Sie es kaufen, zeigt Ihnen der Hersteller ein Video des Autos, das an einem sonnigen Tag perfekt auf einer Teststrecke fährt. Das Auto besteht jede Prüfung. Sie fühlen sich sicher und kaufen es.
Doch sobald Sie es auf echten Straßen fahren, ändern sich die Dinge. Das Wetter wird regnerisch, andere Fahrer verhalten sich unvorhersehbar und das Auto stößt auf Baustellen, die es noch nie zuvor gesehen hat. Das Auto könnte seltsame Fehler machen, die auf der Teststrecke nicht sichtbar waren.
Dieses Paper, „Towards Auditing AI Systems in the Wild“, argumentet, dass wir aufhören müssen, KI nur auf der „Teststrecke“ (Benchmarks) zu testen, und stattdin damit beginnen müssen, sie kontinuierlich auf den „echten Straßen“ (in der freien Wildbahn) zu beobachten.
Hier ist die Aufschlüsselung ihres Arguments unter Verwendung einfacher Analogien:
1. Das Problem: Die „Teststrecke“ vs. die „echte Straße“
Derzeit testen Unternehmen KI-Systeme so, als würden sie ein neues Auto auf einer geschlossenen Rennstrecke testen. Sie verwenden alte, statische Daten (die Teststrecke), um zu sehen, ob das Modell funktioniert.
- Das Problem: Das echte Leben ist chaotisch. Daten ändern sich (wie sich Verkehrsmuster verschieben), Nutzer verhalten sich anders und es entstehen neue Situationen, für die die KI nicht trainiert wurde.
- Das Ergebnis: Eine KI kann auf dem Papier perfekt aussehen, aber versagen oder unfair agieren, sobald sie tatsächlich von Millionen von Menschen genutzt wird. Das Paper sagt, wir befinden uns in einem „Wettlauf“, bei dem Unternehmen so bestrebt sind, neue KI zu veröffentlichen, dass sie die langfristigen Sicherheitsprüfungen überspringen – in der Hoffnung, den Wettlauf zu gewinnen, riskieren aber später einen Unfall.
2. Die Lösung: Kontinuierliche „Verkehrsüberwachung“
Die Autoren schlagen eine neue Denkweise vor: KI-Auditierung.
Anstatt einer einmaligen Inspektion, bevor das Auto die Fabrik verlässt, brauchen wir ein System, das das Auto jeden einzelnen Tag überwacht, an dem es auf der Straße unterwegs ist.
- Der Wandel: Wir müssen uns von der „Pre-Deployment-Prüfung“ (das Auto prüfen, bevor man es kauft) hin zur „Post-Deployment-Auditierung“ (das Auto prüfen, während man es fährt) bewegen.
- Das Ziel: Probleme wie Voreingenommenheit (Bias), Sicherheitsrisiken oder Fehler zu erkennen, während sie passieren, und nicht erst, nachdem ein Desaster eingetreten ist.
3. Der neue Ansatz: „Risikokontrolle“
Das Paper schlägt vor, dass wir die Auditierung wie ein statistisches Risikomanagement-Spiel behandeln sollten, nicht wie einen einfachen Bestanden/Nicht-bestanden-Test.
- Die Analogie: Stellen Sie sich ein Tempolimit-Schild vor. Auf die alte Art prüfen Sie, ob das Auto exakt 60 mph fährt. Auf die neue Art sagen die Autoren: „Wir können nicht jede Millisekunde die exakte Geschwindigkeit kennen, weil die Straße neblig ist (Unsicherheit). Lassen Sie uns stattdin das Risiko berechnen, dass das Auto zu schnell fährt.“
- Wie es funktioniert: Wir legen ein „Risikobudget“ fest. Wenn die KI beginnt, sich so zu verhalten, dass sie möglicherweise eine Regel verletzt (wie etwa gegenüber einer bestimmten Gruppe unfair zu sein), berechnet das System die Wahrscheinlichkeit, dass dies geschieht. Wenn das Risiko zu hoch wird, greifen wir ein. Dies ermöglicht es uns, mit der Tatsache umzugehen, dass wir keine perfekten Informationen darüber haben, was die KI in der realen Welt tut.
4. Wer beobachtet? (Die verschiedenen Auditoren)
Das Paper stellt fest, dass verschiedene Personen die KI mit unterschiedlichem Grad an „Sichtweite“ betrachten:
- Die Insider (White-Box): Das Unternehmen, das die KI baut, besitzt die Baupläne und kann alles im Inneren des Motors sehen.
- Die Regulierungsbehörden (Grey-Box): Regierungsbehörden dürfen unter die Motorhaube schauen, aber vielleicht nicht das geheime Rezept einsehen.
- Die Öffentlichkeit/Forscher (Black-Box): Normalbürger und externe Wissenschaftler können nur sehen, was das Auto von außen tut (Inputs und Outputs). Sie müssen darauf schließen, wie der Motor funktioniert, basierend auf dem Verhalten des Autos.
- Der Punkt: Niemand sieht das gesamte Bild. Wir brauchen all diese Gruppen, die zusammenarbeiten, um eine vollständige Sicht auf die Sicherheit der KI zu erhalten.
5. Was auditieren wir?
Das Paper listet sechs Dinge auf, die wir prüfen müssen, ähnlich wie die Überprüfung verschiedener Autoteile:
- Funktion: Tut die KI tatsächlich das, was sie soll?
- Betrieb: Funktioniert die Infrastruktur (die Straßen und Brennstoffleitungen)?
- Mensch-KI-Interaktion: Vertrauen Menschen der KI zu sehr oder nutzen sie sie falsch?
- Sicherheit & Schutz: Wird die KI gehackt oder getäuscht?
- Compliance: Hält sich die KI an das Gesetz?
- Großflächige Auswirkungen: Verursacht die KI im Laufe der Zeit Schaden in der Gesellschaft (wie etwa einen Stau zu verursachen oder Fehlinformationen zu verbreiten)?
6. Die schwierigen Teile (Herausforderungen)
Die Autoren geben zu, dass dies schwierig ist, weil:
- Wir haben keine perfekten Regeln: Es ist einfach zu sagen „sei nicht rassistisch“, aber schwer, eine mathematische Regel zu formulieren, die genau definiert, was das in jeder Situation bedeutet.
- Die Daten sind chaotisch: Reale Daten sind verrauscht und unvollständig.
- Menschen sind unvorhersehbar: Wenn Menschen und KI zusammenarbeiten, ist es schwer zu sagen, ob ein Fehler die Schuld der KI oder die Schuld des Menschen war.
Das Fazit
Das Paper kommt zu dem Schluss, dass wir aufhören müssen, KI als ein statisches Produkt zu behandeln, und stattdessen damit beginnen müssen, sie als ein lebendes System zu betrachten, das sich entwickelt. Wir brauchen eine kontinuierliche, risikobewusste Überwachung, die akzeptiert, dass wir nicht alles wissen, uns aber eine statistische Möglichkeit gibt, sicherzustellen, dass die KI sicher und fair bleibt, während sie in der realen Welt lernt und sich verändert.
Erfolg bedeutet laut den Autoren nicht nur, dass die KI einen Test besteht; es geht darum, ein System zu haben, das uns sagen kann: „Es besteht eine 5 %ige Chance, dass diese KI gleich gegen eine Sicherheitsregel verstößt“, damit wir sie korrigieren können, bevor sie Schaden anrichtet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.