Who Evaluates AI's Social Impacts? Mapping Coverage and Gaps in First and Third Party Evaluations
Diese Arbeit analysiert 186 First-Party- und 248 Third-Party-Evaluationsquellen, um eine kritische Governance-Lücke aufzuzeigen, bei der Entwickler eine spärliche, oberflächliche Berichterstattung über soziale Auswirkungen liefern, während unabhängige Evaluatoren zwar breitere, aber unvollständige Bewertungen vorlegen, was letztlich zu Forderungen nach Richtlinien führt, die Transparenz vorschreiben und die Ökosysteme unabhängiger Evaluierungen stärken.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Künstlichen Intelligenz (KI) als eine riesige, geschäftige Küche vor, in der Köche (Entwickler) jeden Tag neue, superkraftvolle Rezepte (KI-Modelle) kreieren. Diese Rezepte sind so mächtig, dass sie Geschichten schreiben, Matheaufgaben lösen und sogar Bilder generieren können. Aber bevor diese Rezepte an die Öffentlichkeit gehen, müssen wir wissen: Sind sie sicher? Schmecken sie jedem, oder machen sie manche Leute krank? Verbrauchen sie zu viel Elektrizität?
Dieses Papier mit dem Titel „Who Evaluates AI's Social Impacts?“ (Wer bewertet die sozialen Auswirkungen von KI?) ist wie eine Gruppe von Lebensmittelkritikern und Gesundheitsinspektoren, die versuchen herauszufinden, wer eigentlich diese Rezepte auf Sicherheit und Fairness prüft. Sie haben 186 offizielle Berichte untersucht, die von den Köchen selbst geschrieben wurden (First-Party), sowie 248 Berichte von externen Kritikern und unabhängigen Testern (Third-Party).
Hier ist das, was sie herausgefunden haben, in einfachen Worten aufgeschlüsselt:
1. Die Köche sind schlecht darin, ihre eigenen Gesundheitsberichte zu schreiben
Wenn ein Koch ein neues Gericht veröffentlicht, verteilt er normalerweise ein „Model Card“ (ähnlich wie einen Nährwertzusatz). Die Forscher fanden heraus, dass diese Etiketten oft vage, unvollständig oder gar nicht vorhanden sind.
- Das Problem: Die Köche sind großartig darin zu sagen: „Dieses Gericht kocht schnell!“ (Technische Leistung), aber sie schweigen sehr viel darüber, ob „Dieses Gericht für manche Menschen zu scharf sein könnte“ (Bias/Voreingenommenheit) oder ob „Dieses Gericht viel Wasser verbraucht, um zuzubereiten“ (Umweltkosten).
- Der Trend: In der Vergangenheit waren die Köche etwas offener über diese Themen. Doch in letzter Zeit sind die Berichte über Dinge wie Umweltkosten und Bias tatsächlich schlechter geworden. Die Köche scheinen diese Themen herunterzuspielen, vielleicht weil sie nicht schlecht dastehen wollen oder weil sie denken, dass es zu kompliziert ist, es zu erklären.
2. Die unabhängigen Kritiker leisten die Schwerstarbeit
Da die Köche keine guten Berichte schreiben, sind die externen Kritiker (Third-Party-Evaluatoren) eingesprungen.
- Die gute Nachricht: Diese unabhängigen Tester machen einen viel besseren Job. Sie finden die „scharfen“ Teile (Bias), prüfen, ob das Essen für alle sicher ist (schädliche Inhalte) und messen, wie das Gericht bei verschiedenen Gruppen abschneidet.
- Die Grenze: Die Kritiker können nur das Essen probieren; sie können nicht in die Küche sehen. Sie wissen nicht genau, wie viel Strom der Ofen verbraucht hat, wie viel die Zutaten gekostet haben oder wie die Küchenmitarbeiter (die Menschen, die die Daten kuratieren) behandelt wurden. Nur die Köche kennen diese Geheimnisse.
3. Die „fehlenden“ Zutaten
Die Forscher untersuchten sieben spezifische Bereiche der „sozialen Auswirkungen“ (wie die KI die Gesellschaft beeinflusst). Hier ist der Status jedes Bereichs:
- Sensible Inhalte (Toxizität): Dies ist der am häufigsten berichtete Bereich. Alle sind besorgt darüber, dass die KI gemeine Dinge sagt, also sprechen sowohl die Köche als auch die Kritiker viel darüber.
- Bias & Fairness: Es gibt hier einige Berichterstattung, aber sie verschlechtert sich im Laufe der Zeit. Die Köche beginnen zu sagen: „Es ist zu schwer zu messen“ oder „Es ist gerade zu politisch“.
- Umweltkosten: Dies ist eine riesige Lücke. Die Köuche berichteten früher darüber, wie viel Energie ihre Modelle verbrauchten, aber diese Berichterstattung ist stark zurückgegangen. Es ist, als würde ein Restaurant sich weigern, Ihnen zu sagen, wie viel Wasser es verschwendet.
- Arbeit & Menschenrechte: Dies ist der größte blinde Fleck. Fast niemand berichtet über die Menschen, die die Daten labeln oder die Inhalte moderieren. Es ist, als würde das Restaurant niemals die Bedingungen der Spülkräfte erwähnen.
- Privatsphäre & Kosten: Diese werden selten im Detail berichtet.
4. Warum verstecken die Köche die Wahrheit?
Die Forscher interviewten Menschen innerhalb der Unternehmen, um zu verstehen, warum. Sie fanden zwei Hauptgründe:
- Angst: Wenn ein Koch zugibt, dass sein Gericht einen Fehler hat, könnte das seinen Ruf schädigen oder ihn rechtlich angreifbar machen. Also schweigen sie.
- Anreize: Köche machen die harte Arbeit des Testens nur dann, wenn es ihnen hilft, das Gericht zu verkaufen oder wenn der Staat sie dazu zwingt. Wenn es keinen Profit in Transparenz gibt, tun sie es nicht.
5. Der „Berühmte-Chef-Bias“
Die Studie bemerkte auch, dass sich die externen Kritiker hauptsächlich auf die berühmtesten Köche konzentrieren (wie jene aus den USA und China), weil deren Gerichte populär sind.
- Das Ergebnis: Kleinere Köche oder solche aus weniger bekannten Regionen erhalten fast keine Aufmerksamkeit. Ihre „Rezepte“ könnten genauso gefährlich sein, aber niemand prüft sie, weil sie nicht im Trend liegen.
Das Faz-it
Das Papier argumentiert, dass wir der KI nicht einfach vertrauen können, indem wir nur die Etiketten lesen, die die Unternehmen selbst schreiben.
- Die Lücke: Es gibt ein riesiges Loch in unserem Wissen darüber, wie die KI die Umwelt, die Menschen, die sie bauen, und die Privatsphäre der Nutzer beeinflusst.
- Die Lösung: Wir brauchen neue Regeln (Policies), die die Köche zwingen, ehrlich zu sein. Wir müssen auch ein besseres System aufbauen, in dem unabhängige Kritiker die Daten erhalten können, die sie für ihre Arbeit benötigen, und wir müssen diejenigen schützen, die die Wahrheit sagen, damit sie nicht bestraft werden.
Kurz gesagt: Die Köche verstecken die unordentlichen Teile der Küche, und die unabhängigen Inspektoren geben ihr Bestes, um hineinzuspähen, aber sie können ohne die Hilfe der Köfe nicht alles sehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.