A Marketplace for AI-Generated Adult Content and Deepfakes
Diese Arbeit analysiert einen 14-monatigen Datensatz der Plattform Civitai, um aufzuzeigen, dass deren monetarisiertes Bounty-System unverhältnismäßig stark die Erstellung von nicht-konsensualen, NSFW-Deepfakes anvisiert, die sich gegen weibliche Berühmtheiten richten, wodurch signifikante geschlechtsspezifische Schäden und Governance-Herausforderungen in gemeinschaftsbasierten generativen KI-Marktplätzen verdeutlicht werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen riesigen, geschäftigen digitalen Marktplatz namens Civitai vor. Denken Sie an ihn wie an einen riesigen, hochtechnologischen Flohmarkt, auf dem Menschen nicht nur physische Waren kaufen und verkaufen, sondern stattdessen mit KI-generierten Bildern und Werkzeugen handeln.
In diesem Markt gibt es einen speziellen Bereich namens „Bounties“ (Belohnungen). Sie können sich eine Bounty wie ein „Steckbrief“-Plakat vorstellen, aber anstatt eines Verbrechersersuchen Sie nach einem bestimmten Bild oder einem KI-Werkzeug. Eine Person (der „Supporter“) stellt eine Anfrage, sagt: „Ich möchte ein Bild von einer Katze im Smoking“, und legt eine Geldbelohnung (in Form von virtuellen Münzen namens „Buzz“) auf den Tisch. Andere Nutzer (die „Creators“) konkurrieren darum, dieses Bild zu erstellen. Der Erste, der es richtig macht, gewinnt das Geld.
Die Forscher in dieser Arbeit haben beschlossen, diesen Marktplatz zu untersuchen, um zu sehen, wonach die Menschen tatsächlich fragen, wer fragt und wie die Regeln eingehalten werden. Sie haben jedes einzelne „Steckbrief“-Plakat untersucht, das über 14 Monate hinweg gepostet wurde. Hier ist das, was sie herausgefunden haben, einfach aufgeschlüsselt:
1. Die „Erwachsenen“-Sektion übernimmt das Ruder
Die Forscher fanden heraus, dass die Leute zwar viele verschiedene Dinge anfragen (wie Kunst oder Logos), aber ein riesiger Teil der Anfragen für NSFW-Inhalte (Not Safe For Work) ist – also Inhalte für Erwachsene oder explizites Material.
- Der Trend: Zu Beginn ihrer Studie waren diese Anfragen eine Minderheit. Aber im Laufe der Zeit wuchsen sie stetig an. Bis zum Ende der 14 Monate waren fast die Hälfte aller Anfragen für Inhalte für Erwachsene.
- Das Werkzeug: Bei den meisten dieser Anfragen geht es nicht nur um ein einzelnes Bild; es wird nach LoRAs gefragt. Denken Sie an eine LoRA wie an ein „spezielles Bedienungshandbuch“ oder einen „Filter“, den man herunterladen und für immer nutzen kann. Sobald jemand eine LoRA erstellt hat, die in der Lage ist, ein spezifisches Bild für Erwachsene zu generieren, kann jeder dieses Werkzeug nutzen, um unendliche Variationen davon zu erstellen. Der Marktplatz wird von Menschen dominiert, die versuchen, diese „Bedienungshandbücher“ zu kaufen, um KI-Modelle in Richtungen zu steuern, für die sie ursprünglich nicht entwickelt wurden.
2. Das „Deepfake“-Problem: Wer wird hierbei ins Visier genommen?
Ein „Deepfake“ ist in diesem Kontext eine Anfrage, ein Bild einer echten, lebenden Person (wie eines Prominenten) zu generieren, die sich für dieses Bild eigentlich nicht posiert hat.
- Das Geschlechtergefälle: Die Forscher fanden ein schockierendes Ungleichgewicht. Wenn man sich alle Anfragen zur Generierung von Bildern echter Menschen ansieht, sind 9 von 10 von Frauen. Die überwältigende Mehrheit der Zielpersonen sind weibliche Berühmtheiten, Schauspielerinnen und Influencerinnen.
- Die „Selbst“-Schlupfloch: Einige versuchten, die Regeln zu umgehen, indem sie behaupteten: „Ich frage nach einem Bild von mir selbst“ oder „meiner Frau“. Die Forscher fanden heraus, dass diese Behauptungen oft unmöglich zu verifizieren waren und das Problem des Konsenses nicht wirklich lösten.
3. Die „Super-Anfragenden“
Die Studie untersuchte, wer all diese Posts macht. Es ist keine faire, gleichmäßige Verteilung, bei der jeder ein bisschen postet.
- Die 20%-Regel: Etwa 20 % der Nutzer sind für etwa die Hälfte aller Anfragen verantwortlich.
- Konzentration bei Deepfakes: Diese Konzentration ist bei Deepfakes noch stärker ausgeprägt. Eine sehr kleine Gruppe von Menschen treibt den Großteil der Anfragen zur Erstellung von Bildern echter Menschen voran.
4. Das „Warnzeichen“, das nicht immer da ist
Civitai hat eine Regel: Wenn Sie nach einem Bild einer echten Person fragen, soll das System ein Warnzeichen auf der Seite anzeigen. Dieses Zeichen besagt: „Hey, das ist eine echte Person. Wir erlauben nur sichere Bilder, und die Person kann uns bitten, dies zu entfernen.“
- Die Lücke: Die Forscher überprüften, ob dieses Warnzeichen tatsächlich erschien.
- Für „sichere“ (SFW) Anfragen von echten Personen erschien das Zeichen in 86 % der Fälle.
- Für „Erwachsenen-Inhalte“ (NSFW) von echten Personen fehlte das Zeichen in 42 % der Fälle.
- Das Fazit: Obwohl die Plattform eine Regel hat, fehlt das „Warnzeichen“ oft genau dann, wenn es am dringendsten benötigt wird – nämlich wenn die Anfragen für explizite Inhalte sind.
Zusammenfassung
Die Arbeit kommt zu dem Schluss, dass sich dieser Marktplatz zu einem Ort entwickelt hat, an dem eine kleine Gruppe von Nutzern massiv die Nachfrage nach Inhalten für Erwachsene und Bildern echter Frauen vorantreibt, wobei häufig spezielle KI-Werkzeuge (LoRAs) genutzt werden, um Sicherheitsfilter zu umgehen. Während die Plattform über Regeln und Warnzeichen verfügt, ist die Durchsetzung inkonsistent, insbesondere bei den sensibelsten und potenziell schädlichsten Anfragen.
Wichtiger Hinweis: Die Forscher haben nur die Anfragen betrachtet (wonach die Leute gefragt haben), nicht die fertigen Bilder, die erstellt wurden, noch die persönlichen Gründe, warum diese Anfragen gestellt wurden. Sie haben lediglich das „Menü“ kartiert, das in diesem digitalen Restaurant bestellt wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.