💻 computer science

SCOOTER: A Human Evaluation Framework for Unrestricted Adversarial Examples

Dieser Beitrag stellt SCOOTER vor, ein quelloffenes, statistisch fundiertes Framework und Benchmark-Datensatz, der entwickelt wurde, um uneingeschränkte adversarielle Beispiele durch groß angelegte Humanstudien zu evaluieren, wobei sich zeigt, dass aktuelle Angriffe häufig das von Menschen wahrgenommene Unmerklichkeit nicht erreichen, und die Diskrepanz zwischen automatisierten Sehsystemen und der menschlichen Wahrnehmung hervorgehoben wird.

Ursprüngliche Autoren: Dren Fazlija, Monty-Maximilian Zühlke, Johanna Schrader, Arkadij Orlov, Clara Stein, Iyiola E. Olatunji, Daniel Kudenko

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dren Fazlija, Monty-Maximilian Zühlke, Johanna Schrader, Arkadij Orlov, Clara Stein, Iyiola E. Olatunji, Daniel Kudenko

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „Magische Trick", der keine Magie ist

Stellen Sie sich einen Computer vor, der wirklich gut darin ist, Tiere auf Fotos zu identifizieren. Er kann eine Katze sofort von einem Hund unterscheiden. Aber was, wenn jemand den Computer dazu bringen könnte, eine Katze für einen Hund zu halten, ohne dass Sie (der Mensch) etwas Seltsames am Foto bemerken?

In der Welt der KI-Sicherheit werden diese getäuschten Fotos adversarielle Beispiele genannt.

Der alte Weg (eingeschränkt): Stellen Sie sich vor, jemand fügt einem Foto eine winzige, unsichtbare Schicht aus statischem Rauschen hinzu. Es ist wie das Hinzufügen eines einzelnen Sandkorns zu einem Strand. Der Computer wird verwirrt, aber Menschen können das Sandkorn nicht sehen.
Der neue Weg (uneingeschränkt): Stellen Sie sich vor, jemand ändert die Farbe des Katzenfells von orange zu blau oder tauscht die Ohren des Hundes gegen Hasenohren aus. Diese Änderungen sind groß genug, um gesehen zu werden, aber der Angreifer behauptet, sie seien „natürlich" genug, dass ein Mensch sie nicht als gefälscht erkennen würde.

Das Problem ist: Wie wissen wir, ob diese „großen Änderungen" für Menschen tatsächlich unsichtbar sind?

Das Problem: „Vertrauen Sie mir, es sieht echt aus"

Seit Jahren erstellen Forscher diese „uneingeschränkten" Angriffe. Sie behaupten: „Schauen Sie, meine KI hat den Computer getäuscht, und ein Mensch würde niemals den Unterschied erkennen!"

Aber bis jetzt gab es keine zuverlässige Methode, dies zu beweisen.

Manche Forscher fragten einfach ein paar Freunde: „Sieht das gefälscht aus?"
Andere verwendeten Computerprogramme, um die „Bildqualität" zu messen, aber Computer sind schlecht darin, zu erraten, was Menschen tatsächlich sehen.
Es war wie ein Magier, der behauptet, ein Trick sei „unsichtbar", weil er keine Kamera hatte, um das Gegenteil zu beweisen.

Die Lösung: „Scooter" tritt auf den Plan

Die Autoren bauten ein neues System namens Scooter (Systemizing Confusion Over Observations To Evaluate Realness). Denken Sie an Scooter als einen strengen, wissenschaftlichen „Geschmackstest" für KI-Bilder.

Anstatt eine Person zu fragen, organisiert Scooter ein massives, strukturiertes Experiment mit hunderten von Menschen, um eine statistisch fundierte Antwort zu erhalten. So funktioniert es, Schritt für Schritt:

1. Der „Sehtest" (Vorab-Checks)

Bevor jemand die Bilder beurteilen darf, muss er beweisen, dass er Farben tatsächlich sehen kann.

Die Analogie: Stellen Sie sich einen Weinprobe-Wettbewerb vor. Sie würden niemanden den Wein beurteilen lassen, wenn er farbenblind wäre und Rot nicht von Grün unterscheiden könnte.
Der Test: Teilnehmer bestehen einen Test auf Farbenblindheit (wie die berühmten Ishihara-Platten mit versteckten Zahlen) und einen Test, „ob sie die Anweisungen gelesen haben". Wer durchfällt, fliegt raus. Dies stellt sicher, dass die Richter scharfsinnig sind.

2. Der „doppelblinde Geschmackstest" (Die Hauptstudie)

Teilnehmern werden 106 Bilder gezeigt. Sie wissen nicht, welche echt sind und welche von der KI „getäuscht" wurden.

Die Skala: Anstatt nur „Echt" oder „Gefälscht" zu sagen, bewerten sie das Bild auf einer Skala von -2 (Definitiv gefälscht) bis +2 (Definitiv echt).
Die Falle: Die Forscher schmuggeln „gefälschte" Bilder ein, die offensichtlich gefälscht sind (wie ein Bild mit einem riesigen roten Filter), um zu sehen, ob der Teilnehmer aufmerksam ist. Wenn Sie sagen, ein heller roter Filter sehe echt aus, werden Sie als schlechter Richter markiert.

3. Der „Mathe-Check" (Statistische Analyse)

Dies ist der wichtigste Teil. Die Forscher schauen sich nicht nur den Durchschnittswert an. Sie verwenden einen speziellen mathematischen Test namens TOST (Two-One-Sided Tests).

Die Analogie: Stellen Sie sich vor, Sie wollen beweisen, dass zwei Münzen identisch sind. Sie werfen sie nicht einfach und hoffen, dass sie gleich landen. Sie müssen beweisen, dass der Unterschied zwischen ihnen so klein ist, dass es keine Rolle spielt.
Das Ergebnis: Wenn die „getäuschten" Bilder signifikant niedriger bewertet werden als die echten Bilder, beweist die Mathematik, dass der Angriff gescheitert ist, unsichtbar zu sein.

Was sie herausfanden: Die „Magie" war nicht so gut

Die Autoren testeten sechs verschiedene „uneingeschränkte" Angriffe (drei, die Farben ändern, und drei, die fortschrittliche KI-Generatoren verwenden).

Das schockierende Ergebnis:

Menschen konnten die Fälschungen leicht erkennen.
Bei jedem einzelnen Test wurden die „getäuschten" Bilder signifikant niedriger bewertet als die echten.
Selbst die fortschrittlichsten Angriffe (diejenigen, die fortschrittliche KI-Generatoren verwenden) waren für menschliche Augen offensichtlich.
Das Fazit: Die Behauptung, dass „Menschen den Unterschied nicht erkennen können", ist falsch. Diese Angriffe sind nicht unbemerkt wahrnehmbar.

Das „Roboter-Richter"-Experiment

Die Forscher baten auch eine superintelligente KI (GPT-4o), sich die Bilder anzusehen und zu raten, ob sie echt sind.

Das Ergebnis: Die KI war besser als ein Mensch darin, einige Tricks zu erkennen, wurde aber bei anderen immer noch verwirrt.
Die Lehre: Selbst die intelligentesten KI-Modelle von heute haben Schwierigkeiten, die menschliche Wahrnehmung perfekt nachzuahmen. Sie können nicht einfach einen Computer fragen, ob ein Bild echt aussieht; Sie brauchen echte Menschen.

Die „Punkteliste" (Objektive Metriken)

Das Paper untersuchte auch, wie Computerprogramme (wie FID oder TOPIQ) diese Bilder bewerten.

Das Problem: Die Computerprogramme gaben den „getäuschten" Bildern oft hohe Noten und sagten: „Wow, das sieht großartig aus!"
Die Realität: Menschen sahen sich dieselben Bilder an und sagten: „Das sieht seltsam aus."
Die Schlussfolgerung: Wir können Computermetriken nicht vertrauen, um uns zu sagen, ob ein Bild für einen Menschen echt aussieht. Wir brauchen menschliche Richter.

Zusammenfassung

Scooter ist ein neues, quelloffenes Toolkit, das Forscher zwingt, zu beweisen, dass ihre „unsichtbaren" KI-Angriffe tatsächlich unsichtbar sind, indem sie echte Menschen auf wissenschaftlich strenge Weise einsetzen.

Die wichtigste Entdeckung? Die „unsichtbaren" Angriffe, über die alle prahlten? Sie sind nicht unsichtbar. Menschen können sie sehen, und die Mathematik beweist es. Das Paper stellt die Werkzeuge (Code, Datensätze und Richtlinien) bereit, damit in Zukunft niemand behaupten kann, ein Angriff sei „unbemerkt wahrnehmbar", ohne die menschlichen Daten zu zeigen, die dies untermauern.

Technische Zusammenfassung: Scooter – Ein Rahmenwerk für die menschliche Bewertung von uneingeschränkten adversariellen Beispielen

Problemstellung

Uneingeschränkte adversarielle Angriffe zielen darauf ab, Computer-Vision-(CV-)Modelle zu täuschen, indem Bilder auf Weise verändert werden, die nicht durch $\ell_p$ -Norm-Schranken eingeschränkt sind, wie etwa das Ändern der Farbe oder Textur eines Objekts. Im Gegensatz zu eingeschränkten Angriffen können diese Modifikationen semantisch kohärent sein und von Menschen leicht übersehen werden, was Angreifern ermöglicht, traditionelle normbasierte Verteidigungen wie adversarielles Training oder zertifizierte Robustheit zu umgehen. Das Fehlen normbasierter Einschränkungen bedeutet jedoch, dass es keine mathematische Garantie für die Unwahrnehmbarkeit gibt. Folglich erfordert die Überprüfung, ob diese adversariellen Beispiele (AEs) für Menschen authentisch erscheinen, eine menschliche Bewertung.

Die bestehende Literatur verlässt sich häufig auf automatisierte Metriken oder kleine menschliche Studien, die mangels statistischer Strenge unzureichend sind. Viele frühere Arbeiten vernachlässigen entweder die Bildqualitätsbewertung vollständig oder verlassen sich auf automatisierte Metriken, die nicht mit der menschlichen Wahrnehmung übereinstimmen. Darüber hinaus fehlt es bei bestehenden Protokollen für menschliche Bewertungen oft an statistisch signifikanten Erkenntnissen, einer transparenten Berichterstattung über Demografien, einer Power-Analyse und einer robusten Filterung von unaufmerksamen Teilnehmern. Dies schafft eine Lücke in der Fähigkeit, die Unwahrnehmbarkeit uneingeschränkter Angriffe zuverlässig zu vergleichen und zu validieren.

Methodik: Das Scooter-Rahmenwerk

Um diese Lücken zu schließen, stellen die Autoren Scooter (Systemizing Confusion Over Observations To Evaluate Realness) vor, ein quelloffenes, statistisch fundiertes Rahmenwerk zur Bewertung uneingeschränkter adversarieller Beispiele. Das Rahmenwerk ist um eine dreiphasige Pipeline strukturiert, die darauf ausgelegt ist, Datenqualität und statistische Validität sicherzustellen:

Vorab-Prüfungen:
- Farbblindheitstest: Teilnehmer müssen fünf Ishihara-ähnliche Bilder korrekt klassifizieren, um sicherzustellen, dass sie farb-basierte Modifikationen wahrnehmen können, einem primären Vektor für uneingeschränkte Angriffe.
- Verständnisprüfung: Teilnehmer überprüfen Beispiele für modifizierte im Vergleich zu unmodifizierten Bildern und müssen das modifizierte Bild in mindestens 5 von 6 Paaren korrekt identifizieren. Dies stellt das Verständnis der Aufgabe sicher und filtert nicht-fluente Englischsprecher heraus.
Haupt-Annotationsphase:
- Teilnehmer bewerten 106 Bilder (50 real, 50 adversariell) auf einer 5-stufigen Likert-Skala, die von „Definitiv modifiziert" (-2) bis „Definitiv real" (+2) reicht.
- Das Design verwendet einen Within-Subject-Wiederholungsmessansatz, bei dem Teilnehmer sowohl reale als auch modifizierte Bilder bewerten.
- Aufmerksamkeitsprüfungen: Die Studie enthält „fiktive Items" (offensichtlich modifizierte Bilder) und „Instruktions-Manipulationsprüfungen" (IMCs), um unaufmerksame Teilnehmer zu erkennen. Teilnehmer, die 2 oder mehr der 6 Aufmerksamkeitsprüfungen nicht bestehen, werden markiert.
- Filterung: Zusätzliche Metriken wie die durchschnittliche Zeit pro Bild, Long-String-Statistiken und die Intra-individuelle Antwortvariabilität (IRV) werden verwendet, um Daten niedriger Qualität zu filtern.
Statistische Analyse und Berichterstattung:
- Äquivalenztestung: Anstatt auf signifikante Unterschiede zu testen (was Detektierbarkeit implizieren würde), setzt Scooter das Two-One-Sided-Tests-(TOST-)Verfahren ein, um auf Äquivalenz zu testen. Das Ziel ist es, nachzuweisen, dass der mittlere Bewertungswert adversarieller Bilder ( $\mu_{modified}$ ) innerhalb einer vordefinierten Toleranz ( $\Delta$ ) praktisch äquivalent zum mittleren Bewertungswert realer Bilder ( $\mu_{real}$ ) ist.
- Grenzwerte: Basierend auf empirischen Simulationen setzen die Autoren praktische Äquivalenzgrenzwerte von $\Delta_L = -0.2$ und $\Delta_U = +0.2$ . Wenn die Differenz zwischen $\mu_{real}$ und $\mu_{modified}$ in diesen Bereich fällt, gilt der Angriff als unwahrnehmbar.
- Berichterstattung: Das Rahmenwerk schreibt die Berichterstattung über Teilnehmerdemografien, Vergütung, Zeitaufwand und detaillierte statistische Ausgaben vor, um die Reproduzierbarkeit sicherzustellen.

Experimentelles Setup

Die Autoren wandten das Scooter-Rahmenwerk an, um sechs uneingeschränkte Angriffe zu bewerten:

Farb-basierte Angriffe: SemanticAdv (SemAdv), cAdv und Natural Color Fool (NCF).
Diffusions-basierte Angriffe: DiffAttack (DA), AdvPP und ACA.

Opfermodell: Die Angriffe wurden gegen ein adversariell trainiertes ResNet-50 (ResNet-50-AT) bewertet, ein robustes Basismodell, das für seine Widerstandsfähigkeit gegen standardmäßige norm-begrenzte Angriffe bekannt ist.
Datensatz: Ein kuratiertes Teilset von ImageNet-1k-Validierungsbildern, bezeichnet als ImageNet S-R50-N, enthält 2.966 Bilder, die vom Opfermodell korrekt klassifiziert werden und frei von bestehenden Artefakten sind.
Teilnehmer: Insgesamt wurden 346 Teilnehmer über Prolific rekrutiert, was zu über 34.000 menschlichen Bewertungen führte.

Wichtige Ergebnisse

Die Studie lieferte statistisch signifikante Beweise, die der Behauptung widersprechen, dass aktuelle uneingeschränkte Angriffe unwahrnehmbar sind:

Versagen der Unwahrnehmbarkeit: Für alle sechs Angriffe konnte das TOST-Verfahren die Nullhypothese, dass die Bilder nicht äquivalent sind, nicht verwerfen. Insbesondere betrugen die p-Werte für den Test der oberen Grenze ( $\Delta > \Delta_U$ ) für alle Angriffe 1,000. Dies zeigt, dass reale Bilder signifikant höher (als „realer") bewertet wurden als die adversariellen Beispiele, mit Lücken, die die Toleranz von $\pm 0.2$ weit überschreiten.
Angriffsleistung:
- Diffusions-basierte Angriffe schnitten im Allgemeinen bei der Unwahrnehmbarkeit besser ab als farb-basierte Angriffe (beispielsweise hatte AdvPP einen $\mu_{modified}$ von -0,5188, was näher an realen Bildern lag als bei anderen), schafften es jedoch immer noch nicht, statistische Äquivalenz zu erreichen.
- SemAdv führte trotz seiner Einfachheit überraschend gut, übertraf vier andere Angriffe bei den rohen modifizierten Scores, scheiterte jedoch weiterhin am Äquivalenztest.
- NCF erzeugte die offensichtlichsten Modifikationen mit der größten Lücke zwischen den Bewertungen für reale und modifizierte Bilder.
Diskrepanz zum Modellerfolg: Es besteht keine Korrelation zwischen der Erfolgsrate eines Angriffs gegen das Opfermodell und seiner Unwahrnehmbarkeit für Menschen. Beispielsweise hatte NCF eine hohe Angriffserfolgsrate (0,922), war jedoch stark wahrnehmbar, während AdvPP eine niedrige Erfolgsrate (0,081) hatte, aber am wenigsten wahrnehmbar war.
Automatisierte Proxy-Metriken:
- GPT-4o: Das Vision-Language-Modell zeigte eine gewisse Fähigkeit, unwahrnehmbare Angriffe zu markieren, stimmte jedoch nicht perfekt mit menschlichen Bewertungen überein, insbesondere bei AdvPP und ACA.
- Objektive Metriken: Standard-Bildqualitätsmetriken (z. B. FID, FD, KD) korrelierten nicht mit der menschlichen Wahrnehmung. Bemerkenswerterweise stuften Metriken NCF (den am stärksten wahrnehmbaren Angriff) oft als die höchste Bildqualität ein, was den menschlichen Urteilen direkt widerspricht. Die pro-Bild-Metrik TOPIQ zeigte die beste Übereinstimmung, scheiterte jedoch weiterhin daran, menschliche Urteile über alle Angriffe hinweg zuverlässig zu proxyen.

Bedeutung und Behauptungen

Die Arbeit beansprucht, den ersten offen verfügbaren, statistisch fundierten Benchmark bereitzustellen, der die menschliche Wahrnehmung rigoros mit der Qualität uneingeschränkter adversarieller Beispiele verknüpft. Ihre Hauptbeiträge sind:

Methodologischer Standard: Es werden Best-Practice-Richtlinien für die Power von Crowd-Studien, Vergütung und statistische Analyse (insbesondere TOST) zur Bewertung der Unwahrnehmbarkeit etabliert, wodurch das Fehlen statistisch signifikanter Erkenntnisse in früheren Arbeiten adressiert wird.
Empirische Beweise: Es wird gezeigt, dass aktuelle State-of-the-Art-uneingeschränkte Angriffe, einschließlich solcher auf Diffusionsmodellen basierender, für Menschen nicht unwahrnehmbar sind. Die Autoren schließen daraus, dass Menschen echte Bilder leicht von denen unterscheiden können, die durch diese Angriffe modifiziert wurden.
Entkopplung von Zielen: Die Ergebnisse deuten darauf hin, dass das Täuschen eines Computer-Vision-Modells und das Täuschen eines menschlichen Beobachters weitgehend orthogonale Ziele sind; ein hoher Angriffserfolg impliziert keine hohe Unwahrnehmbarkeit.
Grenzen automatisierter Metriken: Die Studie unterstreicht, dass bestehende objektive Bildqualitätsmetriken im Kontext adversarieller Beispiele unzureichende Proxy-Metriken für die menschliche Wahrnehmung sind.

Die Autoren positionieren Scooter als Werkzeug, um reproduzierbare, menschenzentrierte Forschung zu ermöglichen, und fordern die Gemeinschaft auf, über automatisierte Metriken und unbestätigte Behauptungen der Unwahrnehmbarkeit hinauszugehen. Sie veröffentlichen den Quellcode, den Datensatz ImageNet S-R50-N und über 34.000 menschliche Bewertungen, um zukünftige Forschung in diesem Bereich zu erleichtern.