Analyzing Physical Adversarial Example Threats to Machine Learning in Election Systems

Diese Arbeit entwickelt ein probabilistisches Rahmenwerk zur Quantifizierung des Einflusses physischer adversarialer Beispiele auf Wahlergebnisse und zeigt durch umfangreiche Experimente mit 144.000 ausgedruckten Stimmzetteln auf, dass sich die effektivsten Angriffsarten im physischen Bereich von denen im digitalen Bereich unterscheiden.

Das Wesentliche

Stellen Sie sich vor, eine Wahl ist wie ein riesiges, sorgfältig organisiertes Festmahl. Jeder Gast (Wähler) legt einen Zettel mit einem Wunsch auf den Tisch. In der Vergangenheit zählten diese Zettel von Hand. Heute aber nutzen viele Wahlkreise moderne Maschinen – quasi „digitale Servierkräfte", die mit künstlicher Intelligenz (KI) trainiert wurden, um die Zettel blitzschnell zu lesen und die Stimmen zu zählen.

Dieser Artikel ist eine Warnung und eine Untersuchung darüber, wie ein cleverer Dieb diese digitalen Servierkräfte austricksen könnte, um das Ergebnis des Festmahls zu manipulieren, ohne dass jemand etwas merkt.

Hier ist die einfache Erklärung der wichtigsten Punkte:

1. Das Problem: Der unsichtbare Tintenfleck

Die KI-Systeme sind sehr gut darin, zu erkennen, ob ein Kreis auf dem Stimmzettel ausgefüllt ist oder nicht. Sie erreichen fast 100 % Genauigkeit. Aber wie bei jedem menschlichen (oder künstlichen) Gehirn gibt es eine Schwäche: Adversarial Examples (gegnerische Beispiele).

Stellen Sie sich vor, Sie malen einen winzigen, fast unsichtbaren Tintenfleck an eine ganz bestimmte Stelle auf dem Papier. Für das menschliche Auge sieht der Zettel völlig normal aus. Aber für die KI ist dieser Fleck wie ein magischer Zaubertrick: Sie denkt plötzlich, der Gast habe einen anderen Kandidaten gewählt, obwohl er gar nichts ausgefüllt hat.

2. Die Frage: Wie viele gefälschte Zettel braucht man?

Die Forscher haben sich gefragt: „Wie viele dieser manipulierten Zettel muss ein Dieb drucken lassen, um eine Wahl zu gewinnen?"

Sie haben eine mathematische Formel entwickelt, die wie eine Wettervorhersage für Wahlergebnisse funktioniert.

• Die Analogie: Stellen Sie sich vor, Kandidat A hat einen kleinen Vorsprung. Um ihn zu stürzen, muss der Dieb nicht alle Zettel fälschen. Er muss nur genau die richtige Anzahl an „vergifteten" Zetteln in den Topf werfen.
• Die Formel sagt ihnen genau, wie viele Zettel manipuliert werden müssen, damit die Wahrscheinlichkeit hoch ist, dass Kandidat A gewinnt – selbst wenn er eigentlich verloren hätte. Es ist wie das Berechnen, wie viele Steine man in eine Waage legen muss, um sie zum Kippen zu bringen.

3. Der große Test: Digital vs. Physisch (Der Druck-Test)

Hier wird es spannend. Bisher haben Forscher nur am Computer getestet: „Was passiert, wenn wir den Zettel digital manipulieren?" Das ist wie das Testen eines Autos im Windkanal – perfekt, aber nicht ganz real.

In dieser Studie haben die Forscher etwas Neues getan: Sie haben 144.000 Zettel tatsächlich ausgedruckt und wieder eingescannt.

• Die Analogie: Stellen Sie sich vor, Sie haben einen perfekten digitalen Plan für einen Trick. Aber wenn Sie ihn auf Papier drucken, kommt der Tintenstrahl vielleicht ein bisschen daneben, das Papier ist leicht geknickt oder der Scanner ist etwas verschmutzt. Der Trick im Computer funktioniert vielleicht nicht mehr auf dem echten Papier.

Das überraschende Ergebnis:

• Im Computer (digital) waren bestimmte Tricks (die sogenannten $l_2$ und $l_\infty$-Angriffe) am besten. Das waren wie „feine, gleichmäßige Störungen".
• Auf dem echten Papier (physisch) waren ganz andere Tricks am erfolgreichsten! Hier funktionierten die $l_1$-Angriffe am besten. Das ist, als ob man im Windkanal mit einem bestimmten Flugzeugmodell fliegt, aber im echten Sturm ein ganz anderes Modell braucht, um stabil zu bleiben.

Die Lehre: Man kann sich nicht nur auf Computer-Simulationen verlassen. Um die Sicherheit von Wahlen zu testen, muss man die Zettel wirklich ausdrucken, scannen und testen. Was im Computer funktioniert, funktioniert auf dem Papier oft nicht – und umgekehrt.

4. Welche Modelle sind am schwächsten?

Die Forscher haben vier verschiedene „digitale Servierkräfte" (KI-Modelle) getestet:

1. Eine einfache Maschine (SVM).
2. Zwei komplexe Bilderkennungs-Systeme (VGG und ResNet).
3. Ein sehr modernes System (CaiT).

Überraschenderweise war das komplexeste System (CaiT) nicht das sicherste. Im Gegenteil: Es war oft am anfälligsten für die Manipulation.

• Die Analogie: Ein riesiger, komplizierter Roboter mit tausenden Sensoren ist nicht unbedingt sicherer als ein einfacher, robuster Mechanismus. Manchmal machen die komplexen Systeme mehr Fehler, wenn man sie mit einem kleinen, unsichtbaren Trick konfrontiert.

5. Was bedeutet das für die Zukunft?

Die Botschaft der Forscher ist klar:

• KI in Wahlen ist mächtig, aber nicht unfehlbar. Sie kann Stimmen zählen, aber sie kann getäuscht werden.
• Sicherheitstests müssen real sein. Man darf nicht nur am Computer spielen. Man muss die Zettel ausdrucken und scannen, um zu sehen, wo die wahren Schwachstellen liegen.
• Es gibt keine „eine" Lösung. Je nachdem, welche Maschine den Zettel liest, funktionieren auch andere Tricks.

Zusammenfassend:
Dieser Artikel zeigt uns, dass die Sicherheit unserer Wahlen nicht nur davon abhängt, wie gut die Software ist, sondern auch davon, wie gut wir verstehen, wie diese Software mit der realen Welt (Papier, Tinte, Scanner) interagiert. Ein kleiner, unsichtbarer Fleck auf einem Zettel könnte theoretisch das Ergebnis einer ganzen Wahl verändern – aber nur, wenn man genau weiß, wie man die Maschine austricksst. Die Forscher haben uns geholfen zu verstehen, welche Tricks funktionieren und wie viele davon man braucht, um das Spiel zu drehen.

Technische Zusammenfassung

1. Problemstellung

Die Wahlprozesse in den USA basieren zunehmend auf Papierstimmzetteln, die oft durch optische Scanner oder maschinelle Lernmodelle (ML) zur Klassifizierung von ausgefüllten Feldern („Bubbles") ausgewertet werden. Obwohl diese Modelle in digitalen Umgebungen hohe Genauigkeiten (>99 %) erreichen, sind sie anfällig für adversarielle Beispiele (Adversarial Examples). Dabei werden dem Eingabebild für das menschliche Auge nicht wahrnehmbare Rauschsignale ($\delta$) hinzugefügt, die das ML-Modell zu Fehlklassifizierungen verleiten.

Die zentrale Forschungsfrage dieses Papers ist: Wie realistisch ist die Gefahr, dass ein Angreifer durch physisch gedruckte, adversarielle Stimmzettel das Ergebnis einer US-Wahl manipulieren kann? Bisherige Studien konzentrierten sich oft nur auf digitale Angriffe oder beschränkten sich auf eine spezifische Norm ($l_\infty$). Es ist unklar, welche Art von Angriff im physischen Druck- und Scanprozess am effektivsten ist und wie viele manipulierte Stimmzettel nötig sind, um eine Wahl zu kippen.

2. Methodik

Die Autoren verfolgen einen dreiteiligen methodischen Ansatz:

A. Probabilistisches Angriffsframework

Es wurde ein mathematisches Modell entwickelt, um die Wahrscheinlichkeit zu berechnen, dass eine Wahl durch adversarielle Stimmzettel manipuliert wird.

• Annahmen: Ein Angreifer hat Weißkasten-Zugriff (White-Box) auf das ML-Modell und kann einen Teil der Drucker kompromittieren, um Rauschen auf leere Felder zu drucken.
• Ziel: Berechnung des Anteils kompromittierter Stimmzettel ($p_c$), der notwendig ist, um den Wahlsieger zu ändern, basierend auf der Wahrscheinlichkeit der Kandidaten, der Gesamtzahl der Stimmen ($N$) und einem Konfidenzniveau ($1-\alpha$).
• Ergebnis: Eine geschlossene Formel (Gleichung 8), die den benötigten Anteil manipulierter Zettel in Abhängigkeit von den Wahrscheinlichkeiten der Kandidaten und der Stimmzahl liefert.

B. Datensätze und Modelle

• Datensätze: Nutzung des „UConn Bubbles with Marginal Marks"-Datensatzes. Dieser enthält nicht nur leere und gefüllte Felder, sondern auch synthetisch generierte „Randmarkierungen" (Marginal Marks) wie Stiftabdrücke, Kreuze oder Kritzeleien, die in echten Wahlen vorkommen.
• Modelle: Vier Modelle unterschiedlicher Komplexität wurden trainiert und getestet:
  1. SVM (Support Vector Machine) – linear, geringe Komplexität.
  2. VGG-16 – CNN, hohe Komplexität.
  3. ResNet-20 – CNN, mittlere Komplexität.
  4. CaiT (Class-Attention in Image Transformers) – Transformer-Architektur, sehr hohe Komplexität.
• Trainingsvarianten: Modelle wurden sowohl nur auf „Bubbles" (reine Felder) als auch auf dem kombinierten Datensatz (mit Randmarkierungen) trainiert.

C. Angriffsvektoren (Normen)

Es wurden sechs verschiedene Arten von adversariellen Angriffen analysiert, die auf unterschiedlichen Normen basieren:

1. $l_\infty$-APGD
2. $l_2$-APGD
3. $l_1$-APGD
4. $l_0$-PGD (sparse)
5. $l_0 + l_\infty$-PGD
6. $l_0 + \sigma$-map PGD

D. Experimenteller Aufbau (Digital vs. Physisch)

• Digital: Bewertung der Robustheit der Modelle gegen die sechs Angriffe mit verschiedenen Rauschbudgets ($\epsilon$).
• Physisch: Ein umfassender „Print-and-Scan"-Zyklus.
  • 144.000 adversarielle Beispiele wurden physisch gedruckt (HP LaserJet Pro) und mit einem hochauflösenden Scanner (Ricoh Fujitsu) eingescannt.
  • Die Bilder wurden nachbearbeitet (Ausrichtung, Segmentierung, Denoising mittels U-Net), um die Eingabe für die Modelle vorzubereiten.
  • Dies ermöglichte den direkten Vergleich zwischen digitaler Simulation und realer physischer Umsetzung.

3. Wichtige Ergebnisse

A. Digitale vs. Physische Domäne (Die „Analyselücke")

Ein zentrales Ergebnis ist die Diskrepanz zwischen digitaler und physischer Wirksamkeit:

• Digital: Die $l_2$- und $l_\infty$-Angriffe waren in der digitalen Domäne am effektivsten (niedrigste Robustheitswerte).
• Physisch: Im realen Druck-Scan-Prozess waren $l_1$-Angriffe (und in manchen Fällen $l_2$) am effektivsten. Die $l_\infty$-Angriffe, die digital stark waren, waren physisch weniger wirksam.
• Bedeutung: Angriffe, die im digitalen Raum als „unsichtbar" gelten, verlieren ihre Wirksamkeit oder verändern ihre Natur durch den Druckprozess (Toner, Papier, Scan-Rauschen). Traditionelle Metriken wie RMSE oder SSIM korrelieren nicht mit der tatsächlichen Angriffserfolgsrate im physischen Raum.

B. Modellkomplexität und Sicherheit

• Höhere Modellkomplexität (z. B. Transformer vs. SVM) bietet keine automatische zusätzliche Sicherheit.
• Das komplexeste Modell (CaiT) war im physischen Szenario oft das am wenigsten robuste.
• Modelle, die nur auf sauberen „Bubbles" trainiert wurden, scheiterten daran, Randmarkierungen korrekt zu klassifizieren. Nur Modelle, die auf dem kombinierten Datensatz (mit Randmarkierungen) trainiert wurden, erreichten eine hohe Genauigkeit (>99 %) und sind für reale Szenarien relevant.

C. Quantifizierung der Manipulationswahrscheinlichkeit

Das probabilistische Framework zeigt, dass ein Angreifer einen spezifischen, berechenbaren Anteil der Stimmzettel manipulieren muss, um eine Wahl zu kippen. Dieser Anteil hängt stark von der Nähe des Wahlergebnisses ab (bei knappen Rennen ist weniger Manipulation nötig).

4. Hauptbeiträge

1. Probabilistisches Framework: Entwicklung einer mathematischen Formel zur Berechnung des notwendigen Anteils manipulierter Stimmzettel, um eine Wahl zu beeinflussen, unter Berücksichtigung von Unsicherheiten im Wahlverhalten.
2. Umfassende physische Evaluation: Erste systematische Analyse von sechs verschiedenen Norm-Angriffen im realen Druck-Scan-Zyklus (144.000 physische Beispiele), statt nur digitaler Simulationen.
3. Nachweis der Domänenlücke: Evidenz, dass die im digitalen Raum effektivsten Angriffe ($l_2, l_\infty$) nicht zwingend die effektivsten im physischen Raum sind (dort dominieren $l_1, l_2$).
4. Daten- und Modellverfügbarkeit: Bereitstellung neuer Datensätze mit realistischen Randmarkierungen und trainierter Modelle für die Wahlforschung.

5. Bedeutung und Fazit

Das Paper warnt davor, sich bei der Sicherheitsbewertung von ML-Systemen in Wahlkabinen nur auf digitale Simulationen zu verlassen. Die Ergebnisse zeigen, dass:

• Physische Experimente unerlässlich sind: Die Komplexität des Druckprozesses verändert die Natur adversarieller Angriffe fundamental.
• Sicherheitsstandards angepasst werden müssen: Da $l_1$-Angriffe im physischen Raum besonders gefährlich sind, müssen zukünftige Verteidigungsmechanismen (Robust Training) speziell gegen diese Normen gehärtet werden.
• Risiko ist real: Es ist technisch möglich, durch gezielte Manipulation einer kleinen, aber berechenbaren Anzahl von Stimmzetteln das Ergebnis einer Wahl zu verändern, sofern ML-Klassifikatoren ohne entsprechende physische Robustheit eingesetzt werden.

Die Autoren betonen, dass ihre Arbeit nicht gegen spezifische, im Einsatz befindliche Systeme gerichtet ist, sondern als Warnung und Leitfaden für die sichere Implementierung von ML in zukünftigen Wahlsystemen dient.