Analyzing Physical Adversarial Example Threats to Machine Learning in Election Systems

Dit artikel analyseert de fysieke bedreigingen van adversariële voorbeelden voor machine learning in verkiezingssystemen door een probabilisch raamwerk te ontwikkelen en empirisch vast te stellen dat de meest effectieve aanvallen in het fysieke domein afwijken van die in het digitale domein, waardoor de kwetsbaarheid van verkiezingsuitslagen voor manipulatie wordt gekwantificeerd.

De kern

Stel je voor dat de verkiezingen in de Verenigde Staten niet meer worden geteld door mensen die met een loepje naar stembiljetten kijken, maar door slimme computers (kunstmatige intelligentie) die foto's van die stembiljetten scannen. Dit klinkt als de toekomst: snel, efficiënt en nauwkeurig. Maar zoals bij elke slimme computer, is er een zwakke plek.

Deze paper is een waarschuwing en een onderzoek naar hoe een hacker die slimme computer kan misleiden, zonder dat de gemiddelde kiezer er iets van merkt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Onzichtbare Vervuiling"

Stel je voor dat je een stembiljet invult. Je vinkt "Bob" aan. De computer kijkt naar het vakje en zegt: "Ah, hier staat een vinkje, dus de stem is voor Bob."

Een hacker kan nu een heel klein beetje "ruis" (onzichtbare ruis) toevoegen aan het vakje van "Alice". Voor een menselijk oog ziet het er precies hetzelfde uit als een leeg vakje. Maar voor de computer is het alsof er een magische code is geschreven die zegt: "Dit is niet leeg, dit is een stem voor Alice!"

Dit heet een adversariaal voorbeeld. Het is alsof je een verkeersbord neemt en er met een onzichtbare verf een klein stipje op zet. Voor de bestuurder is het nog steeds een "Stop"-bord, maar voor een zelfrijdende auto (de computer) is het plotseling een bord dat zegt: "Doorrijden met 100 km/u".

2. De Grote Vraag: Hoeveel vervalsingen zijn nodig?

De auteurs hebben een wiskundig recept bedacht om te berekenen hoeveel van deze "vergiftigde" stembiljetten er nodig zijn om de uitslag van een verkiezing te draaien.

• De Analogie: Stel je voor dat je een grote emmer met water hebt (alle stemmen). De emmer staat halfvol met blauwe ballen (stemmen voor kandidaat A) en halfvol met rode ballen (stemmen voor kandidaat B). Als kandidaat B net iets meer stemmen heeft, wint hij.
• De hacker wil de emmer omgooien. Hij moet dus genoeg blauwe ballen veranderen in rode ballen.
• De paper zegt: "Het hangt af van hoe krap de verkiezing is." Als het verschil tussen de kandidaten heel klein is, heb je maar een paar duizend vervalsingen nodig. Als het verschil groot is, moet je bijna de hele emmer vullen met vervalsingen, wat onmogelijk is om onopgemerkt te doen.

3. De Experimenten: Digitaal vs. Fysiek

Dit is het meest interessante deel van het onderzoek. De wetenschappers hebben getest of deze aanval werkt in de computerwereld (digitaal) en in de echte wereld (fysiek).

• Digitaal (In de computer): Hier werken de hackers met wiskundige formules. Ze ontdekten dat bepaalde soorten "ruis" (die ze $l_2$ en $l_\infty$ noemen) het beste werken om de computer gek te maken.
• Fysiek (Op papier): Hier wordt het lastig. De hacker moet de aanval printen op een stembiljet en die vervolgens scannen. Papier is niet perfect. Het heeft korreltjes, de printer is niet 100% scherp, en de scanner heeft zijn eigen eigenaardigheden.

De verrassing:
Wat in de computerwereld het beste werkt, werkt in de echte wereld vaak niet.

• In de computer was de aanval met de "vierkante ruis" ($l_2$ en $l_\infty$) het sterkst.
• Maar toen ze het daadwerkelijk printten en scannten, bleek dat een andere soort ruis ($l_1$, die wat meer lijkt op vlekjes of streepjes) de computer het meest verwarde.

De les: Je kunt niet zomaar vertrouwen op tests die alleen op een computer gebeuren. Net zoals je een auto niet alleen in een virtuele game kunt testen, maar hem ook op een modderige weg moet rijden, moet je deze aanval testen op echt papier.

4. De Conclusie: Waarom dit belangrijk is

De onderzoekers zeggen niet: "Verkiezingen zijn kapot." Ze zeggen: "Als we machine learning gebruiken voor verkiezingen, moeten we heel voorzichtig zijn."

• Het risico: Als een hacker toegang krijgt tot de printers (bijvoorbeeld een kleine drukkerij die stembiljetten maakt), kan hij duizenden stembiljetten printen die er normaal uitzien, maar voor de computer een andere stem bevatten.
• De oplossing: We moeten systemen bouwen die niet alleen slim zijn, maar ook "veilig" tegen deze onzichtbare trucjes. En we moeten testen op echt papier, niet alleen op computerschermen.

Samenvattend in één zin:

Deze paper laat zien dat slimme computers die stembiljetten tellen kwetsbaar zijn voor onzichtbare manipulaties, en dat wat in de digitale wereld werkt, in de echte wereld van papier en inkt soms heel anders werkt – dus we moeten echt testen voordat we ons vertrouwen in deze technologie stellen.

Technische samenvatting

Titel: Analyse van Fysieke Adversariële Voorbeeldbedreigingen voor Machine Learning in Kiesystemen

1. Probleemstelling

Verkiezingen in de Verenigde Staten worden grotendeels uitgevoerd met papieren stembiljetten. Om de uitslag te bepalen, worden deze biljetten vaak gescand en geanalyseerd door machine learning (ML) modellen om te bepalen of een bubbel leeg of ingevuld is. Hoewel deze modellen hoge nauwkeurigheid tonen (>99%), zijn ze kwetsbaar voor adversariële voorbeelden: invoer met onzichtbare ruis ($\delta$) die door mensen niet wordt opgemerkt, maar waardoor het ML-model een verkeerde classificatie maakt.

De kernproblemen die in dit artikel worden aangepakt zijn:

• Fysieke Realisatie: Bestaand onderzoek is beperkt tot digitale simulaties. Het is onbekend welke soorten adversariële aanvallen het meest effectief zijn wanneer ze fysiek worden afgedrukt en gescand, gezien de complexiteit en het ruisproces van printers en scanners.
• Impact op Verkiezingsuitslagen: Er ontbreekt een wiskundig raamwerk om te kwantificeren hoeveel gemanipuleerde stembiljetten nodig zijn om de uitkomst van een verkiezing te veranderen, rekening houdend met de onzekerheid in de stemmende populatie.
• Norm-afhankelijkheid: Robuustheid tegen één type adversariële aanval (bijv. $l_\infty$) garandeert geen robuustheid tegen andere normen ($l_1, l_2, l_0$).

2. Methodologie

A. Probabilistisch Aanvalsraamwerk (Election Attack Framework)
De auteurs ontwikkelen een probabilistisch model om de kans te berekenen dat een aanval succesvol is.

• Aannames: Een aanval is succesvol als kandidaat A (de verliezer in de echte situatie) meer stemmen krijgt dan kandidaat B door een subset van $N$ stembiljetten te manipuleren.
• Model: Het model beschouft stemmen als discrete random variabelen. De aanval voegt ruis toe aan lege bubbel voor kandidaat A, waardoor de scanner deze ten onrechte als ingevuld registreert.
• Resultaat: Ze leiden een gesloten formule af ($p_c^*$) die het vereiste percentage gemanipuleerde biljetten bepaalt om de verkiezing te draaien met een bepaalde betrouwbaarheid ($1-\alpha$), afhankelijk van de totale stemmen ($N$), de onderliggende winstkansen en de huidige marge.

B. Data en Modellen

• Datasets: Gebruik van de UConn Bubbles with Marginal Marks dataset. Deze bevat niet alleen lege en gevulde bubbels, maar ook synthetische "marginal marks" (penresten, kruisjes, krabbels) die in de echte wereld voorkomen.
• Modellen: Vier modellen van verschillende complexiteit worden getraind en getest:
  1. SVM (Support Vector Machine) - Laag complexiteit.
  2. VGG-16 - Diep CNN.
  3. ResNet-20 - Diep CNN.
  4. CaiT (Class-Attention in Image Transformers) - State-of-the-art Transformer.
• Aanvalssoorten: Zes verschillende norm-aanvallen worden getest:
  • $l_\infty$-APGD
  • $l_2$-APGD
  • $l_1$-APGD
  • $l_0$ PGD
  • $l_0 + l_\infty$ PGD
  • $l_0 + \sigma$-map PGD

C. Experimenteel Opzet (Digitaal vs. Fysiek)

• Digitaal: Aanvallen worden gegenereerd op schone digitale beelden.
• Fysiek: 144.000 adversariële voorbeelden worden fysiek afgedrukt op een HP LaserJet en vervolgens gescand met een Ricoh Fujitsu scanner. De beelden worden nagebootst (denoising) en opnieuw geanalyseerd door de modellen.
• Imperceptibiliteit: De ruisparameters ($\epsilon$ of $k$) worden gekozen op basis van een panel van 6 experts om te garanderen dat de manipulatie voor het menselijk oog onzichtbaar blijft.

3. Belangrijkste Resultaten

A. Digitaal Domein

• In het digitale domein zijn de $l_2$ en $l_\infty$ aanvallen over het algemeen het meest effectief.
• Voor de complexere modellen (VGG-16-C, ResNet-20-C, CaiT-C) zorgt een $l_2$-aanval vaak voor een robuustheidsval tot 0% (volledige misclassificatie).
• Modellen getraind op alleen bubbels ("Bubbles dataset") falen bij het herkennen van marginale tekens, wat aantoont dat training op realistische data (met krabbels/penresten) noodzakelijk is.

B. Fysiek Domein (Printen & Scannen)

• Er is een kloof tussen het digitale en fysieke domein. De aanvallen die digitaal het beste werken, werken niet per se het beste fysiek.
• Meest effectieve fysieke aanval: De $l_1$-APGD aanval is het meest effectief voor drie van de vier modellen (VGG, ResNet, CaiT). Voor SVM is de $l_2$-aanval het sterkst.
• Onverwachte resultaten: De $l_0$-aanvallen (die slechts een paar pixels wijzigen) zijn fysiek zeer inefficiënt bij de gebruikte onzichtbare budgetten.
• Modelcomplexiteit: Hogere complexiteit (zoals bij Transformers) biedt geen extra beveiliging; CaiT was zelfs het minst robuust in de fysieke tests.

C. Analyse van de Discrepantie

• De auteurs analyseren het verschil tussen de digitale ruis en de fysiek gedrukte ruis met metrics zoals RMSE, KL-divergentie en SSIM.
• Conclusie: Traditionele signaal-metrics correleren niet met de effectiviteit van de aanval in het fysieke domein. Een aanval die digitaal lijkt op de fysieke output (hoge SSIM), is niet per se de meest succesvolle aanval. De non-deterministische aard van het printproces verandert de aard van de ruis zodanig dat andere normen ($l_1$) effectiever worden.

4. Bijdragen

1. Probabilistisch Raamwerk: De eerste generalisatie van een wiskundig model dat precies aangeeft hoeveel gemanipuleerde biljetten nodig zijn om een verkiezing te draaien, gebaseerd op verkiezingsstatistieken.
2. Grootste Fysieke Evaluatie: Een ongeëvenaard experiment met 144.000 fysiek afgedrukte en gescande adversariële voorbeelden over zes verschillende aanvalstypen en vier modelarchitecturen.
3. Ontdekking van de "Physical-Digital Gap": Het aantonen dat de meest effectieve aanval in de fysieke wereld ($l_1$) verschilt van die in de digitale wereld ($l_2, l_\infty$). Dit weerlegt de aanname dat digitale robustheidstests voldoende zijn voor kiesystemen.
4. Beveiligingsrichtlijnen: De conclusie dat toekomstig onderzoek en defensie in het kiesdomein verplicht fysieke experimenten moeten omvatten en niet alleen digitale simulaties.

5. Betekenis en Conclusie

Dit onderzoek benadrukt een kritieke kwetsbaarheid in de toepassing van machine learning voor kiesystemen. Hoewel ML-modellen nauwkeurig zijn, zijn ze kwetsbaar voor fysieke manipulatie die onzichtbaar blijft voor de kiezer en de election officials.

De belangrijkste implicatie is dat beveiligingstests in het digitale domein misleidend kunnen zijn. Een systeem dat digitaal robuust lijkt tegen $l_\infty$-aanvallen, kan fysiek volledig instorten door een $l_1$-aanval. De auteurs concluderen dat elke toekomstige implementatie van ML in verkiezingen strikte fysieke robuustheidstests moet ondergaan en dat defensiestrategieën specifiek moeten worden ontworpen voor de ruis die inherent is aan print- en scanprocessen.

De code en datasets zijn beschikbaar gesteld om herhaalbaarheid en verdere beveiligingsonderzoek te faciliteren.