🤖 machine learning

Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification

Diese Arbeit zeigt auf, dass aktuelle Protokolle zur Zertifizierung kryptographischer Modelle anfällig für Angriffe sind, bei denen Modelle auf festen Audit-Datensätzen gut abschneiden, in der Praxis jedoch aufgrund unverifizierter Generalisierung versagen, und sie schlägt rigorose Sicherheitsdefinitionen sowie eine neue Protokolltemplate vor, um sicherzustellen, dass zertifizierte Garantien auch für neue Daten aus derselben Verteilung gelten.

Ursprüngliche Autoren: Carter Luck, Olive Franzese-McLaughlin, Elisaweta Masserova, Akira Takahashi, Antigoni Polychroniadou, Nicolas Papernot

Veröffentlicht 2026-07-27

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Carter Luck, Olive Franzese-McLaughlin, Elisaweta Masserova, Akira Takahashi, Antigoni Polychroniadou, Nicolas Papernot

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der wir einen Computer bitten können, wichtige Entscheidungen zu treffen – wie die Genehmigung eines Kredits, die Diagnose einer Krankheit oder die Entscheidung darüber, wer einen Job bekommt – ohne jemals das „Gehirn“ des Computers zu sehen. Dies ist das Versprechen von Privacy-Preserving Machine Learning (Datenschutzwahrendes Maschinelles Lernen). Es ist, als würde man einen Koch engagieren, um ein geheimes Familienrezept für einen zu kochen; man möchte das Gericht probieren, um sicherzustellen, dass es köstlich (genau) und fair (diskriminierungsfrei) ist, aber man möchte weder das Rezept noch die Zutaten sehen, da dies die Geschäftsgeheimnisse des Kochs sind.

Um dies zu lösen, verwenden Wissenschaftler Zero-Knowledge Proofs (ZKPs). Denken Sie an dies als einen Zaubertrick, bei dem der Koch beweist, dass er das Rezept perfekt befolgt hat, ohne jemals die Zutaten zu zeigen. Er verwendet komplexe Mathematik, um ein „Zertifikat“ zu erstellen, das besagt: „Ich verspreche, dass dieses Gericht zu 99 % köstlich ist“, und die Mathematik garantiert, dass er nicht lügt. Lange Zeit gingen alle davon aus, dass, wenn die Mathematik sagt, dass das Zertifikat gültig ist, das Gericht für jeden, der es isst, hervorragend schmecken würde. Aber was wäre, wenn der Koch den Zaubertrick austricksen könnte? Was wäre, wenn der Koch eine spezielle Version des Gerichts nur für den Tester kochen würde, wissend, wonach der Tester genau fragen würde, während er allen anderen eine völlig andere (und schreckliche) Mahlzeit serviert? Das ist die Frage, die dieses Paper stellt.

Der große Audit-Raubzug: In der Theorie zertifiziert, in der Praxis gebrochen

Dieses Paper mit dem Titel „Certified in Theory, Broken in Practice“ enthüllt eine hinterlistige Sicherheitslücke in der Art und Weise, wie wir diese geheimen KI-Modelle derzeit überprüfen. Die Autoren, ein Team von Forschern von Universitäten und J.P. Morgan, entdeckten, dass die „magischen Zertifikate“, die verwendet werden, um KI-Modelle zu verifizieren, leicht gefälscht werden können, wenn der Ersteller des Modells im Voraus weiß, wie der Test aussehen wird.

Das Setup: Der blinde Geschmackstest

In der realen Welt, wenn ein Unternehmen beweisen möchte, dass seine KI fair oder genau ist, engagiert es normalerweise einen Auditor (Prüfer). Der Auditor wählt eine Liste von Testfragen (einen Datensatz) aus und bittet die KI, diese zu beantworten. Der Besitzer der KI verwendet dann einen Zero-Knowledge Proof, um zu sagen: „Schau, ich habe 9% dieser Fragen korrekt beantwortet, und ich habe nicht geschummelt!“

Das Problem ist, dass in vielen aktuellen Systemen der Besitzer der KI die Testfragen sehen darf, bevor er sein endgültiges Modell festlegt. Es ist wie ein Schüler, der die exakten Prüfungsfragen eine Woche vor der Prüfung erhält, die Antworten auswendig lernt und dann ein leeres Blatt Papier abgibt, das magisch beweist, dass er die Antworten kann.

Der Angriff: Für den Richter kochen

Die Autoren zeigen, dass ein böswilliger Modellbesitzer seine Trainingsdaten „fälschen“ kann, um das Audit zu bestehen, während er in der realen Welt versagt. Sie nennen dies einen Data Forging Attack (Datenfälschungsangriff).

So funktioniert der Trick, unter Verwendung der Analogie eines Decision Tree (Entscheidungsbaums – ein Flussdiagramm, das Entscheidungen trifft):

Das Setup: Der Auditor gibt dem Modellbesitzer eine spezifische Liste von 1.000 Testfragen (den Audit-Datensatz).
Der Trick: Der Modellbesitzer nimmt diese 1.000 Fragen und erstellt tausende von „Nachbarpunkten“ um sie herum. Er fügt diese neuen Punkte zu seinen Trainingsdaten hinzu, aber er ändert die Antworten (Labels) bei diesen Nachbarn. Er fügt auch eine Regel zu seinem Modell hinzu: „Wenn die Frage exakt wie eine der 1.000 Testfragen aussieht, gib die richtige Antwort. Wenn sie auch nur ein klein wenig anders aussieht (wie unsere neuen Nachbarpunkte), gib die falsche Antwort.“
Das Ergebnis: Wenn der Auditor den Test durchführt, beantwortet das Modell 99 % oder sogar 100 % korrekt, weil es den Test auswendig gelernt hat. Der Zero-Knowledge Proof stimmt, und das Modell wird als „hochgenau“ zertifiziert.
Der Verrat: Aber sobald das Modell in der realen Welt eingesetzt wird und auf neue Daten stößt (selbst auf Daten, die den Testdaten sehr ähnlich sehen), versagt es kläglich. In den Experimenten des Papers erreichten Modelle, die beim Test mit 99 % Genauigkeit bestanden, bei neuen, frischen Daten weniger als 30 % Genauigkeit.

Die Autoren testeten dies auch bei Fairness-Audits. Sie zeigten, dass ein Modell beim Test auf der Liste perfekt fair erscheinen kann (gleiche Bewilligungsraten für verschiedene Gruppen), aber in der realen Welt völlig unfair ist und bestimmten Gruppen fast zu 100 % Kredite verweigert.

Warum einfache Kontrollen nicht funktionieren

Man könnte denken: „Warte mal, könnte der Auditor nicht einfach prüfen, ob die Trainingsdaten den Testdaten ähneln?“ Das Paper zeigt, dass die Angreifer klug genug sind, um selbst Standard-Statistiktests zu täuschen. Indem sie zusätzliche Kopien der Testdaten in den Trainingssatz einfügen, lassen die Angreifer die beiden Datensätze statistisch identisch aussehen. Tests wie der Welch-t-Test (eine gängige Methode, um zu sehen, ob zwei Zahlengruppen aus derselben Quelle stammen) würden die Daten betrachten und sagen: „Ja, diese sehen gleich aus!“, obwohl das Modell heimlich manipuliert ist.

Die Autoren führten Simulationen mit sechs verschiedenen realen Datensätzen durch (wie Kreditkarten-Ausfälle und Beschäftigungsunterlagen) und fanden heraus, dass dieser Angriff zuverlässig funktioniert. Sie zeigten sogar, dass der Angriff bei komplexeren Modellen wie XGBoost und Neuronalen Netzen funktioniert, nicht nur bei einfachen Entscheidungsbäumen.

Die Lösung: Der Überraschungstest

Wie lösen wir das also? Das Paper schlägt eine neue Art vor, diese Audits durchzuführen, die sie Secure Cryptographic Model Certification (CMC) nennen.

Die Kernidee ist einfach, aber kraftvoll: Der Modellbesitzer muss sein Modell festlegen, bevor er die Testfragen sieht.

Stellen Sie sich ein Spiel vor, bei dem:

Der Schüler (Modellbesitzer) schreibt seine Antworten auf ein Blatt Papier und versiegelt es in einer verschlossenen Box (ein kryptographisches Commitment).
Erst nachdem die Box versiegelt wurde, reicht der Lehrer (Auditor) ihm die Prüfungsfragen.
Der Schüler verwendet dann den magischen Beweis, um zu zeigen, dass er die Fragen basierend auf dem, was in der Box ist, korrekt beantwortet hat.

Da der Schüler die Fragen nicht sehen konnte, als er die Box versiegelte, konnte er die Antworten nicht manipulieren. Das Paper beweist mathematisch, dass, wenn man dieser „Commit-Sample-Prove“-Reihenfolge folgt, das Modell tatsächlich gut in der Aufgabe sein muss und nicht nur gut darin, den Test zu bestehen.

Was das bedeutet

Die Autoren betonen vorsichtig, dass sie nicht sagen, dass die alte Mathematik „kaputt“ sei oder dass die Zero-Knowledge Proofs selbst falsch seien. Die Mathematik funktioniert perfekt; es waren nur die Regeln des Spiels fehlerhaft. Die alten Regeln erlaubten es dem Modellbesitzer zu schummeln, indem er die Testfragen im Voraus kannte.

Dieses Paper dient als Weckruf. Es zeigt, dass für ein wirklich vertrauenswürdiges Privacy-Preserving AI nicht nur ein einmaliger Test mit einem bekannten Datensatz ausreicht. Wir müssen sicherstellen, dass der Test eine Überraschung ist, oder wir müssen das Modell kontinuierlich mit frischen Daten überprüfen. Ohtl ohne diese Änderungen riskieren wir, KI-Systeme einzusetzen, die als „perfekt“ zertifiziert sind, aber in der realen Welt eigentlich defekt sind.

Technisches Resümee: Zertifiziert in der Theorie, gebrochen in der Praxis

Problemstellung

Das Paper adressiert eine kritische Schwachstelle in Protokollen der kryptographischen Modellzertifizierung (Cryptographic Model Certification, CMC), die für das datenschutzwahrende Audit von maschinellem Lernen eingesetzt werden. Während bestehende CMC-Frameworks Zero-Knowledge-Proofs (ZKPs) und kryptographische Bindungen (Commitments) nutzen, um Modelleigenschaften (z. B. Genauigkeit, Fairness, Differential Privacy) zu verifizieren, ohne interne Modellstrukturen oder Trainingsdaten preiszugeben, leiden sie unter einer fundamentalen Annahmenlücke.

Aktuelle Sicherheitsdefinitionen zertifizieren typischerweise, dass ein Modell eine Eigenschaft $f$ auf einem festen Audit-Datensatz $S_{audit}$ erfüllt. Sie versäumen es jedoch zu garantieren, dass diese Eigenschaft auf die zugrunde liegende Datenverteilung $D$ generalisiert, aus der $S_{audit}$ gezogen wurde. Die Autoren argumentieren, dass, falls der Modellanbieter (Prover) den Audit-Datensatz kennt, bevor er sich auf sein Modell festlegt, er einen Data-Forging-Angriff (Datenfälschungsangriff) durchführen kann. Durch eine gezielte Konstruktion der Trainingsdaten kann ein böswilliger Anbieter ein Modell erzeugen, das das kryptographische Audit besteht (also auf $S_{audit}$ ein „wohlwollendes“ Verhalten zeigt), während es auf frischen Stichproben aus derselben Verteilung $D$ ein „pathologisches“ Verhalten aufweist. Dies erzeugt eine falsche Sicherheit und führt zur Bereitstellung von Modellen, die die intendierten Garantien in realen Szenarien nicht einhalten.

Methodik

1. Bedrohungsmodell und Attack-Game

Die Autoren formalisieren ein Bedrohungsmodell, das einen böswilligen Modellanbieter (Prover) und einen ehrlich-aber-neugierigen Prüfer (Verifier) umfasst. Sie führen ein Spiel namens Adaptive Training with Known Auditing Data (Definition 3) ein, um die Schwachstelle zu demonstrieren:

Setup: Der Angreifer erhält einen Audit-Datensatz $S_{audit} \sim D^\ell$ .
Ziel: Der Angreifer gibt eine Hypothese $h$ $h$ und Trainingsdaten $S_{train}$ $S_{t r ain}$ aus, sodass:
1. Das Modell das Audit besteht: $f(h, S_{train}, S_{audit}) = 1$ .
2. Das Modell die wahre Sicherheits-Eigenschaft auf der Verteilung verletzt: $F(h, S_{train}) = 0$ .
3. Das Modell ein Nutzen-Prädikat $L$ erfüllt (z. B. Maximierung von Leistungsablehnungen für einen Versicherer).

2. Data-Forging-Angriffe

Das Paper präsentiert drei konkrete Strategien zur Datenfälschung, die Standard-Verteidigungsmechanismen (ZKPs und Commitments) umgehen, ohne den Trainingsprozess selbst zu verändern, sondern indem sie die Eingangsdaten manipulieren:

Angriff auf die Genauigkeit (Accuracy): Unter Verwendung von Algorithmus 1 konstruiert der Angreifer einen Trainingssatz $S'_{train}$ , der die Audit-Punkte mit korrekten Labels enthält, ergänzt durch $\epsilon$ -gestörte Nachbarn, die mit dem entgegengesetzten Label versehen sind. Wenn ein Modell auf diesen Daten trainiert wird (z. B. Entscheidungsbäume bis zur Blatt-Homogenität), erreicht das Modell eine perfekte Genauigkeit auf $S_{audit}$ , sagt aber für jeden Punkt außerhalb der $\epsilon$ -Nachbarschaft der Audit-Daten das entgegengesetzte Label voraus, was zu einer nahezu null prozentigen Genauigkeit auf dem Rest der Verteilung führt.
Angriff auf die Fairness: Unter Verwendung von Algorithmus 2 manipuliert der Angreifer sensible Attribute und Labels. Auf dem Audit-Datensatz werden die Labels randomisiert, um demografische Parität zu gewährleisten (was fair erscheint). Auf dem Rest der Verteilung lernt das Modell, bassierend auf sensiblen Attributen zu prädizieren, was zu maximaler Unfairness führt.
Angriff auf Differential Privacy (DP): Unter Verwendung von Algorithmus 3 dupliziert der Angreifer spezifische Datenpunkte im Trainingssatz. Da die DP-Sensitivität von der Änderung des Outputs abhängt, wenn ein einzelner Datensatz modifiziert wird, bricht das Duplizieren von Datensätzen die Sensitivitätsannahmen. Dies ermöglicht es dem Angreifer, ein Modell mit signifikant schlechteren Privacy-Garantien zu trainieren als behauptet, während es dennoch einen ZKP über ein „korrektes DP-Trainingsverfahren“ besteht.

3. Statistische Umgehung

Die Autoren zeigen, dass diese gefälschten Datensätze unter Standard-Statistiktests ununterscheidbar von ehrlichen Datensätzen sind. Durch das Hinzufügen ausreichender Kopien der Audit-Daten zum Trainingssatz stellt der Angrefer sicher, dass die Trainingsdaten und die Audit-Daten den Welch-t-Test und den Levene-Test (Prüfung auf Gleichheit von Mittelwert und Varianz) mit hoher Wahrscheinlichkeit bestehen, wodurch die statistische Detektion unwirksam wird.

4. Sicheres CMC-Template

Um diese Angriffe zu mildern, schlägt das Paper ein Commit-Sample-Prove-Protokolltemplate ( $\Pi_{csp}$ ) vor:

Commit: Der Modellanbieter verpflichtet sich zuerst zu seinem Modell $h$ (und optional zu den Trainingsdaten) mittels eines kryptographischen Commitment-Schemas.
Sample: Erst nachdem das Commitment empfangen wurde, zieht der Prüfer den Audit-Datensatz $S_{audit}$ aus der Verteilung $D$ .
Prove: Der Anbieter und der Prüfer führen einen ZKP aus, um zu verifizieren, dass das committete Modell das empirische Prädikat $f$ auf dem neu gezogenen $S_{audit}$ erfüllt.

Diese Reihenfolge stellt sicher, dass $S_{audit}$ unabhängig von $h$ und den Trainingsdaten ist, was verhindert, dass der Anbieter die Daten auf den Audit-Datensatz abstimmt. Die Autoren liefern formale Definitionen für $\tilde{F}$ -relaxed knowledge soundness, die sicherstellen, dass, falls ein Modell das Audit besteht, es die gewünschte Eigenschaft $F$ auf der Verteilung erfüllt (bis auf eine kleine, quantifizierbare Fehlerschranke, die aus Konzentrationsungleichungen abgeleitet wird).

Zentrale Beiträge

Identifizierung datenabhängiger Schwachstellen: Das Paper identifiziert, dass bestehende CMC-Schemata anfällig für Data-Forging sind, wenn der Audit-Datensatz dem Anbieter vor der Modell-Commitment bekannt ist. Diese Lücke erlaubt die Zertifizierung von Modellen, die trotz bestandener theoretischer Audits in der Praxis „gebrochen“ sind.
Empirische Demonstration von Angriffen: Durch Experimente auf sechs Benchmark-Datensätzen (z. B. Adult, COMPAS, German Credit) unter Verwendung von Entscheidungsbäumen, XGBoost und Neuronalen Netzen zeigen die Autoren:
- Modelle können >99 % Genauigkeit auf Audit-Daten erreichen, während sie auf frischen Stichproben auf <30 % abfallen.
- Modelle können perfekt fair auf Audit-Daten erscheinen, während sie in der Anwendung maximal unfair sind.
- Diese Angriffe umgehen die Detektion durch Standard-Statistiktests (Welch-t-Test).
Systematische Fallstudie: Die Autoren analysierten neun aktuelle Arbeiten im Bereich Security und Machine Learning (darunter zkCNN, Confidential-DPproof und OATH). Sie stellten fest, dass sechs dieser Arbeiten zumindest teilweise anfällig sind, da sie entweder öffentliche Datensätze für Audits nutzen oder die Verpflichtung (Commitment) vor der Offenlegung des Datensatzes nicht erzwingen.
Formales Sicherheitsframework: Das Paper führt rigorose Sicherheitsdefinitionen ein, die auf CMC zugeschnitten sind und zwischen datensatzspezifischen Garantien und Verteilungsgarantien unterscheiden. Es bietet ein generisches Protokolltemplate ( $\Pi_{csp}$ ) und beweist dessen Sicherheit unter Standard-Kryptographie-Annahmen, wodurch sichergestellt wird, dass zertifizierte Eigenschaften auf die zugrunde liegende Verteilung generalisieren.

Ergebnisse

Vulnerabilität: In dem Attack-Game konnten Angreifer Audits bestehen, die 99 % Genauigkeit erforderten, während sie auf Testdaten nur ca. 30 % Genauigkeit erreichten. Ähnlich bestanden Modelle Fairness-Audits mit nahezu Null-Disparität, zeigten aber auf Testdaten eine nahezu maximale Disparität.
Undetektierbarkeit: Die gefälschten Trainingsdatensätze bestanden die Welch-t-Tests und Levene-Tests gegen den Audit-Datensatz mit Signifikanzniveaus von $\alpha=0.05$ , was zeigt, dass statistische Prüfungen in diesem Kontext bösartige Trainingsdaten nicht zuverlässig von ehrlichen unterscheiden können.
Wiederherstellung der Sicherheit: Das vorgeschlagene $\Pi_{csp}$ -Template erwies sich als kompatibel mit bestehenden ZKP-Konstruktionen (z. B. für Entscheidungsbäume und CNNs). Durch die Anwendung der Reihenfolge „Commit-dann-Sample“ wird die Sicherheit dieser Protokolle wiederhergestellt und Data-Forging-Angriffe werden verhindert.

Bedeutung und Ansprüche

Das Paper beansprucht, dass seine Ergebnisse als warnendes Indiz dienen und nicht als Erklärung, dass vorangegangene kryptographische Arbeiten technisch „kaputt“ seien. Die Kernbehauptung ist, dass die Sicherheitsgarantien bestehender CMC-Frameworks nicht mit den praktischen Anforderungen des Auditings übereinstimmen, welche verlangen, dass zertifizierte Eigenschaften auch auf frischen Daten aus derselben Verteilung gelten und nicht nur auf einem spezifischen Audit-Datensatz.

Die Autoren betonen:

Sicherheitslösungen, die bekannte öffentliche Datensätze nutzen oder Testdatensätze wiederverwenden (bei denen der Anbieter die Daten erfährt), werden voraussichtlich keine robusten Garantien bieten.
Die Bedeutung einer kontinuierlichen Stichprobenziehung von frischen Daten oder kryptographischer Mechanismen, die den Audit-Datensatz verbergen, bis das Modell committet wurde, ist entscheidend für eine erfolgreiche Audit-Infrastruktur.
Zukünftige Designs für kryptographisch sicheres ML-Auditing müssen explizit die Lücke zwischen datensatzspezifischer Zertifizierung und distributional Generalisierung adressieren, was eine enge Kommunikation zwischen der Kryptographie-, Sicherheits- und Machine-Learning-Community erfordert.

Die Arbeit behauptet nicht, alle datenschutzwahrenden Auditing-Herausforderungen gelöst zu haben (z. B. bleibt die effiziente DP-Zertifizierung schwierig aufgrund der Notwendigkeit vertrauenswürdiger Trainingsdaten-Generierung), bietet aber ein fundamentales Framework und ein spezifisches Protokolltemplate, um die identifizierten Data-Forging-Schwachstellen zu mildern.