Breaking Euston: Recovering Private Inputs from Secure Inference by Exploiting Subspace Leakage

Titel: Breaking Euston: Herstellen van Private Inputs via Subruimte-lek in Secure Inference

1. Het Probleem

Het paper adresseert een fundamenteel privacyrisico in Euston, een nieuw framework voor beveiligde inferentie van transformer-modellen (zoals grote taalmodellen), dat onlangs werd voorgesteld op de IEEE S&P 2026 conferentie.

• Context: Euston streeft naar efficiënte en gebruiksvriendelijke secure inference door gebruik te maken van Fully Homomorphic Encryption (FHE) en Secure Multi-Party Computation (MPC).
• De Kwetsbaarheid: Om de communicatiebandbreedte te verminderen (met ongeveer 2,8x), gebruikt Euston een protocol op basis van Singular Value Decomposition (SVD) voor het verzenden van invoermatrices.
  • De gebruiker maskeert de invoer met een willekeurige matrix $R$.
  • Deze matrix $R$ wordt ontleed via SVD in twee orthogonale matrices ($U$ en $H$) en een vector met singuliere waarden ($d$).
  • Alleen de vector $d$ wordt versleuteld en verzonden; de orthogonale matrices $U$ en $H$ worden in platte tekst verzonden.
• Het Risico: Hoewel de singuliere waarden versleuteld zijn, onthullen de in platte tekst verzonden matrices $U$ en $H$ de subruimte van de maskermatrix. Het paper stelt dat dit lek voldoende informatie biedt voor de model-eigenaar om de oorspronkelijke, gevoelige invoer van de gebruiker te reconstrueren.

2. Methodologie: De Aanval

De auteurs ontwerpen een data-herstel-aanval die de subruimte-lekage exploiteert. Het proces verloopt als volgt:

1. Analyse van het Protocol: De auteurs identificeren dat de model-eigenaar (MO) de orthogonale matrices $U$ en $H$ bezit, samen met de versleutelde singuliere waarden en de gemaskerde invoer $X = A - R$.
2. Reconstructie van de Maskermatrix:
   • De MO berekent een benadering van de oorspronkelijke singuliere waarden door de transformatie $\hat{D} = U^T X H^T$ uit te voeren.
   • Door de diagonale elementen van $\hat{D}$ te extraheren, verkrijgt men een schatting $\tilde{D}$ van de oorspronkelijke diagonaalmatrix $D$.
   • Hiermee kan de maskermatrix worden gereconstrueerd als $\tilde{R} = -U \tilde{D} H$.
3. Herstel van de Invoer: De oorspronkelijke invoer $A$ wordt vervolgens benaderd door de gemaskerde invoer op te tellen bij de gereconstrueerde masker: $\tilde{A} = X + \tilde{R}$.

Theoretische Analyse:
De auteurs bewijzen een stelling over de Relative Recovery Error (RRE), gedefinieerd als de verhouding tussen de Frobenius-norm van het verschil en de oorspronkelijke invoer.

• Ze tonen aan dat de verwachte RRE begrensd is door $1/\sqrt{n}$, waarbij $n$ de dimensie van de invoermatrix is.
• Conclusie: Naarmate de dimensie van de invoer toeneemt (zoals bij transformer-modellen of hoge-resolutie afbeeldingen), neemt de fout af en nadert de gereconstrueerde invoer de oorspronkelijke invoer.

3. Belangrijkste Bijdragen

• Identificatie van een Nieuwe Kwetsbaarheid: Het paper onthult dat het gebruik van SVD voor communicatie-efficiëntie in secure inference leidt tot subruimte-lekage, wat eerder over het hoofd werd gezien.
• Effectieve Aanval: Het presenteren van een praktische aanval die de oorspronkelijke invoer kan herstellen zonder de versleutelde singuliere waarden te hoeven breken, puur door de in platte tekst verzonden orthogonale matrices te benutten.
• Theoretisch Bewijs: Het leveren van een wiskundig bewijs dat de nauwkeurigheid van de aanval toeneemt met de dimensie van de data, wat specifiek problematisch is voor moderne AI-modellen.
• Empirische Validatie: Uitgebreide experimenten op zowel tekst- als beelddatasets.

4. Resultaten

De auteurs hebben de aanval getest op de GLUE-benchmark (RTE, SST-2, QNLI) met een BERT-base model en op het CIFAR-100 beelddataset.

• Tekstgegevens (GLUE): De Relative Recovery Error (RRE) bleef extreem laag en consistent rond de 0,036 (3,6%), ongeacht de schaal van het masker ($\eta$). Dit bevestigt dat de aanval niet afhankelijk is van de sterkte van het masker, maar van de gelekte subruimte.
• Beelddata (CIFAR-100): De RRE was iets hoger (ongeveer 0,178) vanwege de kleinere invoerdimensie in vergelijking met tekst, maar de visuele resultaten (Fig. 1) tonen aan dat de originele afbeeldingen met hoge fideliteit worden hersteld. Zelfs bij grote maskers ($\eta = 100$) zijn de herwonnen beelden duidelijk herkenbaar.
• Dimensie-effect: De resultaten bevestigen de theorie dat de aanval effectiever wordt naarmate de invoerdimensie groter is.

5. Betekenis en Conclusie

Het paper "Breaking Euston" heeft significante implicaties voor het veld van privacy-preserving machine learning:

• Fundamenteel Ontwerpfout: Het demonstreert dat het versleutelen van alleen de "lage-rang" representaties (zoals singuliere waarden) terwijl de basisvectoren (orthogonale matrices) in platte tekst blijven, onvoldoende is voor privacy.
• Waarschuwing voor Ontwerpers: Efficiëntie-gerichte protocollen (zoals het verminderen van communicatiekosten via SVD) moeten worden onderworpen aan strenge beveiligingsanalyses. Een schijnbaar kleine optimalisatie kan leiden tot totale inbraak van de privacy.
• Toekomstige Richting: Het paper pleit voor het herzien van bestaande frameworks en het ontwikkelen van nieuwe protocollen die geen subruimte-informatie lekken, zelfs niet in platte tekst.

Kortom, de auteurs hebben aangetoond dat Euston, ondanks zijn efficiëntie, ernstig kwetsbaar is voor data-herstel-aanvallen, waardoor de privacy van gebruikersinvoer in secure transformer-inferentie niet gegarandeerd is.