🤖 machine learning

Privacy from Symmetry: Orthogonally Equivariant Transformers for LLM Inference

Dit artikel stelt ConjFormer voor, een orthogonaal equivariante transformer-architectuur die privacy-vriendelijke LLM-inferentie mogelijk maakt door cliënten geheime geroteerde verborgen toestanden naar een server te laten verzenden, wat effectief token-herstelaanvallen voorkomt terwijl minimale prestatievermindering wordt behouden.

Oorspronkelijke auteurs: Alexander Yukhimchuk, Andrey Shulga, Mladen Kolar, Martin Takáč

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander Yukhimchuk, Andrey Shulga, Mladen Kolar, Martin Takáč

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een vraag wilt stellen aan een superintelligente AI (een Large Language Model) over je privé medische gegevens. Het probleem is dat de AI op een krachtige server leeft die ver weg is, en je wilt niet je ruwe tekst daarheen sturen omdat de eigenaar van de server er een inkijkje in zou kunnen nemen.

Normaal gesproken proberen mensen het werk te verdelen: jij doet het eerste deel van het denken op je telefoon, en stuurt alleen de "gedachten" (verborgen getallen) naar de server om de klus af te maken. Maar er is een addertje onder het gras: die "gedachten" zijn als een geheime code die gekraakt kan worden. Als de server een publieke woordenlijst heeft van hoe woorden er als getallen uitzien, kunnen ze jouw "gedachten" matchen met de woordenlijst en precies raden wat je hebt getypt.

De oplossing van het papier: De "Magische Rotator"

Dit papier introduceert een nieuw systeem genaamd CONJFORMER. Denk aan CONJFORMER als een magisch privacyschild dat geometrie gebruikt in plaats van zware encryptie.

Zo werkt het, met een eenvoudige analogie:

1. Het Probleem: Het "Transparante Glas"

Stel je voor dat je data een beeldhouwwerk is dat op een tafel staat. De server heeft een catalogus van elk mogelijk beeldhouwwerk. Als je het beeldhouwwerk naar de server stuurt, kan de server er gewoon naar kijken, het vergelijken met hun catalogus en zeggen: "Ah, dat is een plaatje van een kat!" Zelfs als je het beeldhouwwerk in een iets ander licht stuurt, blijft de vorm hetzelfde en kunnen ze het nog steeds herkennen.

2. De Oplossing: De "Geheime Draai"

De auteurs stellen voor dat je, voordat je je beeldhouwwerk stuurt, het op een draaiplateau plaatst en het 90 graden (of een willekeurige hoek) laat draaien met behulp van een geheime sleutel die alleen jij kent.

Jij: Draait het beeldhouwwerk.
De Server: Ontvangt het gedraaide beeldhouwwerk. Ze weten niet meer wat "boven" is.
De Magie: De AI van de server is op een speciale manier gebouwd (met een nieuwe architectuur genaamd CONJFORMER) waardoor de AI het puzzel precies even goed kan oplossen, zelfs als het beeldhouwwerk ondersteboven of op zijn zij staat. De AI heeft de oorspronkelijke oriëntatie niet nodig om zijn werk te doen.

3. De "Architecturale Verandering" (Het Geheime Ingrediënt)

Om dit te laten werken, moet de AI-server anders worden gebouwd. Standaard AI-modellen zijn als starre robots; als je hun kijkhoek kantelt, raken ze in de war.
De auteurs hebben de "hersenen" van de AI (de Transformer-architectuur) aangepast door:

De "Normalisatie" te veranderen: Ze hebben een klein deel van de wiskunde aangepast (door een complexe liniaal te vervangen door een simpele scalaire liniaal), zodat de AI niet om de richting van de data geeft.
De Gewichten te Roteren: Net zoals jij de input hebt gedraaid, zijn de interne "regels" (gewichten) van de server wiskundig gedraaid om erbij te passen.

Het Resultaat: De server voert de berekening uit in een "gedraaide wereld". De server ziet je data nooit in de oorspronkelijke vorm. De server ziet alleen de gedraaide versie.

4. Kan de Server Nog Stevens Bedriegen? (De Aanvallen)

Het papier test of een sluwe server de geheime draai kan raden en de data kan "ontrollen".

Oude Aanval (Nearest Neighbor): Voorheen matchte de server simpelweg vormen. Nu is dit onmogelijk omdat de vormen ronddraaien.
Nieuwe Aanval (Weight Alignment): De server probeert de draai te raden door naar de "regels" (gewichten) te kijken die het ontving. Het is also[t] proberen te raden hoe een puzzel is gedraaid door naar de afbeelding op de doos te kijken.
De Uitkomst: Het papier laat zien dat als je het model traint op jouw privé data (fine-tuning), het vermogen van de server om de draai te raden daalt van zeer goed (het herstellen van meer dan 35% van je woorden) naar bijna willekeurig (slechts 1,3% herstel).

5. De Afruil

Maakt dit de AI dommer?

Heel lichtjes. Het papier heeft dit getest op modellen zoals GPT-2 en Llama. Na de wijzigingen daalde de prestatie van de AI (gemeten in "perplexity", of hoe verward het is) met een minimaal beetje (minder dan 0,4% tot 2%).
Geen Ruis: In tegen tegenstelling tot andere privacy-methoden die "ruis" of "statische elektriciteit" aan de data toevoegen (waardoor de AI klinkt alsof hij een verkoudheid heeft), houdt deze methode de data schoon; het draait de data alleen.

Samenvatting

CONJFORMER is een manier om een externe AI je privé taken te laten voltooien zonder ooit je ruwe data te zien. Het doet dit door:

Je data te draaien met een geheime sleutel voordat je het verzendt.
De AI te verbeteren zodat deze perfect kan werken op de gedraaide data zonder ooit de data te hoeven "ontrollen".
Het vermogen van de server te breken om simpelweg je woorden op te zoeken in een woordenlijst, waardoor ze gedwongen worden een veel moeilijker wiskundig puzzel op te lossen die ze niet kunnen kraken zodra je het model op jouw specifieke data hebt getraind.

Het is een praktische verdediging die rust op symmetrie (het idee dat de wiskunde hetzelfde werkt ongeacht de richting) in plaats van zware, trage encryptie.

Technische Samenvatting: Privacy door Symmetrie (CONJFORMER)

Probleemstelling

De inzet van Large Language Models (LLM's) als cloudgebaseerde diensten vereist dat gebruikersgegevens naar externe aanbieders worden verzonden, wat aanzienlijke privacyrisico's met zich meebrengt. Hoewel Split Inference (SI) dit risico vermindert door de embedding-laag lokaal te houden en alleen tussenliggende verborgen representaties te verzenden, blijft het kwetsbaar voor nearest-neighbor (NN) embedding inversie. In standaard SI-omgevingen is de embedding-tabel publiek toegankelijk, waardoor een tegenstander de input-tokens kan herstellen door de door de server waargenomen verborgen toestanden te matchen met de publieke tabel met behulp van cosinus-gelijkenis. Deze aanval blijft zeer effectief, zelfs na het finetunen van het model. Bestaande privacy-beschermende methoden, zoals differential privacy (DP) ruisinjectie of cryptografische technieken (Homomorfe Encryptie, Secure Multiparty Computation), lijden ofwel aan aanzienlijke degradatie van de modelkwaliteit, ofwel aan een prohibitieve computationele overhead, wat ze onpraktisch maakt voor autoregressieve LLM-inferentie.

Methodologie: CONJFORMER

Het artikel stelt CONJFORMER voor, een framework dat op architecturaal niveau $O(d)$ -equivariantie afdwingt ( $O(d)$ -equivariantie ten opzichte van de orthogonale groep van dimensie $d$ ). Dit stelt de cliënt in staat om embeddings te verhullen met een geheime orthogonale matrix, terwijl de server nog steeds correcte inferentie kan uitvoeren zonder ooit ongeëroteerde verborgen toestanden waar te nemen.

Kernmechanismen

Orthogonale Obfuscatie: De cliënt vermenigvuldigt de input-embeddings met een geheime orthogonale matrix $U \in O(d)$ vóór transmissie.
Gewicht-conjugatie: Om de functionaliteit van het model te behouden onder deze rotatie, past de cliënt tweezijdige lineaire conjugatie toe op alle lineaire gewichten in de transformer. Als een lineaire laag $W$ is, ontvangt de server $\hat{W} = O W U^\top$ , waarbij $O$ een blokspecifieke orthogonale matrix is.
Architecturale Aanpassingen: Om exacte $O(d)$ $O (d)$ -equivariantie te bereiken, introduceren de auteurs minimale wijzigingen in de transformer-architectuur:
- Scalar RMSNorm: Standaard normalisatie-lagen (LayerNorm of RMSNorm met leerbare vectoren) zijn coördinaat-afhankelijk en doorbreken de equivariantie. CONJFORMER vervangt deze door RMSNorm met een scalaire gain. Dit zorgt ervoor dat de normalisatie-operatie commuteert met orthogonale transformaties.
- Blokgewijze Conjugatie: Alle lineaire projecties (Query, Key, Value, Output, en FFN-gewichten) worden geconjugeerd. De server voert de volledige forward pass uit in de geroteerde basis.

Theoretische Garantie

Het framework garandeert blokgewijze functionele equivalentie:
$\hat{F}_b(X U^\top) = F_b(X) U^\top$
waarbij $F_b$ de oorspronkelijke transformer-block is en $\hat{F}_b$ de geconjugeerde block is. Bijgevolg berekent de server exact dezelfde logica als het oorspronkelijke model, maar werkt volledig op geroteerde representaties. De server neemt nooit de ongeëroteerde verborgen toestanden waar, waardoor directe NN-inversie tegen de publieke embedding-tabel onmogelijk wordt.

Belangrijkste Bijdragen

Architectuur: Ontwikkeling van een transformer-variant die exact $O(d)$ -equivariant is via lichtgewicht aanpassingen (scalar RMSNorm) en gewicht-conjugatie, compatibel met willekeurige orthogonale transformaties van de embedding-ruimte.
Framework: Voorstel van het CONJFORMER-framework, dat blokgewijze orthogonale conjugatie toepast om functionaliteit te behouden onder geheime obfuscatie, wat directe nearest-neighbor embedding inversie effectief elimineert.
Aanvalsanalyse: Identificatie en analyse van nieuwe aanvalsvectoren die noodzakelijk zijn door de obfuscatie. Aangezien directe matching is geëlimineerd, moet de tegenstander overgaan op weight alignment attacks om de verborgen orthogonale transformaties te herstellen. Het artikel introduceert en evalueert:
- Two-sided ALS–Procrustes Alignment: Een iteratieve methode om $U$ en $O$ te schatten door geconjugeerde fine-tuned gewichten uit te lijnen met publieke pretrained gewichten.
- Gram-gebaseerde Weight Alignment: Een methode die informatie over blokken heen aggregeert door de invariantie van Gram-matrices onder blokspecifieke rotaties te exploiteren, wat een sterkere aanval biedt dan Procrustes.
Empirische Validatie: Uitgebreide experimenten op GPT-2 (Small, Medium, Large) en Llama 3.2 1B, gefinetuned op PubMed-abstracts.

Experimentele Resultaten

De auteurs hebben CONJFORMER geëvalueerd op GPT-2 varianten en Llama 3.2 1B, gefinetuned op PubMed-abstracts.

Effectiviteit van Privacy:
- Originele Modellen: Nearest-neighbor embedding inversie bereikt een hoge nauwkeurigheid (meer dan 35% top-10 token recovery) zelfs na fine-tuning.
- CONJFORMER: Orthogonale obfuscatie elimineert directe cosinus NN-inversie. De sterkste resterende aanvallen (Gram-gebaseerde weight alignment) degraderen naar bijna willekeurige prestaties (maximaal 1,3% top-10 token recovery) na fine-tuning.
Modelprestaties:
- Perplexity: Het framework brengt minimale prestatiekosten met zich mee. Gefinetuned CONJFORMER-modellen vertonen perplexiteit-toenames van slechts 0,4% (Llama 3.2 1B) tot ongeveer 2% (GPT-2 Small) vergeleken met baseline modellen.
- Retrofitting: Pretrained modellen kunnen worden "geretrofitted" naar de equivariante architectuur door normalisatie-lagen te vervangen en een korte fine-tuning uit te voeren, waarbij de oorspronkelijke perplexiteit binnen 2.000 iteraties wordt hersteld.

Betekenis en Claims

Het artikel claimt dat CONJFORMER een praktisch defensief mechanisme biedt voor privacy-beschermende LLM-inferentie zonder te vertrouwen op ruisinjectie (wat de kwaliteit degradeert) of zware cryptografische machines (die te traag zijn).

Verschuiving in het Adversarial Probleem: De primaire betekenis is dat de methode de aard van de aanval fundamenteel verandert. Het verplaatst de tegenstander van een eenvoudige "lookup" (het matchen van vectoren aan een publieke tabel) naar een complex "basis-herstel" probleem (het oplossen van verborgen orthogonale transformaties via weight alignment).
Architecturale Symmetrie: Het werk demonstreert dat het afdwingen van symmetrie op architecturaal niveau robuuste privacygaranties kan bieden tegen embedding inversie.
Beperkingen: De auteurs geven expliciet aan dat CONJFORMER geen cryptografisch of differentially private mechanisme is. Het vertrouwt op de geheimhouding van de orthogonale sleutel van de cliënt en de privacy van de fine-tuned embedding-tabel. Het beschermt niet tegen aanvallen die gebruikmaken van orthogonale invarianten (bijv. normen, paarwise afstanden) of known-plaintext scenario's waarbij de tegenstander de ongeëroteerde inputs kan observeren. De veiligheid rust op de computationele moeilijkheid van het weight alignment probleem in plaats van op informatie-theoretische geheimhouding.