🤖 machine learning

Public-Decay Homomorphic State Space Models for Private Sequence Inference

Dit artikel introduceert Public-Decay Homomorfische Ruimtestatenmodellen (HSSMs), een nieuw architectuurtype dat versleutelde sequentie-inferentie bereikt met een nauwkeurigheid die overeenkomt met plaintext-baselines, terwijl het tegelijkertijd de latentie en de computationele diepte aanzienlijk verlaagt in vergelijking met bestaande homomorfe attentiemechanismen.

Oorspronkelijke auteurs: Luis Brito

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Luis Brito

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een geheim vraag wilt stellen aan een krachtige AI-assistent, maar je bent doodsbang dat de assistent misschien naar je vraag of je antwoord kan gluren. Om dit op te lossen, plaats je je vraag in een onbreekbaar, magisch glazen doosje (dit is Fully Homomorphic Encryption, of FHE). De assistent kan berekeningen binnenin het doosje uitvoeren zonder het ooit open te maken, en wanneer ze klaar zijn, geven ze het doosje aan jou terug. Jij opent het, en daar is je antwoord.

Er is echter een addertje onder het gras: wiskunde uitvoeren in deze magische glazen doosjes is ongelooflijk traag en vermoeiend. Het is alsof je probeert een complex puzzel op te lossen terwijl je dikke, zware ovenwanten draagt. Elke keer dat de AI probeert twee stukken data met elkaar te mengen, moet het een enorme hoeveelheid werk verzetten.

Dit artikel introduceert een nieuwe manier om deze "geheime AI"-hersenen te bouwen, genaamd Public-Decay Homomorphic State Space Models (HSSM). Hier is hoe het werkt, met behulp van eenvoudige analogieën:

Het Probleem: De Valstrik van "Zware Heffing"

In een standaard geheim AI-systeem (zoals een Transformer) moet de AI elke keer dat het een nieuw woord in een zin verwerkt, het nieuwe geheime woord mengen met het oude geheime geheugen van de zin.

De Oude Manier: Stel je voor dat je een zware, afgesloten kluis (het geheugen) draagt en je deze moet mengen met een andere zware, afgesloten kluis (het nieuwe woord). Je moet beide kluizen optillen, ze mengen en het resultaat vergrendelen. Dit voor elk woord in een lang verhaal doen is vermoeiend en traag. Het "gewicht" (de rekenkosten) blijft opstapelen.

De Oplossing: De "Publieke Verval"-Truc

De auteurs van dit artikel beseften dat ze de regels iets konden veranderen om de taak makkelijker te maken. Zij stelden een nieuw ontwerp voor waarbij het "geheugen" niet elke keer gemengd hoeft te worden met een nieuw geheim.

De Nieuwe Manier (HSSM): Stel je voor dat de AI een geheugenkluis heeft die vanzelf langzaam lucht verliest (verval). Dit "lekken" is een publieke regel die iedereen kent (het is geen geheim).
- In plaats van twee zware afgesloten kluizen te mengen, laat de AI het oude geheugen gewoon een beetje lekken (wat makkelijk is omdat het een publieke regel is) en voegt vervolgens een klein, nieuw geheim briefje toe aan de mix.
- De Analogie: Denk eraan als een emmer met een klein gaatje. Het waterpeil (het geheugen) daalt van nature elke seconde een beetje (publiek verval). Je hoeft alleen maar een klein kopje nieuw water (de nieuwe geheime invoer) erin te gieten om het gaande te houden. Je hoeft niet elke keer de hele emmer op te tillen en te mengen met een andere emmer.

Waarom Dit Belangrijk Is

Door deze "lekke emmer"-methode te gebruiken, vermijdt de AI de duurste, zwaarste wiskundige bewerkingen.

Snelheid: Het artikel testte dit op echte computers (specifiek krachtige NVIDIA L40S GPU's). Ze ontdekten dat deze nieuwe methode ongeveer 5 keer sneller was dan de vorige beste methoden voor het verwerken van volledige zinnen.
Geheugen: Omdat de AI geen enorme, groeiende lijst hoeft bij te houden van elk woord dat het ooit heeft gezien (zoals een traditionele AI doet), gebruikt het veel minder computergeheugen. Het is alsof je één lopende notitie bijhoudt in plaats van een groeiende stapel papieren.
Nauwkeurigheid: Ondanks dat het sneller en lichter is, gaf de AI nog steeds exact de juiste antwoorden. Bij tests met filmrecensies (Rotten Tomatoes) en korte zinnen (SST-2) gaf de geheime AI dezelfde juiste antwoorden als een normale, niet-geheime AI.

Wat Ze Eigenlijk Deden (en Niet Deden)

De onderzoekers bouwden een specifiek systeem waarbij:

Jij (de Client): Het zware werk doet van het omzetten van je tekst in getallen, het versleutelen ervan en het in het doosje plaatsen.
De Server: Neemt het doosje, voert de "lekke emmer"-wiskunde uit en geeft het doosje terug.
Jij (opnieuw): Opent het doosje om het resultaat te zien.

Belangrijke Beperkingen:

Dit artikel claimt niet het probleem van het lezen van ruwe tekst binnen het doosje op te hebben gelost. De tekst moet nog steeds voordat het in het doosje gaat, worden omgezet in getallen.
Het claimt niet een volledige, algemeen toepasbare chatbot te zijn (zoals een massaal taalmodel) nog. Het is een specifiek hulpmiddel voor het analyseren van korte sequenties van data (zoals het classificeren of een recensie positief of negatief is).
Het "lekken" (verval) is een vaste, publieke regel. Als de AI de leksnelheid op basis van een geheim zou moeten aanpassen, zou de magie breken en zou het weer traag worden.

De Conclusie

Dit artikel bewijst dat door te veranderen hoe de AI dingen "onthoudt" – het overschakelen van "twee zware geheimen mengen" naar "een geheim laten lekken en een kleine druppel toevoegen" – we geheime AI veel sneller en praktischer kunnen maken. Het is een slimme ingenieurskunst die de privacybelofte vasthoudt terwijl het de zware last van de wiskunde verwijdert.

Technische Samenvatting: Homomorfische Ruimtetijdmomenten met Publiek Verval voor Privé Sequentie-inferentie

1. Probleemformulering

Het artikel behandelt de hoge rekenkosten van het uitvoeren van sequentie-inferentie onder Volledig Homomorf Versleuteling (FHE). Hoewel FHE privé-inferentie mogelijk maakt waarbij een client invoer versleutelt en een server modellen evalueert op cijferteksten, staan standaard sequentiemodellen voor zware beperkingen. Operaties die routine zijn in niet-versleutelde neurale netwerken – zoals niet-polynomiale activeringen, softmax, laagnormalisatie en contextbrede attention – worden onder FHE eerste-orde systeembeperkingen vanwege de multiplicatieve diepte, rotatiekosten en het materialiseren van cijferteksten.

Specifiek identificeert het artikel een knelpunt in versleutelde selectieve recurrentie. In een naïef versleuteld recurrent blok (bijvoorbeeld een versleutelde GRU of LSTM) omvat de statupdate typisch het vermenigvuldigen van een versleutelde, invoerafhankelijke poort met een versleutelde gedragen toestand ( $h_t = g_A(x_t) \cdot h_{t-1} + \dots$ ). Deze vermenigvuldiging tussen cijferteksten verbruikt multiplicatieve diepte bij elke tijdstap, wat snel het beschikbare ruisbudget uitgeput en dure bootstrap- of verversingsoperaties noodzakelijk maakt.

2. Methodologie: Publiek-Verval HSSM

De auteurs stellen Homomorfische Ruimtetijdmomenten met Publiek Verval (HSSM's) voor, een recurrente/ruimtetijdblok dat is ontworpen om vermenigvuldiging tussen cijferteksten op het gedragen pad te vermijden.

Kernmechanisme: Het ontwerp stelt de recurrente vervalcoëfficiënt ( $a$ ) vast als publiek/niet-versleuteld. De updatevergelijking voor de toestand is:
$h_t = a \cdot h_{t-1} + g(x_t) \cdot u(x_t)$
Hierbij is $h_t$ de versleutelde toestand, $a$ een publieke scalair, en $g(x_t)u(x_t)$ het lokale schrijfpad.
Dieptereductie: Door het gedragen term ( $a \cdot h_{t-1}$ ) een operatie tussen cijfertekst en niet-versleutelde tekst te maken, verwijdert het artikel de groei van multiplicatieve diepte die geassocieerd is met de recurrente drager. De enige vermenigvuldiging tussen cijferteksten vindt plaats in het lokale schrijfpad ( $g \cdot u$ ), wat begrensd is en lokaal aan de huidige stap.
Systeemarchitectuur:
- Kant van de Client: Verwerkt tokenisatie, het opzoeken van bevroren fastText, train-genormaliseerde willekeurige projectie, afsnijden, versleuteling, ontsleuteling en drempelwaarde-bepaling.
- Kant van de Server: Ontvangt versleutelde, begrensd geprojecteerde kenmerken. Het voert publieke affiene projecties uit, evalueert lage-graad versleutelde poort/schrijf-polynomen, voert de lokale schrijfvermenigvuldiging uit en aggregeert de toestand met behulp van het publieke verval.
- Beperkingen: De modelparameters (gewichten, verval, projecties) zijn publiek. De server observeert metadata (sequentielengte, vorm van operaties) maar niet de versleutelde data of geheime sleutels.

3. Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

Architecturale Specificatie: Definieert het minimale HSSM-blok met een publiek-verval invariant, waarbij client-zijde voorverwerking expliciet wordt gescheiden van server-zijde homomorfe evaluatie.
Symbolische Vergelijking: Vergelijkt HSSM met transformer-stijl versleutelde inferentie en naïeve versleutelde selectieve recurrentie. Het toont aan dat HSSM een vaste grootte versleutelde toestand behoudt en de accumulatie van multiplicatieve diepte van naïeve recurrentie vermijdt.
Empirische Validatie: Rapporteert echte FHE-artefacten via OpenFHE (CPU) en FIDESlib (CUDA) backends. Dit omvat overeenkomende niveau-traces die consistent ruisgedrag tonen over backends en metingen op L40S GPU's.
Taakkwaliteit versus Systeemkosten: Schept taaknauwkeurigheid van systeemlatentie. Het valideert de aanpak met een gerepareerde fastText-workflow (waarmee "speelgoed"-kenmerken worden vermeden) en vergelijkt HSSM met HE-vriendelijke polynomiale attention-mechanismen.

4. Experimentele Resultaten

De evaluatie richt zich op de sentimentanalyse-datasets Rotten Tomatoes en SST-2 met behulp van een begrensd-kenmerkinterface (512 geprojecteerde scalairen per voorbeeld).

Nauwkeurigheid: Het versleutelde HSSM-pad komt exact overeen met niet-versleutelde classificaties, met een nauwkeurigheid van 0,7505 op Rotten Tomatoes en 0,7420 op SST-2.
Latentie en Efficiëntie:
- Tegenover polynomiale attention voor volledige sequenties is HSSM ongeveer 5× sneller (bijvoorbeeld ~15ms versus ~75ms voor evaluatie) terwijl het de taakkwaliteit behoudt of overtreft.
- Tegenover gecacheerde polynomiale attention voor het laatste token toont HSSM 1,34–1,62× lagere latentie op langere contexten (T=16, 32) en behoudt een kleinere logische versleutelde-toestand footprint.
Ressourcenverbruik:
- Geheugen: HSSM behoudt één versleutelde toestand-cijfertekst ongeacht de sequentielengte ( $T$ ), terwijl polynomiale attention $O(T)$ of $O(T^2)$ cijferteksten vereist voor caches en gematerialiseerde scores. Stress-tests tonen aan dat HSSM sequenties tot $T=36$ voltooit op een L40S GPU, terwijl gematerialiseerde kwadratische attention faalt bij $T=36$ door out-of-memory-fouten.
- Diepte: De geprojecteerde HSSM slaagt onder diepte 8 / ring 32768, terwijl het vergelijkbare versleutelde Q/K/V attention-blok diepte 10 / ring 65536 vereist om bij dezelfde sequentielengtes te slagen.
Ruis en Niveaus: Overeenkomende traces op OpenFHE en FIDESlib bevestigen dat het uitgebreide HSSM-pad eindigt op eindniveau 3 met een ruis-schaalgraad van 2, zonder bootstrap te gebruiken voor de begrensd-kenmerk workflow.

5. Betekenis en Claims

Het artikel beweert dat publiek-verval HSSM een praktisch FHE co-ontwerppatroon is voor server-zijde versleutelde sequentie-inferentie vanuit begrensd geprojecteerde kenmerken.

Ontwerpfactor: De centrale bijdrage is de demonstratie dat het vervangen van een versleutelde, invoerafhankelijke draagpoort door een publiek/niet-versleutelde verval een meetbare factor is om de druk op het versleutelde draagpad te verminderen.
Reikwijdte van Claims: De auteurs zijn bescheiden over de reikwijdte. Zij claimen niet:
- Homomorfe tokenisatie of embedding-opzoeken.
- Model-privé gewichten (gewichten zijn publiek).
- Exacte softmax, volledige transformer-blokken of productie-schaal taalmodelvoorziening.
- Veiligheid tegen kwaadaardige servers of side-channel-aanvallen.
Conclusie: De resultaten stellen vast dat voor inferentie met begrensd kenmerken, publiek-verval HSSM een concrete afweging biedt: het bereikt nut voor niet-speelgoed-taken met versleutelde berekening met vaste toestand, lagere latentie dan attention voor volledige sequenties en verminderde logische toestandsgroei, allemaal binnen een beheersbaar FHE-dieptebudget zonder bootstrap.