Technische Samenvatting: FuseFSS

Probleemstelling

Bij twee-server beveiligde inferentie voor Large Language Models (LLMs) kunnen cliënten modellen hosten zonder dat hun prompts of embeddings worden onthuld, door inputs via secret-sharing te verdelen tussen niet-collerende servers. Hoewel recente GPU-gebaseerde systemen die gebruikmaken van Function Secret Sharing (FSS) lineaire lagen efficiënt hebben gemaakt, blijven er significante knelpunten bestaan bij fixed-point nonlineariteiten (bijv. activaties zoals GELU, Softmax-componenten) en rescaling-operaties.

Huidige state-of-the-art systemen (bijv. Sigma) vertrouwen op specifieke, per-operator protocollen. Elke operator vereist een aangepaste implementatie die specifieke vergelijkingen, wrap-around correcties en preprocessing-materiaal omvat. Deze aanpak is broos: het compliceert bewijzen van correctheid, dupliceert de logica voor sleutelgeneratie en maakt het moeilijk om nieuwe operators toe te voegen zonder subtiele bugs te introduceren die gerelateerd zijn aan modulo-$2^n$ wrap-around of signedness. Bovendien leiden deze aangepaste protocollen vaak tot een hoge online communicatie-overhead en zware preprocessing-kosten (sleutelgeneratietijd en -grootte).

Methodologie: FuseFSS

De auteurs presenteren FuseFSS, een compiler die per-operator protocol engineering vervangt door een uniforme, GPU-vriendelijke compilatie-pipeline. De kerninzicht is dat de data-afhankelijke logica over veelvoorkomende fixed-point nonlineariteiten heen een vergelijkbaar patroon volgt: het selecteren van een regio met behulp van een kleine set predicaatbits en vervolgens het toepassen van een laag-graads rekenkundige vorm met een klein aantal constanten.

1. Operator Specificaties

FuseFSS introduceert een getypeerde operator specificatie die dient als een intermediate representation (IR) voor elementwise fixed-point operators. Een specificatie definieert:

• Interval Partition: Een volledige partitie van de canonieke representanten van $\mathbb{Z}_{2^n}$ in intervallen $I_i = [\alpha_i, \alpha_{i+1})$.
• Arithmetic Pieces: Voor elk interval een vector van laag-graads polynomen $P_i(x)$ om de rekenkundige output te berekenen.
• Predicate Bits: Booleaanse formules $B_i(x)$ opgebouwd uit primitieve predicaten (bijv. $x < \beta$) om te bepalen welk interval actief is.

2. Mask-Aware Compilatie

De compiler vertaalt deze specificaties naar een uniform protocol dat opereert op een publieke gemaskeerde waarde $\hat{x} = x + r_{in} \pmod{2^n}$, waarbij $r_{in}$ een verse, secret-shared mask is die tijdens de preprocessing wordt gesampled.

• Predicate Rewriting: De compiler herschrijft predicaten op de geheime input $x$ naar vergelijkingen op de publieke $\hat{x}$, waarbij gebruik wordt gemaakt van secret-shared carry bits afgeleid van de mask $r_{in}$ om modulo wrap-around correct te afhandelen.
• Uniforme Structuur: Ongeacht de specifieke operator, genereert de compiler exact twee standaard FSS-evaluaties op de publieke $\hat{x}$:
  1. Packed Comparison: Een enkele evaluatie die de XOR-shares van alle vereiste predicaatbits teruggeeft (interval indicatoren).
  2. Vector Interval Lookup: Een enkele evaluatie die de additive shares van de actieve polynoomcoëfficiënten en constanten voor het geselecteerde interval teruggeeft.

3. Post-Processing

De resterende berekening is een vaste, share-gebaseerde post-processing circuit. Dit omvat:

• Horner's Rule: Het evalueren van de geselecteerde laag-graads polynoom op de secret shares van $x$ (afgeleid van $\hat{x}$ en $r_{in}$) met behulp van Beaver triples.
• Helper Operations: Het toepassen van Booleaanse logica (XOR, AND) en mixed-domain conversies (B2A/A2B) om rekenkundige en Booleaanse resultaten te combineren.
• Specification-Compatible Gates: Voor operaties die niet puur polynomiaal kunnen zijn (bijv. truncatie, arithmetic right shifts), voegt de compiler een deterministisch post-processing circuit $\Phi$ toe dat de polynoom output en mask-afgeleide constanten neemt om het uiteindelijke resultaat te produceren.

4. Beveiliging en Leakage

FuseFSS houdt zich aan masked-wire semantics, wat zorgt voor verse, onafhankelijke masks per wire. Cruciaal is dat de compiler mask-onafhankelijke publieke vormen afdwingt. Het aantal vergelijkingen, bit-breedtes en interval lookup dimensies hangen alleen af van de publieke operator specificatie en fixed-point metadata, niet van de gesamplede masks. Dit voorkomt lekkage van geheime informatie via sleutelgroottes of instantie-vormen. Het beveiligingsmodel gaat uit van een semi-honest adversary in een twee-server preprocessing setting.

Belangrijkste Bijdragen

1. State-of-the-Art Prestaties: FuseFSS bereikt de best gerapporteerde end-to-end prestaties voor FSS-gebaseerde inferentie op BERT en GPT-stijl modellen, waarbij de latentie wordt verbeterd en de preprocessing-kosten worden verminderd terwijl de modelnauwkeurigheid behouden blijft.
2. Praktisch Compiler Target: Het demonstreert dat een breed scala aan fixed-point scalaire operators verenigd kan worden onder een enkele specificatieformaat, uitgevoerd via twee standaard FSS-calls plus uniforme post-processing, wat de noodzaak voor bespoke protocol design elimineert.
3. Mask-Aware Compilatie met Beveiliging: Het systeem afleidt correcte predicaat-evaluaties uit publieke gemaskeerde inputs terwijl het vorm-invariantie afdwingt, wat een uniforme correctheid en semi-honest beveiligingsbewijs mogelijk maakt over verschillende operators.

Experimentele Resultaten

De auteurs hebben FuseFSS geëvalueerd tegen Sigma, de huidige state-of-the-art FSS-gebaseerde baseline, op BERT en GPT-stijl modellen (inclusief BERT-tiny/base/large, GPT-2, en GPT-Neo) met sequentielengte 128 en batch size 1.

• End-to-End Versnelling: FuseFSS bereikt een 1.24×–1.50× versnelling in online latentie. Bijvoorbeeld, de BERT-base-128 inferentietijd daalde van 1613.80 ms (Sigma) naar 1149.50 ms (FuseFSS), een reductie van 28.8%.
• Reductie in Communicatie: De online communicatie is verminderd met 9%–16%.
• Preprocessing Efficiëntie:
  • Sleutelgeneratietijd: Verminderd met 14%–23%.
  • Sleutelgrootte: Verminderd met 20%–24%.
• Schaalbaarheid: De versnelling blijft consistent (1.36×–1.45×) naarmate de sequentielengte toeneemt van 32 naar 512.
• Attributie: De winst wordt primair gedreven door de versnelling van scalaire nonlinear en helper blokken (bijv. GELU, Softmax-componenten), die het merendeel van de latentie in de baseline bepalen. Bijvoorbeeld, het gecompileerde pad voor Softmax (nExp + reciprocal) zag een 4.5×–4.7× versnelling.

Betekenis en Claims

Het artikel claimt dat FuseFSS het primaire knelpunt in twee-server beveiligde inferentie aanpakt: de engineering complexiteit en prestatie-overhead van fixed-point nonlineariteiten. Door over te stappen van bespoke per-operator protocollen naar een uniforme compilatie-pipeline, vereenvoudigt FuseFSS het systeemontwerp, verbetert het de garanties op correctheid en vermindert het zowel de online als offline kosten aanzienlijk.

De auteurs positioneren FuseFSS als een praktische oplossing voor het inzetten van privacy-preserving LLM inferentie in omgevingen waar sterke vertrouwelijkheid voor prompts en embeddings vereist is (bijv. gezondheidszorg, financiën). Ze merken expliciet op dat hun werk zich richt op scalaire nonlineariteiten; vector-niveau operaties (zoals reducties of attention sparsification) vallen buiten de operator specificatie IR en worden afgehandeld door standaard MPC subprotocollen. De beveiligingsanalyse is beperkt tot het semi-honest model met twee niet-collerende servers, waarbij wordt erkend dat het uitbreiden naar sterkere adversariële modellen een toekomstige richting is.