🤖 machine learning

Public-Decay Homomorphic State Space Models for Private Sequence Inference

Questo articolo introduce i Modelli di Spazio di Stato Omomorfici a Decadimento Pubblico (HSSM), un'architettura innovativa che realizza l'inferenza di sequenze crittografate con una precisione pari ai baseline in testo chiaro, riducendo al contempo in modo significativo la latenza e la profondità computazionale rispetto ai meccanismi di attenzione omomorfica esistenti.

Autori originali: Luis Brito

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Luis Brito

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler porre una domanda segreta a un potente assistente AI, ma sei terrorizzato all'idea che l'assistente possa spiare la tua domanda o la tua risposta. Per risolvere il problema, inserisci la tua domanda in una scatola di vetro magica e infrangibile (questa è la Crittografia Omomorfica Completa, o FHE). L'assistente può eseguire calcoli all'interno della scatola senza mai aprirla e, una volta finito, ti restituisce la scatola. Tu la apri e trovi la tua risposta.

Tuttavia, c'è un inconveniente: fare matematica all'interno di queste scatole di vetro magiche è incredibilmente lento e faticoso. È come cercare di risolvere un puzzle complesso indossando guanti da forno spessi e pesanti. Ogni volta che l'AI cerca di mescolare due pezzi di dati, deve compiere un'enorme quantità di lavoro.

Questo articolo introduce un nuovo modo per costruire questi "cervelli AI segreti", chiamato Modelli di Stato Omomorfi a Decadimento Pubblico (HSSM). Ecco come funziona, utilizzando semplici analogie:

Il Problema: La Trappola del "Sollevamento Pesante"

In un'AI segreta standard (come un Transformer), ogni volta che l'AI elabora una nuova parola in una frase, deve mescolare la nuova parola segreta con la vecchia memoria segreta della frase.

Il Vecchio Modo: Immagina di trasportare una cassaforte pesante e chiusa a chiave (la memoria) e di doverla mescolare con un'altra cassaforte pesante e chiusa a chiave (la nuova parola). Devi sollevare entrambe le casseforti, mescolarle e bloccare il risultato. Fare questo per ogni parola in una storia lunga è estenuante e lento. Il "peso" (il costo computazionale) continua ad accumularsi.

La Soluzione: Il Trucco del "Decadimento Pubblico"

Gli autori di questo articolo hanno realizzato che potevano cambiare leggermente le regole per rendere il lavoro più facile. Hanno proposto un nuovo design in cui la "memoria" non ha bisogno di essere mescolata con un nuovo segreto ogni volta.

Il Nuovo Modo (HSSM): Immagina che l'AI abbia una cassaforte di memoria che perde lentamente aria (decade) da sola. Questa "perdita" è una regola pubblica che tutti conoscono (non è un segreto).
- Invece di mescolare due casseforti pesanti e chiuse a chiave, l'AI lascia semplicemente che la vecchia memoria perda un po' d'aria (il che è facile perché è una regola pubblica) e poi aggiunge un piccolo nuovo foglietto segreto al mix.
- L'Analogia: Pensa a un secchio con un piccolo foro. Il livello dell'acqua (memoria) scende naturalmente di un po' ogni secondo (decadimento pubblico). Devi solo versare dentro una piccola tazza di nuova acqua (il nuovo input segreto) per mantenerlo in funzione. Non devi sollevare l'intero secchio e mescolarlo con un altro secchio ogni volta.

Perché Questo È Importante

Utilizzando questo metodo del "secchio che perde", l'AI evita le operazioni matematiche più costose e pesanti.

Velocità: L'articolo ha testato questo su computer reali (in particolare potenti GPU NVIDIA L40S). Hanno scoperto che questo nuovo metodo era circa 5 volte più veloce dei metodi migliori precedenti per elaborare frasi complete.
Memoria: Poiché l'AI non ha bisogno di mantenere un elenco massiccio e in crescita di ogni singola parola che ha mai visto (come fa un'AI tradizionale), utilizza molta meno memoria del computer. È come tenere una singola nota in esecuzione invece di una pila crescente di fogli.
Precisione: Nonostante sia più veloce e leggera, l'AI ha comunque ottenuto le risposte esattamente corrette. Nei test che coinvolgevano recensioni di film (Rotten Tomatoes) e frasi brevi (SST-2), l'AI segreta ha ottenuto le stesse risposte corrette di un'AI normale, non segreta.

Cosa Hanno Effettivamente Fatto (e Cosa Non Hanno Fatto)

I ricercatori hanno costruito un sistema specifico in cui:

Tu (il Client): Fai il lavoro difficile di trasformare il tuo testo in numeri, cifrarli e metterli nella scatola.
Il Server: Prende la scatola, esegue la matematica del "secchio che perde" e ti restituisce la scatola.
Tu (di nuovo): Apri la scatola per vedere il risultato.

Limitazioni Importanti:

Questo articolo non afferma di aver risolto il problema della lettura di testo grezzo all'interno della scatola. Il testo deve ancora essere trasformato in numeri prima di entrare nella scatola.
Non afferma di essere un chatbot completo e generico (come un enorme modello linguistico) ancora. È uno strumento specifico per analizzare sequenze brevi di dati (come classificare se una recensione è positiva o negativa).
La "perdita" (decadimento) è una regola fissa e pubblica. Se l'AI avesse bisogno di cambiare il tasso di perdita in base a un segreto, la magia si romperebbe e si tornerebbe alla lentezza.

La Conclusione

Questo articolo dimostra che cambiando il modo in cui l'AI "ricorda" le cose – passando dal "mescolare due segreti pesanti" al "lasciare che un segreto perda e aggiungere una piccola goccia" – possiamo rendere l'AI segreta molto più veloce e pratica. È un trucco ingegnoso di ingegneria che mantiene la promessa della privacy rimuovendo il pesante fardello della matematica.

Riepilogo Tecnico: Modelli di Spazio di Stato Omomorfi a Decadimento Pubblico per Inferenza di Sequenze Privata

1. Formulazione del Problema

Il documento affronta l'elevato costo computazionale dell'esecuzione dell'inferenza di sequenze sotto Crittografia Omomorfa Completamente (FHE). Sebbene la FHE consenta inferenze private in cui un client crittografa gli input e un server valuta i modelli su testi cifrati, i modelli di sequenza standard incontrano vincoli severi. Operazioni routinarie nelle reti neurali in testo chiaro—come attivazioni non polinomiali, softmax, normalizzazione a livello e attenzione su tutto il contesto—diventano vincoli di sistema di primo ordine sotto FHE a causa della profondità moltiplicativa, dei costi di rotazione e della materializzazione dei testi cifrati.

Nello specifico, il documento identifica un collo di bottiglia nella ricorrenza selettiva crittografata. In un blocco ricorrente crittografato ingenuo (ad esempio, una GRU o LSTM crittografata), l'aggiornamento dello stato comporta tipicamente la moltiplicazione di un gate crittografato dipendente dall'input per uno stato trasportato crittografato ( $h_t = g_A(x_t) \cdot h_{t-1} + \dots$ ). Questa moltiplicazione tra testi cifrati consuma profondità moltiplicativa ad ogni passo temporale, esaurendo rapidamente il budget di rumore disponibile e rendendo necessarie costose operazioni di bootstrap o refresh.

2. Metodologia: HSSM a Decadimento Pubblico

Gli autori propongono Modelli di Spazio di Stato Omomorfi a Decadimento Pubblico (HSSM), un blocco ricorrente/di spazio di stato progettato per evitare la moltiplicazione tra testi cifrati sul percorso di trasporto ricorrente.

Meccanismo Principale: Il design fissa il coefficiente di decadimento ricorrente ( $a$ ) come pubblico/testo chiaro. L'equazione di aggiornamento dello stato è:
$h_t = a \cdot h_{t-1} + g(x_t) \cdot u(x_t)$
Qui, $h_t$ è lo stato crittografato, $a$ è uno scalare pubblico e $g(x_t)u(x_t)$ rappresenta il percorso di scrittura locale.
Riduzione della Profondità: Rendendo il termine di trasporto ( $a \cdot h_{t-1}$ ) un'operazione testo cifrato-testo chiaro, il documento elimina la crescita della profondità moltiplicativa associata al trasporto ricorrente. L'unica moltiplicazione tra testi cifrati avviene nel percorso di scrittura locale ( $g \cdot u$ ), che è limitato e locale al passo corrente.
Architettura di Sistema:
- Lato Client: Gestisce la tokenizzazione, la ricerca congelata in fastText, la proiezione casuale normalizzata per l'addestramento, il clipping, la crittografia, la decrittazione e la sogliatura.
- Lato Server: Riceve le caratteristiche proiettate e limitate crittografate. Esegue proiezioni affini pubbliche, valuta polinomi crittografati di gate/scrittura di basso grado, esegue la moltiplicazione di scrittura locale e aggrega lo stato utilizzando il decadimento pubblico.
- Vincoli: I parametri del modello (pesi, decadimento, proiezioni) sono pubblici. Il server osserva i metadati (lunghezza della sequenza, forme delle operazioni) ma non i dati crittografati o le chiavi segrete.

3. Contributi Chiave

Il documento apporta quattro contributi principali:

Specificazione Architettonica: Definisce il blocco HSSM minimale con un'invarianza di decadimento pubblico, separando esplicitamente la pre-elaborazione lato client dalla valutazione omomorfa lato server.
Confronto Simbolico: Contrasta l'HSSM con l'inferenza crittografata in stile transformer e la ricorrenza selettiva crittografata ingenua. Dimostra che l'HSSM mantiene uno stato crittografato di dimensione fissa ed evita l'accumulo di profondità moltiplicativa della ricorrenza ingenua.
Validazione Empirica: Segnala artefatti reali della FHE attraverso i backend OpenFHE (CPU) e FIDESlib (CUDA). Questo include tracce di livello corrispondenti che mostrano un comportamento del rumore coerente tra i backend e misurazioni su GPU L40S.
Qualità del Compito vs. Costo di Sistema: Separa l'accuratezza del compito dalla latenza di sistema. Convalida l'approccio utilizzando un flusso di lavoro fastText riparato (evitando caratteristiche "da gioco") e confronta l'HSSM con meccanismi di attenzione polinomiale compatibili con l'HE.

4. Risultati Sperimentali

La valutazione si concentra sui dataset di analisi del sentiment Rotten Tomatoes e SST-2 utilizzando un'interfaccia a caratteristiche limitate (512 scalari proiettati per esempio).

Accuratezza: Il percorso HSSM crittografato corrisponde esattamente alle classificazioni in testo chiaro, raggiungendo un'accuratezza di 0.7505 su Rotten Tomatoes e 0.7420 su SST-2.
Latenza ed Efficienza:
- Rispetto all'attenzione polinomiale su sequenza completa, l'HSSM è circa 5 volte più veloce (ad esempio, ~15ms contro ~75ms per la valutazione) pur mantenendo o superando la qualità del compito.
- Rispetto all'attenzione polinomiale sull'ultimo token memorizzata nella cache, l'HSSM mostra una latenza inferiore del 1.34–1.62× su contesti più lunghi (T=16, 32) e mantiene un'impronta di stato crittografato logico più piccola.
Utilizzo delle Risorse:
- Memoria: L'HSSM mantiene un singolo testo cifrato di stato crittografato indipendentemente dalla lunghezza della sequenza ( $T$ ), mentre l'attenzione polinomiale richiede $O(T)$ o $O(T^2)$ testi cifrati per le cache e i punteggi materializzati. I test di stress mostrano che l'HSSM completa sequenze fino a $T=36$ su una GPU L40S, mentre l'attenzione quadratica materializzata fallisce a $T=36$ a causa di errori di memoria esaurita.
- Profondità: L'HSSM proiettato ha successo con profondità 8 / anello 32768, mentre il blocco di attenzione Q/K/V crittografato comparabile richiede profondità 10 / anello 65536 per avere successo alle stesse lunghezze di sequenza.
Rumore e Livelli: Tracce corrispondenti su OpenFHE e FIDESlib confermano che il percorso HSSM espanso termina al livello finale 3 con un grado di scala del rumore di 2, senza invocare il bootstrap per il flusso di lavoro a caratteristiche limitate.

5. Significato e Affermazioni

Il documento afferma che l'HSSM a decadimento pubblico è un pattern di co-design FHE pratico per l'inferenza di sequenze crittografata lato server da caratteristiche proiettate limitate.

Leva di Design: Il contributo centrale è la dimostrazione che sostituire un gate di trasporto crittografato dipendente dall'input con un decadimento pubblico/testo chiaro è una leva misurabile per ridurre la pressione sul percorso di trasporto crittografato.
Portata delle Affermazioni: Gli autori sono modesti sulla portata. Non affermano:
- Tokenizzazione omomorfa o ricerche di embedding.
- Pesi privati del modello (i pesi sono pubblici).
- Softmax esatto, blocchi transformer completi o servizio di modelli linguistici su scala produttiva.
- Sicurezza contro server malevoli o attacchi side-channel.
Conclusione: I risultati stabiliscono che per l'inferenza a caratteristiche limitate, l'HSSM a decadimento pubblico offre un compromesso concreto: raggiunge utilità del compito non "da gioco" con calcolo crittografato a stato fisso, latenza inferiore rispetto all'attenzione su sequenza completa e crescita ridotta dello stato logico, operando tutto all'interno di un budget di profondità FHE gestibile senza bootstrap.