🤖 machine learning

Public-Decay Homomorphic State Space Models for Private Sequence Inference

Ce papier présente les Modèles d'Espace d'État Homomorphes à Décroissance Publique (HSSMs), une architecture novatrice qui réalise l'inférence de séquences chiffrées avec une précision équivalente aux références en clair tout en réduisant considérablement la latence et la profondeur computationnelle par rapport aux mécanismes d'attention homomorphes existants.

Auteurs originaux : Luis Brito

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Luis Brito

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous souhaitiez poser une question secrète à un assistant IA puissant, mais que vous soyez terrifié à l'idée que l'assistant puisse jeter un coup d'œil à votre question ou à votre réponse. Pour résoudre ce problème, vous placez votre question dans une boîte en verre magique incassable (c'est le Chiffrement Homomorphe Complet, ou FHE). L'assistant peut effectuer des calculs à l'intérieur de la boîte sans jamais l'ouvrir, et lorsqu'il a terminé, il vous rend la boîte. Vous l'ouvrez, et votre réponse s'y trouve.

Cependant, il y a un piège : faire des mathématiques à l'intérieur de ces boîtes en verre magiques est incroyablement lent et épuisant. C'est comme essayer de résoudre un puzzle complexe en portant des gants de four épais et lourds. Chaque fois que l'IA tente de mélanger deux éléments de données, elle doit accomplir une quantité massive de travail.

Cet article présente une nouvelle méthode pour construire ces cerveaux d'« IA secrète », appelée Modèles d'Espace d'État Homomorphes à Décroissance Publique (HSSM). Voici comment cela fonctionne, en utilisant des analogies simples :

Le Problème : Le Piège du « Port de Charges Lourdes »

Dans une IA secrète standard (comme un Transformer), chaque fois que l'IA traite un nouveau mot dans une phrase, elle doit mélanger le nouveau mot secret avec l'ancienne mémoire secrète de la phrase.

L'Ancienne Méthode : Imaginez que vous portez un coffre-fort lourd et verrouillé (la mémoire) et que vous devez le mélanger avec un autre coffre-fort lourd et verrouillé (le nouveau mot). Vous devez soulever les deux coffres, les mélanger, puis verrouiller le résultat. Faire cela pour chaque mot d'une longue histoire est épuisant et lent. Le « poids » (le coût de calcul) ne cesse de s'accumuler.

La Solution : L'Astuce de la « Décroissance Publique »

Les auteurs de cet article ont réalisé qu'ils pouvaient modifier légèrement les règles pour rendre le travail plus facile. Ils ont proposé une nouvelle conception où la « mémoire » n'a pas besoin d'être mélangée à un nouveau secret à chaque fois.

La Nouvelle Méthode (HSSM) : Imaginez que l'IA possède un coffre-fort mémoire qui fuit lentement de l'air (décroissance) par lui-même. Cette « fuite » est une règle publique que tout le monde connaît (ce n'est pas un secret).
- Au lieu de mélanger deux lourds coffres-forts verrouillés, l'IA laisse simplement l'ancienne mémoire fuir un peu (ce qui est facile car c'est une règle publique) puis ajoute un petit nouveau mot secret dans le mélange.
- L'Analogie : Pensez-y comme à un seau avec un petit trou. Le niveau d'eau (la mémoire) baisse naturellement un peu chaque seconde (décroissance publique). Vous n'avez qu'à verser une petite tasse d'eau nouvelle (la nouvelle entrée secrète) pour maintenir le processus. Vous n'avez pas à soulever tout le seau et à le mélanger avec un autre seau à chaque fois.

Pourquoi Cela Compte

En utilisant cette méthode du « seau qui fuit », l'IA évite les opérations mathématiques les plus coûteuses et les plus lourdes.

Vitesse : L'article a testé cela sur de vrais ordinateurs (spécifiquement des GPU NVIDIA L40S puissants). Ils ont constaté que cette nouvelle méthode était environ 5 fois plus rapide que les meilleures méthodes précédentes pour traiter des phrases complètes.
Mémoire : Parce que l'IA n'a pas besoin de conserver une liste massive et croissante de chaque mot qu'elle a jamais vu (comme le fait une IA traditionnelle), elle utilise beaucoup moins de mémoire informatique. C'est comme garder une seule note en cours de rédaction au lieu d'une pile croissante de papiers.
Précision : Malgré sa rapidité et sa légèreté, l'IA a obtenu les réponses exactement correctes. Sur des tests impliquant des critiques de films (Rotten Tomatoes) et de courtes phrases (SST-2), l'IA secrète a obtenu les mêmes réponses correctes qu'une IA normale, non secrète.

Ce Qu'ils Ont Fait (et Ce Qu'ils N'Ont Pas Fait)

Les chercheurs ont construit un système spécifique où :

Vous (le Client) : Effectuez le travail difficile consistant à transformer votre texte en nombres, à les chiffrer et à les placer dans la boîte.
Le Serveur : Prend la boîte, exécute les mathématiques du « seau qui fuit », et vous rend la boîte.
Vous (à nouveau) : Ouvrez la boîte pour voir le résultat.

Limitations Importantes :

Cet article ne prétend pas avoir résolu le problème de la lecture de texte brut à l'intérieur de la boîte. Le texte doit toujours être transformé en nombres avant d'entrer dans la boîte.
Il ne prétend pas être un chatbot complet et polyvalent (comme un modèle de langage massif) pour l'instant. C'est un outil spécifique pour analyser de courtes séquences de données (comme classifier si une critique est positive ou négative).
La « fuite » (décroissance) est une règle fixe et publique. Si l'IA devait modifier le taux de fuite en fonction d'un secret, la magie se briserait, et cela redeviendrait lent.

La Conclusion

Cet article prouve qu'en changeant la façon dont l'IA « se souvient » des choses — en passant du « mélange de deux secrets lourds » au « laisser fuir un secret et ajouter une petite goutte » — nous pouvons rendre l'IA secrète beaucoup plus rapide et plus pratique. C'est une astuce d'ingénierie ingénieuse qui maintient la promesse de la confidentialité tout en éliminant le fardeau lourd des mathématiques.

Résumé Technique : Modèles d'État d'Espace Homomorphes à Décroissance Publique pour l'Inférence Privée de Séquences

1. Formulation du Problème

L'article aborde le coût computationnel élevé de l'inférence de séquences sous Chiffrement Homomorphe Complet (FHE). Bien que le FHE permette une inférence privée où un client chiffre les entrées et un serveur évalue des modèles sur des textes chiffrés, les modèles de séquence standards font face à des contraintes sévères. Les opérations courantes dans les réseaux de neurones en clair — telles que les activations non polynomiales, le softmax, la normalisation de couche et l'attention à l'échelle du contexte — deviennent des contraintes système de premier ordre sous FHE en raison de la profondeur multiplicative, des coûts de rotation et de la matérialisation des textes chiffrés.

Plus précisément, l'article identifie un goulot d'étranglement dans la récurrence sélective chiffrée. Dans un bloc récursif naïf chiffré (par exemple, un GRU ou un LSTM chiffré), la mise à jour de l'état implique généralement de multiplier une porte dépendante de l'entrée et chiffrée par un état transmis chiffré ( $h_t = g_A(x_t) \cdot h_{t-1} + \dots$ ). Cette multiplication texte-chiffré par texte-chiffré consomme de la profondeur multiplicative à chaque pas de temps, épuisant rapidement le budget de bruit disponible et nécessitant des opérations coûteuses de réamorçage (bootstrapping) ou de rafraîchissement.

2. Méthodologie : HSSM à Décroissance Publique

Les auteurs proposent des Modèles d'État d'Espace Homomorphes à Décroissance Publique (HSSM), un bloc récursif/d'espace d'état conçu pour éviter la multiplication texte-chiffré par texte-chiffré sur le chemin de transmission récursive.

Mécanisme Central : La conception fixe le coefficient de décroissance récursive ( $a$ ) comme étant public/en clair. L'équation de mise à jour de l'état est :
$h_t = a \cdot h_{t-1} + g(x_t) \cdot u(x_t)$
Ici, $h_t$ est l'état chiffré, $a$ est un scalaire public, et $g(x_t)u(x_t)$ représente le chemin d'écriture local.
Réduction de la Profondeur : En rendant le terme de transmission ( $a \cdot h_{t-1}$ ) une opération texte-chiffré par texte-en-clair, l'article élimine la croissance de la profondeur multiplicative associée à la transmission récursive. La seule multiplication texte-chiffré par texte-chiffré se produit dans le chemin d'écriture local ( $g \cdot u$ ), qui est borné et local au pas de temps courant.
Architecture Système :
- Côté Client : Gère la tokenisation, la recherche figée dans fastText, la projection aléatoire normalisée par l'entraînement, le recadrage (clipping), le chiffrement, le déchiffrement et le seuillage.
- Côté Serveur : Reçoit des caractéristiques projetées bornées et chiffrées. Il effectue des projections affines publiques, évalue des polynômes de porte/d'écriture chiffrés de faible degré, réalise la multiplication d'écriture locale, et agrège l'état en utilisant la décroissance publique.
- Contraintes : Les paramètres du modèle (poids, décroissance, projections) sont publics. Le serveur observe les métadonnées (longueur de séquence, formes d'opérations) mais pas les données chiffrées ni les clés secrètes.

3. Contributions Clés

L'article apporte quatre contributions principales :

Spécification Architecturale : Définit le bloc HSSM minimal avec une invariante de décroissance publique, séparant explicitement le prétraitement côté client de l'évaluation homomorphe côté serveur.
Comparaison Symbolique : Oppose le HSSM à l'inférence chiffrée de type transformeur et à la récurrence sélective chiffrée naïve. Il démontre que le HSSM maintient un état chiffré de taille fixe et évite l'accumulation de profondeur multiplicative de la récurrence naïve.
Validation Empirique : Rapporte des artefacts FHE réels sur les backends OpenFHE (CPU) et FIDESlib (CUDA). Cela inclut des traces de niveaux correspondants montrant un comportement de bruit cohérent entre les backends et des mesures sur GPU L40S.
Qualité de la Tâche vs Coût Système : Sépare la précision de la tâche de la latence système. Il valide l'approche en utilisant un flux de travail fastText réparé (évitant les caractéristiques "jouets") et compare le HSSM à des mécanismes d'attention polynomiale compatibles avec le chiffrement homomorphe (HE).

4. Résultats Expérimentaux

L'évaluation se concentre sur les ensembles de données d'analyse de sentiments Rotten Tomatoes et SST-2 en utilisant une interface de caractéristiques bornées (512 scalaires projetés par exemple).

Précision : Le chemin HSSM chiffré correspond exactement aux classifications en clair, atteignant une précision de 0,7505 sur Rotten Tomatoes et 0,7420 sur SST-2.
Latence et Efficacité :
- Par rapport à l'attention polynomiale sur séquence complète, le HSSM est environ 5 fois plus rapide (par exemple, ~15 ms contre ~75 ms pour l'évaluation) tout en égalant ou dépassant la qualité de la tâche.
- Par rapport à l'attention polynomiale sur le dernier token mis en cache, le HSSM affiche une latence inférieure de 1,34 à 1,62 fois sur des contextes plus longs (T=16, 32) et maintient une empreinte d'état chiffré logique plus petite.
Utilisation des Ressources :
- Mémoire : Le HSSM conserve un seul texte chiffré d'état chiffré quelle que soit la longueur de la séquence ( $T$ ), tandis que l'attention polynomiale nécessite $O(T)$ ou $O(T^2)$ textes chiffrés pour les caches et les scores matérialisés. Des tests de stress montrent que le HSSM termine des séquences jusqu'à $T=36$ sur un GPU L40S, tandis que l'attention quadratique matérialisée échoue à $T=36$ en raison d'erreurs de mémoire insuffisante.
- Profondeur : Le HSSM projeté réussit sous profondeur 8 / anneau 32768, tandis que le bloc d'attention Q/K/V chiffré comparable nécessite profondeur 10 / anneau 65536 pour réussir aux mêmes longueurs de séquence.
Bruit et Niveaux : Des traces correspondantes sur OpenFHE et FIDESlib confirment que le chemin HSSM étendu se termine au niveau final 3 avec un degré d'échelle de bruit de 2, sans invoquer de réamorçage pour le flux de travail à caractéristiques bornées.

5. Signification et Revendications

L'article affirme que le HSSM à décroissance publique est un motif de co-conception FHE pratique pour l'inférence de séquences chiffrées côté serveur à partir de caractéristiques projetées bornées.

Levier de Conception : La contribution centrale est la démonstration que le remplacement d'une porte de transmission dépendante de l'entrée et chiffrée par une décroissance publique/en clair est un levier mesurable pour réduire la pression sur le chemin de transmission chiffré.
Portée des Revendications : Les auteurs sont modestes quant à la portée. Ils ne revendiquent pas :
- La tokenisation homomorphe ou les recherches d'embeddings.
- Des poids de modèle privés (les poids sont publics).
- Un softmax exact, des blocs de transformeurs complets ou un service de modèle de langage à l'échelle de la production.
- Une sécurité contre des serveurs malveillants ou des attaques par canaux auxiliaires.
Conclusion : Les résultats établissent que pour l'inférence à caractéristiques bornées, le HSSM à décroissance publique offre un compromis concret : il atteint une utilité de tâche non triviale avec un calcul chiffré à état fixe, une latence inférieure à l'attention sur séquence complète, et une croissance d'état logique réduite, le tout tout en opérant dans un budget de profondeur FHE gérable sans réamorçage.