Résumé Technique : Modèles de Protocole Inextractables (MPIs)

1. Énoncé du Problème

L'article aborde les défis économiques et sécuritaires liés à l'entraînement décentralisé de grands modèles de base. Bien que les systèmes décentralisés permettent de mutualiser des ressources de calcul distribuées pour entraîner des modèles massifs, ils font face à un problème critique d'"appropriabilité" : si les poids complets du modèle sont accessibles aux participants, les contributeurs ne peuvent pas récupérer leurs coûts d'entraînement car le modèle peut être extrait et utilisé en dehors du protocole.

Les approches décentralisées actuelles (par exemple, la parallélisation des données ou la parallélisation de pipeline standard) exigent souvent que les participants détiennent des répliques complètes du modèle ou permettent la reconstruction des poids complets au fil du temps. Cela conduit à une matérialisation des poids, où un attaquant (ou une coalition) peut éventuellement accéder à tous les fragments du modèle à différents pas de temps pour reconstruire un modèle fonctionnel et extractible. L'article soutient que pour que l'entraînement décentralisé soit économiquement viable, le modèle doit être inextractible, garantissant qu'aucun participant ne possède jamais l'ensemble complet des poids et que les poids collectés à différents moments ne peuvent être assemblés pour former un modèle cohérent.

2. Méthodologie : Modèles de Protocole Inextractables (MPIs)

Les auteurs proposent les Modèles de Protocole Inextractables (MPIs), un cadre qui exploite la parallélisation de pipeline (PP) pour imposer l'inextractibilité des poids sans recourir à des primitives cryptographiques lourdes.

Mécanisme Central : Transformations Inversibles Variables dans le Temps

L'innovation centrale est l'injection périodique de transformations aléatoires et inversibles aux frontières entre les étapes du pipeline.

• Configuration : Le modèle est fragmenté en $S$ étapes de pipeline séquentielles. Les participants ne détiennent et ne traitent qu'une seule étape à la fois.
• Morphing : À des pas de temps spécifiques, le protocole introduit une fonction identité entre les étapes adjacentes $f_i$ et $f_{i+1}$, décomposée en une transformation aléatoire $T$ et son inverse $T^{-1}$.
  • La transformation $T$ est intégrée dans les poids de sortie de l'étape $i$ ($V_i \leftarrow V_i T$).
  • L'inverse $T^{-1}$ est intégré dans les poids d'entrée de l'étape $i+1$ ($U_{i+1} \leftarrow T^{-1} U_{i+1}$).
• Nature Éphémère : Les transformations sont jetées immédiatement après intégration. Elles n'existent que dans les poids.
• Incompatibilité : Bien que la fonction du réseau de bout en bout reste mathématiquement identique à tout pas de temps unique $t$, les poids collectés à différents pas de temps ($t$ et $t'$) deviennent incompatibles. L'assemblage de $f_i(t)$ avec $f_{i+1}(t')$ échoue car l'espace d'activation intermédiaire a été transformé par $T(t)$, tandis que l'étape suivante attend l'espace transformé par $T(t')$. Reconstruire le modèle nécessite de deviner la "matrice de pont" de toutes les transformations intermédiaires, ce qui est computationnellement impossible.

Gestion des Composants Architecturaux

L'article détaille comment appliquer ces transformations à divers composants de réseaux de neurones tout en préservant la fonctionnalité :

• Sous-fonctions Valides : La méthode s'applique aux sous-fonctions de la forme $g(X) = \Phi(XU)V$. Les transformations sont appliquées à $U$ et $V$.
• Connexions Résiduelles : Dans les Transformers, les connexions résiduelles imposent naturellement une incompatibilité totale. La transformation appliquée à la connexion résiduelle dépend à la fois des transformations de frontière entrantes et sortantes, empêchant un attaquant de partitionner l'étape en ensembles de poids indépendants.
• Couches de Normalisation (RMSNorm) : Comme la normalisation est non linéaire, l'intégration standard est difficile. Les auteurs proposent d'introduire une matrice d'accumulation $Q$ dans la couche de normalisation et d'absorber les poids de mise à l'échelle dans la couche linéaire suivante. Cela permet d'intégrer les transformations dans $Q$ et les poids linéaires tout en préservant la propriété RMSNorm grâce à l'orthogonalité de $Q$ initiale.
• Classes de Transformations : Pour assurer la stabilité numérique et la résistance aux attaques par force brute, les auteurs utilisent :
  • Matrices Orthogonales de Haar : Valeurs singulières unitaires, erreur numérique minimale et aléatoire uniforme.
  • Matrices à Nombre de Conditionnement Faible : Matrices de la forme $UDV^T$ avec des valeurs singulières contrôlées pour introduire des perturbations haute fréquence tout en bornant l'erreur d virgule flottante.

Ajustements pour l'Entraînement et l'Inférence

• Entraînement : Le cadre nécessite une gestion spécifique des gradients. Si les poids se transforment comme $W(T) = WT$, les gradients se transforment comme $G(T) = GT^{-T}$. Les auteurs utilisent l'optimiseur Muon, qui ne repose que sur le premier moment des gradients, permettant aux étapes de mise à jour de rester cohérentes avec le modèle non transformé lors de l'utilisation de transformations orthogonales.
• Inférence : Pour atténuer l'accumulation d'erreurs de virgule flottante due à l'intégration répétée de transformations, le système stocke des poids haute précision (FP64) sur disque. À chaque étape de morphing, les transformations sont appliquées à la copie haute précision, converties en basse précision (par exemple, FP16/BF16), puis chargées dans la VRAM du GPU.

3. Contributions Clés

1. Introduction du Cadre : La proposition des MPIs, un cadre d'entraînement et d'inférence permettant un service de modèle collaboratif sans permettre à aucun participant d'extraire l'ensemble complet des poids.
2. Analyse Théorique : Une analyse approfondie des architectures (Transformers, MLP, RNN) compatibles avec les MPIs, des exigences pour les transformations (aléatoire, inversibilité, nombre de conditionnement) et de la preuve mathématique montrant comment ces transformations rendent les assemblages inter-temporels incohérents.
3. Résistance aux Attaques :
   • Extraction Directe : Démonstration que la probabilité pour un attaquant d'accéder à toutes les étapes dans une fenêtre de temps courte est négligeable, en particulier avec une "incompatibilité totale" (connexions résiduelles).
   • Attaques par Assemblage : Démonstration que la résolution des matrices de pont via les activations intermédiaires est impraticable en raison de l'exigence d'entrées identiques à travers les pas de temps, ce qui est facilement défendu par des vérifications de distribution.
   • Attaques Basées sur l'Apprentissage : Démonstration empirique que le fine-tuning d'un modèle "assemblé" (poids provenant de différents pas de temps) nécessite $\ge 60\%$ des ressources de calcul nécessaires pour entraîner le modèle à partir de zéro, préservant ainsi la viabilité économique du protocole.
4. Validation Empirique : Expériences extensives sur les modèles Qwen-2.5-0.5B et Llama-3.2-1B.

4. Résultats

• Équivalence Fonctionnelle : Sur Qwen-2.5-0.5B et Llama-3.2-1B, l'application de 10 000 étapes de morphing avec des transformations orthogonales a entraîné une dégradation de performance négligeable ($\Delta PPL < 0,01$ ; dérive Jensen–Shannon $< 4 \times 10^{-5}$) en FP32. Avec la solution de contournement haute précision, la stabilité a été maintenue en FP16 et BF16.
• Surcharge :
  • Inférence : L'application d'une transformation toutes les 30 secondes ajoute environ 3 % de latence, 0,1 % de bande passante et 10 % de surcharge mémoire GPU.
  • Entraînement : La surcharge est minimale, ajoutant 1,6 % de temps et <1 % de surcharge mémoire, car le passage arrière domine les coûts.
• Faisabilité des Attaques :
  • Assemblage : Le fine-tuning d'un modèle Llama 3.2-1B assemblé a nécessité environ 60 % des tokens nécessaires pour un entraînement à partir de zéro pour atteindre la même perplexité.
  • Ratio d'Exclusion : Même avec un accès à tous les poids incompatibles, le ratio d'exclusion (calcul requis pour attaquer par rapport à l'entraînement à partir de zéro) reste élevé ($\ge 0,6$), rendant l'attaque économiquement non viable pour la plupart des coalitions.

5. Signification et Revendications

L'article revendique que les MPIs résolvent la contradiction entre l'entraînement collaboratif et le secret des poids. En liant la valeur du modèle au protocole plutôt qu'à des poids statiques, les MPIs rendent pratique l'intégration de mécanismes d'incitation programmatiques dans un entraînement décentralisé piloté par la communauté.

• Viabilité Économique : Le cadre garantit que l'"exclusion" du modèle est maintenue, permettant de rémunérer les contributeurs pour leur calcul sans risque que le modèle soit volé et utilisé librement.
• Compatibilité Open Source : Les MPIs permettent aux architectures de modèles, aux hyperparamètres et aux jeux de données de rester open source tout en maintenant les poids inextractibles.
• Décentralisation Sans Confiance : Le système évolue vers un entraînement totalement sans confiance et inextractible, positionnant les MPIs comme un pilier technique pour une IA ouverte et décentralisée.

Les auteurs reconnaissent des limites, notant que la sécurité repose sur une majorité honnête de participants et que les évaluations actuelles sont limitées à des simulations sur une seule machine, excluant les attaques par canal auxiliaire réelles (temporelles, cache). Ils notent également que l'impossibilité d'inspecter les poids pourrait entraver les évaluations de sécurité, suggérant qu'une surveillance par des parties prenantes diversifiées est nécessaire pour atténuer ce risque.