🤖 machine learning

Kilobyte Models: Neural Networks as a Seed and a Quantized Latent

Cet article introduit les « Kilobyte Models », une technique de compression qui stocke les réseaux de neurones sous la forme d'un vecteur latent quantifié compact et d'une graine entière reproductible au lieu de poids complets, permettant une efficacité de stockage extrême tout en maintenant une précision comparable à une quantification agressive des poids.

Auteurs originaux : Sahil Rajesh Dhayalkar

Publié 2026-08-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sahil Rajesh Dhayalkar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'envoyer un plan massif et complexe pour un robot à un ami à l'autre bout du monde. Le plan est si volumineux qu'il prendrait des jours à être envoyé par la poste, et la boîte aux lettres de votre ami est minuscule. Dans le monde de l'intelligence artificielle, ces « plans » sont appelés réseaux de neurones, et ils sont les cerveaux derrière tout, des filtres photo aux voitures autonomes. Habituellement, pour envoyer un cerveau, vous devez envoyer chaque nombre qui le fait fonctionner — des millions, voire des milliards d'entre eux. C'est un problème majeur pour les appareils comme les montres connectées ou les téléphones qui ont un espace de stockage limité ou des connexions internet lentes.

Pendant longtemps, les scientifiques ont essayé de résoudre cela en réduisant la taille des nombres eux-mêmes (en les rendant moins précis) ou en supprimant ceux qui semblaient moins importants. Mais il y a une autre façon de voir les choses : au lieu d'envoyer tout le plan, et si vous n'envoyiez qu'une petite « recette » ou un code secret ? Si votre ami possède un ensemble d'outils standard (un générateur aléatoire) et la recette, il peut reconstruire exactement le même robot dans sa propre cuisine. Cette idée repose sur le fait que ces cerveaux d'IA n'ont pas réellement besoin de milliards de nombres uniques pour fonctionner ; ils se cachent souvent dans un espace beaucoup plus petit et plus simple. La grande question est : pouvons-nous réduire un cerveau d'IA géant à la taille de quelques SMS sans perdre son intelligence ?

Ce document présente une nouvelle méthode ingénieuse appelée « Kilobyte Models » (Modèles de Kilooctets) qui tente de faire précisément cela. Au lieu de stocker les poids réels (les nombres qui font réfléchir l'IA), l'auteur propose de stocker seulement deux petites choses : une « graine » aléatoire (comme un nombre de départ pour un jeu) et un vecteur « latent » très court et compressé (une petite liste d'instructions). Lorsque l'IA doit fonctionner, l'appareil utilise la graine pour régénérer l'immense « échafaudage » aléatoire dont il a besoin, puis utilise la petite liste d'instructions pour ajuster cet échafaudage afin d'obtenir le cerveau final.

Les chercheurs ont découvert que cette approche fonctionne étonnamment bien. Dans leurs expériences, ils ont réussi à réduire un réseau de neurones à seulement quelques kilo-octets — environ la taille d'un court SMS — tout en restant presque aussi intelligent que l'original. Par exemple, ils ont compressé un modèle qui reconnaît les chiffres écrits à la main (MNIST) en seulement 2 Ko, et il a toujours donné les bonnes réponses à 98,6 % des cas. Plus impressionnant encore, ils ont montré que cette méthode est bien meilleure pour gérer la compression extrême que les méthodes traditionnelles. Alors qu'un modèle d'IA standard pourrait planter et devenir inutile si vous essayiez de le réduire à 4 bits (une quantité de données très faible), leur « Kilobyte Model » est resté robuste et précis.

Le document a également exploré l'utilisation de cela comme un « delta » ou une mise à jour minuscule pour une IA géante pré-entraînée. Imaginez que vous avez une IA super intelligente qui connaît tout sur les animaux, et que vous voulez qu'elle apprenne spécifiquement sur les chats. Au lieu d'envoyer tout le nouveau cerveau, vous envoyez simplement un « patch » de 4 Ko (la graine et le petit vecteur latent) qui indique au cerveau géant comment déplacer son attention. Ce patch était des milliers de fois plus petit que le modèle complet, mais permettait tout de même à l'IA d'apprendre la nouvelle tâche efficacement.

Cependant, l'auteur prend soin de noter que ce n'est pas une baguette magique pour tout. La méthode fonctionne mieux lorsque la « recette » (le vecteur latent) est assez grande pour contenir les instructions nécessaires ; si la tâche est trop difficile ou la recette trop petite, l'IA devient un peu confuse. De plus, bien que le fichier que vous envoyez soit minuscule, l'ordinateur doit quand même reconstruire le cerveau complet dans sa mémoire pour le faire fonctionner, donc cela ne rend pas l'ordinateur plus rapide, juste plus facile à transporter. Enfin, cette astuce fonctionne actuellement pour les réseaux d'IA standards, mais elle n'a pas encore été testée sur les « Large Language Models » (Grands Modèles de Langage) massifs qui alimentent les chatbots.

En résumé, le document suggère qu'en échangeant le stockage de millions de nombres contre une graine minuscule et une courte liste d'instructions, nous pouvons faire tenir des cerveaux d'IA puissants dans des espaces aussi petits que quelques kilo-octets. C'est comme réaliser que vous n'avez pas besoin d'envoyer toute la bibliothèque à un ami ; vous avez juste besoin de lui envoyer un numéro de livre spécifique et quelques notes, et il peut imprimer le livre exact dont il a besoin en utilisant sa propre imprimante.

Résumé Technique : Modèles Kilobyte

Énoncé du Problème

Les coûts de stockage et de transmission des réseaux de neurones entraînés augmentent linéairement avec leur nombre de paramètres, créant un goulot d'étranglement critique pour les déploiements à bande passante limitée tels que les appareils de bord (edge devices), les mises à jour par voie aérienne (over-the-air) et les adaptateurs à grande échelle. Bien que les techniques de compression standard (élagage, quantification, factorisation de rang faible, distillation) réduisent la description des tenseurs de poids, elles nécessitent toujours le stockage d'une partie significative de l'ensemble de paramètres originaux. L'auteur identifie la nécessité d'un paradigme de compression extrême où l'artefact déployable n'est pas les poids eux-mêmes, mais une « recette » compacte pour les régénérer.

Méthodologie

Le document introduit les Modèles Kilobyte, un cadre qui représente un réseau de neurones comme une graine entière déterministe et un court vecteur latent quantifié. Cette approche s'appuie sur les Réseaux de Cartographie (Mapping Networks) (Sen et Mukherjee 2026), qui expriment les poids du réseau comme une fonction non linéaire d'un vecteur latent compact et entraînable et d'une base aléatoire fixe.

Mécanisme Central

Reparamétrisation : Au lieu d'optimiser directement les poids $\theta$ , le modèle optimise un vecteur latent $z \in \mathbb{R}^d$ (où $d \ll P$ , et $P$ est le nombre total de paramètres). Les poids sont générés via une application $g(z)$ :
$g(z) = \sigma(W_0 z + \alpha \|z\|_2^2 \mathbf{1} + b_0)$
Ici, $W_0$ est une matrice de projection fixe, $b_0$ est un centre d'initialisation fixe, et $\sigma$ est une non-linéarité (tanh).
Régénération basée sur une Graine (Seed) : Les composants fixes ( $W_0$ et $b_0$ ) ne sont pas stockés. À la place, ils sont régénérés de manière déterministe à partir d'une graine entière $s$ en utilisant une base aléatoire reproductible par blocs. Cela permet au récepteur de reconstruire la matrice de projection complète sans la stocker, à condition de posséder la graine.
Composition de l'Artefact : L'artefact déployable $A$ $A$ se compose de :
- Graine ( $s$ ) : Un entier de 64 bits (8 octets) utilisé pour régénérer la base.
- Latent Quantifié ( $Q_b(z^*)$ ) : Le vecteur latent entraîné, quantifié à $b$ bits.
- Paramètres de Normalisation ( $\theta_{norm}$ ) : Un petit ensemble de paramètres affines de normalisation (échelle/décalage) stockés textuellement, car ils se situent en dehors de la plage de l'application de génération.
Génération de Base Évolutive : Pour gérer les réseaux où la matrice de projection dépasse la mémoire de l'appareil, l'auteur emploie une stratégie de génération par blocs, la matrice étant construite ligne par ligne à l'aide d'un générateur pseudo-aléatoire amorcé par une combinaison de la graine maîtresse et de l'indice du bloc, évitant ainsi la matérialisation complète de la matrice.
Affinage (Fine-Tuning) comme Delta : Le cadre s'étend à l'affinage en traitant le vecteur latent comme un adaptateur compressé. L'application génère un déplacement à partir d'une base pré-entraînée gelée ( $\theta_{ft} = \theta_{pre} + W_0 z$ ), ne nécessitant que la transmission de la graine et du delta quantifié.

Régimes d'Entraînement

Entraînement à Vecteur Latent Unique (SLVT) : Un seul vecteur latent génère tous les paramètres.
Entraînement par Couche (LWT) : Des vecteurs latents distincts sont assignés à chaque couche, permettant un contrôle plus fin et une allocation du budget latent proportionnelle à la difficulté de la couche.
Stratégies de Quantification : Le document évalue à la fois la Quantification Post-Entraînement (PTQ) et la Quantification Sensible à l'Entraînement (QAT), où le latent est affiné avec un arrondi simulé pour survivre à une réduction agressive de la largeur de bits.

Contributions Clés

Formalisation du Modèle Kilobyte : L'auteur définit un artefact déployable dont la taille est déterminée par la dimension latente $d$ et la largeur de bits $b$ plutôt que par le nombre de paramètres $P$ , formalisant ainsi le compromis entre stockage et capacité.
Base Semée Évolutive : Introduction d'une base aléatoire reproductible par blocs qui permet la régénération des poids pour de grands réseaux sans nécessiter que la matrice de projection réside en mémoire.
Adaptation pour l'Affinage : Extension de la paramétrisation pour créer des adaptateurs de taille kilobyte pour des modèles pré-entraînés, offrant une alternative hyper-compressée aux méthodes standard d'apprentissage efficace en paramètres.
Validation Empirique : Démonstration que les modèles Kilobyte peuvent égaler la précision des réseaux agressivement quantifiés tout en occupant une fraction de l'espace de stockage.

Résultats Expérimentaux

L'auteur a évalué l'approche sur des réseaux de neurones convolutifs (CNN), des LSTM et des perceptrons multicouches (MLP) à travers divers jeux de données (MNIST, FashionMNIST, Beijing Air Quality, HIGGS, Covertype, Oxford-II-Pets).

Compression Extrême : Un modèle mappé à 4 bits a atteint 98,6 % de précision sur MNIST en utilisant seulement 2 Ko de stockage (une réduction de 26 $\times$ par rapport à une référence quantifiée).
Tâches de Régression : Sur une tâche de régression de séries temporelles, un modèle QAT à 4 bits a atteint une MSE de 0,00061 en utilisant seulement 140 octets, soit environ 370 $\times$ de moins que le modèle en pleine précision.
Efficacité de l'Affinage : Lors de l'affinage d'un ResNet-50 sur le jeu de données Oxford-II-Pets, un adaptateur QAT à 4 bits a atteint 88,4 % de précision en seulement 4 Ko. En revanche, un ResNet-50 complet compressé par PTQ à 4 bits s'est effondré à 2,9 % de précision.
Comparaison avec l'État de l'Art (SOTA) : L'adaptateur Kilobyte a surpassé VeRA (une méthode efficace en paramètres) pour des budgets de stockage stricts (4 Ko contre 13,9 Ko pour une précision similaire). Bien que LoRA et VeRA aient atteint une précision plus élevée avec des budgets de stockage plus importants (jusqu'à 0,6 Mo), le modèle Kilobyte a maintenu une performance supérieure dans le régime de stockage ultra-faible.
Impact de la Quantification : Il a été constaté que la Quantification Sensible à l'Entraînement (QAT) est cruciale pour maintenir la précision à de faibles largeurs de bits (4 bits), tandis que la Quantification Post-Entraînement (PTQ) souffre de chutes de performance significatives.

Signification et Revendications

Le document affirme que les modèles Kilobyte représentent une stratégie puissante pour les déploiements à bande passante limitée en découplant la taille de stockage d'un modèle de son nombre de paramètres. En transférant entièrement la charge de la compression vers un espace latent compact et en exploitant des bases aléatoires reproductibles, l'auteur démontre que les modèles peuvent être stockés et transmis en kilo-octets tout en conservant une précision élevée.

L'auteur positionne ce travail comme un complément, et non un remplacement, des techniques de compression standard. Alors que les méthodes standard réduisent les tenseurs de poids, les modèles Kilobyte évitent de représenter l'ensemble complet des poids lors de l'optimisation. Le cadre est particulièrement significatif pour les scénarios où la taille du stockage est la contrainte déterminante (par exemple, les mises à jour par voie aérienne pour les appareils de bord), offrant une réduction de 5 à 160 $\times$ de la taille de l'artefact par rapport à l'affinage complet ou aux méthodes standard d'apprentissage efficace en paramètres, bien qu'avec un léger compromis sur la précision pour les jeux de données complexes.

Limites Reconnues :

Calcul d'Inférence : La méthode ne compresse pas la latence d'inférence ni l'utilisation de la mémoire, car les poids sont régénérés sous forme de valeurs flottantes denses avant l'inférence.
Goulot d'Étranglement de Capacité : La précision est limitée par la dimension latente $d$ , entraînant de légers écarts de performance par rapport aux réseaux complets sur des jeux de données plus difficiles.
Dépendance : L'affinage nécessite que le modèle pré-entraîné de base soit présent sur l'appareil de déploiement.
Portée de l'Architecture : L'implémentation actuelle ne s'étend pas aux Transformers ou aux Grands Modèles de Langage (LLM).