💻 computer science

Structured State-Space Regularization for Compact and Generation-Friendly Image Tokenization

Cet article propose un nouveau régularisateur inspiré des modèles d'espace d'état (SSM) pour aligner les espaces latents des tokeniseurs d'images sur les objectifs de compacité et de facilité de génération, améliorant ainsi la qualité des modèles de diffusion tout en préservant la fidélité de reconstruction.

Auteurs originaux : Jinsung Lee, Jaemin Oh, Namhun Kim, Dongwon Kim, Byung-Jun Yoon, Suha Kwak

Publié 2026-04-15

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jinsung Lee, Jaemin Oh, Namhun Kim, Dongwon Kim, Byung-Jun Yoon, Suha Kwak

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎨 Le Problème : L'Artiste et son Carnet de Croquis

Imaginez que vous voulez apprendre à un ordinateur à dessiner de magnifiques paysages. Pour cela, il utilise un tokenizer (un traducteur). Son travail est double :

Compresser : Il doit prendre une photo géante et complexe (des millions de pixels) et la résumer en un petit carnet de croquis (un "espace latent") pour que l'ordinateur puisse travailler vite.
Générer : Il doit ensuite permettre à l'ordinateur de recréer une image parfaite à partir de ce carnet.

Le problème actuel, c'est que ces carnets de croquis sont souvent mal faits. Soit ils sont trop gros (l'ordinateur est lent), soit ils sont trop abstraits (l'ordinateur a du mal à deviner comment les couleurs et les formes s'assemblent pour faire une belle image). C'est comme si l'artiste avait un carnet où les lignes sont floues ou mal rangées : il a du mal à peindre la suite.

💡 La Solution : La "Régularisation par l'État d'Esprit"

Les auteurs de cette étude ont eu une idée brillante : copier le fonctionnement d'un type de cerveau mathématique très efficace appelé "Modèle d'Espace d'État" (SSM).

Pour faire simple, ces modèles mathématiques ont une super-pouvoir : ils sont très sensibles aux fréquences.

Imaginez une image comme une musique.
Les basses fréquences sont le rythme lent, les grandes formes, le ciel, les montagnes (le fond).
Les hautes fréquences sont les notes aiguës, les détails, les textures, les poils d'un chat, les bords nets (les détails).

Les modèles SSM savent naturellement séparer ces deux choses. Ils savent que pour comprendre une chanson, il faut d'abord entendre la mélodie (basses fréquences) avant de s'occuper des petits détails (hautes fréquences).

⚙️ Comment ça marche ? (L'analogie du Flou Artistique)

Pour enseigner cette compétence aux "traducteurs d'images" (les tokenizers), les chercheurs ont inventé une nouvelle règle d'entraînement qu'ils appellent la Régularisation par l'État d'État Structuré.

Voici l'analogie du Flou Progressif :

L'Expérience : Imaginez que vous prenez une photo nette. Ensuite, vous appliquez un flou de plus en plus fort, comme si vous regardiez la photo à travers une vitre de plus en plus sale.
La Règle : Normalement, quand une image devient floue, elle perd ses détails (les hautes fréquences) mais garde sa structure globale (les basses fréquences).
L'Enseignement : Les chercheurs disent au tokenizer : "Quand tu transformes l'image floue en ton petit carnet de croquis, tu dois suivre une règle précise. Si l'image perd du détail, ton carnet doit perdre exactement la même quantité de détails, de manière mathématique et ordonnée."

Ils ont créé une formule magique (une équation basée sur la physique de la chaleur et du flou) qui force le tokenizer à organiser son carnet de croquis par ordre de fréquence.

Les premières pages du carnet contiennent les grandes formes (le ciel, les arbres).
Les dernières pages contiennent les détails fins (les feuilles, les textures).

🚀 Le Résultat : Un Artiste Plus Intelligent

Grâce à cette méthode, le tokenizer devient un "compagnon idéal" pour les générateurs d'images (comme ceux qui créent des images avec l'IA).

Avant : L'ordinateur devait deviner comment assembler les pièces du puzzle, ce qui prenait du temps et donnait parfois des résultats bizarres.
Après : L'ordinateur sait exactement où chercher. Il commence par dessiner les grandes formes (les basses fréquences) puis ajoute les détails (les hautes fréquences), exactement comme un peintre professionnel.

En résumé :
Cette recherche a permis de transformer un simple compresseur d'images en un organisateur intelligent. En forçant l'ordinateur à classer les informations de l'image du "plus gros" au "plus fin" (comme une partition de musique), ils ont obtenu des images générées beaucoup plus belles et réalistes, sans perdre de temps ni de qualité lors de la compression.

C'est comme si on avait donné à l'ordinateur un règle de tri magique qui lui permet de mieux comprendre la structure du monde, rendant la création d'images plus fluide et plus naturelle.

1. Problématique et Contexte

Les modèles de vision modernes, en particulier les modèles génératifs (comme les modèles de diffusion) et les modèles de représentation, reposent de plus en plus sur des espaces latents appris via des tokeniseurs d'images (autoencodeurs). L'objectif est de remplacer l'espace des pixels haute dimension par un espace latent plus compact et sémantiquement riche.

Cependant, un dilemme fondamental existe dans la conception de ces tokeniseurs :

Compacité et Fidélité de Reconstruction : Le latent doit compresser efficacement l'image tout en préservant les informations essentielles pour une reconstruction fidèle.
Propice à la Génération (Generation-Friendly) : L'espace latent doit être facile à modéliser par des générateurs (ex: modèles de diffusion). Il a été observé que les espaces latents optimisés uniquement pour la reconstruction peuvent parfois dégrader la qualité de la génération.

L'article identifie que les espaces latents idéaux devraient posséder une conscience fréquentielle (frequency awareness), c'est-à-dire une structure où les composantes basse fréquence (structure globale) et haute fréquence (textures, détails) sont bien séparées et organisées hiérarchiquement, mimant ainsi la façon dont les modèles génératifs synthétisent les images (du flou aux détails).

2. Méthodologie Proposée

Les auteurs proposent une nouvelle méthode de régularisation appelée Structured State-Space Regularization (SSR). L'idée centrale est de guider le tokeniseur à imiter la dynamique des états cachés des Modèles d'Espace d'État (SSM - State-Space Models), connus pour leur capacité intrinsèque à décomposer les signaux en bandes de fréquences.

A. Vue Généralisée des SSM

Les auteurs reformulent les SSM non pas comme de simples modèles de séquences, mais comme une combinaison de deux composants :

Projection de Base ( $c(\cdot)$ ) : Projection du signal d'entrée sur une base de fonctions orthogonales (ex: bases de Fourier, polynômes orthogonaux).
Transformation d'Entrée ( $\theta(\cdot)$ ) : Une transformation appliquée à l'entrée au fil du temps.

Dans les SSM classiques, la dynamique de l'état caché est dérivée de l'évolution des coefficients de cette projection sous une transformation spécifique.

B. Application à la Tokenisation d'Images

Pour appliquer cela aux images, les auteurs définissent :

La Projection ( $c$ ) : Une projection de l'image sur une base de fonctions orthogonales 2D (ex: Bases de Fourier). Les coefficients $c_n$ représentent les composantes fréquentielles de l'image.
La Transformation ( $\theta$ ) : Un processus de flou gaussien progressif. En appliquant un flou gaussien croissant à une image, on élimine progressivement les hautes fréquences.

C. Dérivation de la Règle de Mise à Jour

En exploitant la relation mathématique entre le flou gaussien et l'équation de la chaleur, les auteurs dérivent une équation différentielle décrivant l'évolution des coefficients de base $c(I_\tau)$ en fonction du temps de flou $\tau$ :
$\frac{d}{d\tau} \mathbf{c}(I_\tau) = \mathbf{A} \mathbf{c}(I_\tau)$
Où $\mathbf{A}$ est une matrice de transition dépendant de la base choisie (ex: diagonale pour Fourier). Après discrétisation, cela donne une règle de mise à jour linéaire :
$\mathbf{c}(I_t) = \bar{\mathbf{A}} \mathbf{c}(I_{t-1})$

D. La Fonction de Régularisation

Au lieu d'entraîner un SSM pur, ils imposent cette dynamique au réseau encodeur $\mathcal{E}$ du tokeniseur.
Pour deux images floues $I_{\tau_1}$ et $I_{\tau_2}$ (avec $\tau_2 > \tau_1$ ), l'encodeur devrait satisfaire :
$\mathcal{E}(I_{\tau_2}) \approx \bar{\mathbf{A}} \mathcal{E}(I_{\tau_1})$

La fonction de perte de régularisation est définie comme :
$\mathcal{L}_{reg} = d_z(\mathbf{z}_2, \bar{\mathbf{A}}\mathbf{z}_1) + d_I(\mathcal{D}(\bar{\mathbf{A}}\mathbf{z}_1), I_{\tau_2})$
Où $\mathbf{z} = \mathcal{E}(I)$ .

Astuce d'implémentation : Pour éviter que les normes des latents ne s'effondrent vers zéro (car le flou réduit l'énergie du signal), les auteurs régularisent la version centrée spatialement des latents ( $\mathcal{C}(\mathbf{z})$ ), c'est-à-dire en soustrayant la moyenne spatiale.

3. Contributions Clés

Nouvelle Régularisation Théorique : Introduction d'une fonction de perte qui force les latents à suivre la dynamique des coefficients de base d'un SSM, transférant ainsi la propriété de "conscience fréquentielle" aux tokeniseurs.
Cadre Théorique Unifié : Première formulation théorique reliant les principes des SSM (généralement utilisés pour les séquences 1D) à la tokenisation d'images 2D via la projection sur des bases orthogonales et le flou gaussien.
Amélioration de la Génération : Démonstration que cette régularisation améliore significativement la qualité de génération des modèles de diffusion tout en maintenant une fidélité de reconstruction élevée.

4. Résultats Expérimentaux

Les expériences ont été menées sur ImageNet-1K en utilisant deux tokeniseurs populaires : Flux (ratio 8x) et Cosmos (ratio 16x).

Performance de Génération : La méthode proposée surpasse les méthodes de l'état de l'art (comme EQVAE et FT-SE) sur les métriques de génération (gFID, sFID, IS).
- Exemple (Flux) : Le gFID passe de 16.08 (Flux de base) à 13.33 avec la méthode proposée, contre 13.95 pour EQVAE.
Performance de Reconstruction : La perte de qualité de reconstruction est minime.
- Exemple (Flux) : Le PSNR reste très élevé (31.55 vs 31.70 pour la base), et le rFID (FID de reconstruction) est faible (0.91).
Analyse des Structures Latentes :
- Les visualisations montrent que les canaux latents apprennent à encoder des bandes de fréquences spécifiques.
- En désactivant sélectivement les canaux (du bas vers le haut en fréquence), on observe une reconstruction progressive de l'image (de la structure globale aux détails), confirmant que la régularisation a bien induit une hiérarchie fréquentielle.
- La dynamique des latents suit une fonction exponentielle cohérente avec la théorie des coefficients de Fourier sous flou gaussien.

5. Signification et Impact

Cet article établit un pont important entre deux domaines a priori distincts : les Modèles d'Espace d'État (SSM) et les Tokeniseurs d'Images.

Nouvelle Perspective : Il suggère que la "conscience fréquentielle" inhérente aux SSM est une propriété souhaitable pour les espaces latents de la vision, car elle correspond à la manière naturelle dont les images sont structurées et dont les modèles génératifs apprennent à les synthétiser.
Efficacité : La méthode offre un compromis optimal (trade-off) entre la capacité de reconstruction et la facilité de génération, résolvant partiellement le dilemme "Reconstruction vs Génération" souvent rencontré dans les VAEs.
Futur : Cela ouvre la voie à l'intégration de principes de modélisation par espace d'état dans d'autres architectures de représentation visuelle et de génération, au-delà des simples modèles de séquence.

En résumé, la Structured State-Space Regularization est une technique élégante qui utilise la physique du flou gaussien et la théorie des bases orthogonales pour structurer l'espace latent, rendant les tokeniseurs plus efficaces pour les tâches de génération moderne.