🤖 machine learning

Structure over Pixels: Learning Variable-Length Visual Programs

L'article présente STROP, un tokenizer visuel discret qui apprend des programmes visuels de longueur variable pour capturer des représentations structurelles de scènes en optimisant une tête de longueur dédiée via un curriculum en quatre phases supervisé par des caractéristiques de haut niveau, contournant ainsi la reconstruction de pixels afin de privilégier la structure compositionnelle sur la texture.

Auteurs originaux : Piotr Wyrwiński, Kacper Dobek, Krzysztof Krawiec

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Piotr Wyrwiński, Kacper Dobek, Krzysztof Krawiec

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de décrire une scène complexe, comme un marché animé, à un ami via un message texte. Vous avez deux choix :

L'Ancienne Méthode : Vous envoyez une photo massive et non éditée. Elle est claire, mais elle met une éternité à se charger et ne dit pas à votre ami quoi regarder.
La Nouvelle Méthode (STROP) : Vous envoyez une courte liste de mots-clés de longueur variable. Si la scène est simplement un ciel bleu dégagé, vous envoyez un seul mot : « Ciel ». Si c'est un marché chaotique avec 20 personnes, des étals et des animaux, vous envoyez une liste plus longue : « Étal, Pomme, Chien, Enfant, Chapeau... »

Ce papier présente STROP, une nouvelle façon pour les ordinateurs de « lire » des images en les transformant en ces listes de mots-clés de longueur variable (appelées « programme visuel ») au lieu de simplement compresser des pixels.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème avec les « Tokeniseurs » Actuels

La plupart des compresseurs d'images actuels fonctionnent comme une grille de taille fixe. Imaginez que vous avez une photo et que l'ordinateur la force dans une grille de 64 carrés.

Si la photo est un mur blanc vide, l'ordinateur remplit quand même les 64 carrés avec des jetons « blanc ».
Si la photo est un stade bondé, l'ordinateur n'a toujours que 64 carrés pour travailler.
Il gaspille de l'espace sur les zones vides et manque d'espace pour les zones complexes. C'est comme essayer d'écrire un roman sur une carte postale ; soit vous omettez des détails, soit vous entassez tout de manière illisible.

2. La Solution STROP : Un « Script Intelligent »

STROP traite une image comme un script ou une recette qui peut être court ou long selon la scène.

Le Générateur (L'Auteur) : Il regarde l'image et décide : « Cette scène est simple ; j'ai besoin de seulement 10 mots pour la décrire. » Ou : « Cette scène est désordonnée ; j'ai besoin de 40 mots. »
L'Interprète (Le Lecteur) : Il prend ces mots et reconstruit la compréhension de l'image.
La Tête de Longueur : C'est une partie spéciale de l'IA qui agit comme un manager. Elle regarde l'image et dit immédiatement : « Arrête d'écrire après le jeton numéro 15 », ou « Continue jusqu'au jeton 40 ». Elle apprend à adapter la longueur du script à la complexité de la scène.

3. Comment Elle Apprend : Le « Programme d'Entraînement en Quatre Phases »

L'IA ne s'est pas réveillée en sachant faire cela. Les auteurs l'ont enseignée en utilisant un camp d'entraînement en quatre étapes :

Phase 1 (Troncature Aléatoire) : L'IA est forcée d'écrire des scripts de longueurs aléatoires. Cela lui apprend que les informations les plus importantes doivent être écrites en premier (en tête), tout comme une bonne accroche.
Phase 2 (L'Oracle) : L'ordinateur détermine secrètement la « longueur parfaite » pour chaque image en testant différentes longueurs et en voyant laquelle fonctionne le mieux. Il ne le dit pas encore à l'IA ; il se contente de collecter les réponses.
Phase 3 (Apprentissage Supervisé) : Maintenant, le « Manager » de l'IA (la Tête de Longueur) se voit montrer les réponses « parfaites » de la Phase 2 et apprend à les prédire.
Phase 4 (Le Transfert) : L'IA commence à utiliser ses propres prédictions au lieu de celles aléatoires, prenant progressivement le contrôle total.

4. L'Ingrédient Secret : La « Distillation de Caractéristiques »

La plupart des compresseurs d'images tentent de recréer les pixels exacts (les couleurs et les textures) de la photo originale. STROP ignore les pixels.
Au lieu de cela, elle tente de recréer la « compréhension » de l'image. Elle utilise une IA « enseignante » pré-entraînée (appelée DINOv3) qui est déjà très bonne pour reconnaître les formes et les objets.

Analogie : Imaginez que vous passez un examen. Au lieu d'essayer de mémoriser la police de caractères exacte et la couleur de l'encre du manuel scolaire (pixels), vous essayez de mémoriser les concepts et la logique que l'enseignant vous a enseignés (caractéristiques). STROP apprend à écrire ses « mots-clés » de sorte que lorsqu'un enseignant intelligent les lit, il comprend parfaitement la scène, même si les couleurs exactes ne sont pas parfaites.

5. Qu'Ont-ils Découvert ?

La Complexité Correspond à la Longueur : Plus il y a d'objets et de détails dans une image, plus le « programme » (liste de jetons) devient long. Les scènes simples obtiennent des listes courtes ; les scènes complexes obtiennent des listes longues.
Les Jetons sont des « Poignées » : Si vous supprimez un jeton spécifique de la liste, une partie spécifique de l'image disparaît ou change. Cela suggère que chaque jeton agit comme une poignée pour un objet ou un concept spécifique (par exemple, un jeton pourrait contrôler le « chien », un autre l'« arbre »).
Mieux que la Concurrence : Lorsqu'il est testé sur des tâches standard de vision par ordinateur (comme la détection d'objets ou la segmentation d'images), STROP a préservé plus d'informations utiles que d'autres méthodes adaptatives qui tentent de faire la même chose.

6. Limites (Le « Mais... »)

Le papier est honnête sur ce que STROP ne peut pas encore faire :

Ce n'est pas un dictionnaire direct : Si vous regardez la liste brute de jetons (par exemple, « Jeton 42, Jeton 105 »), un humain ou une IA standard ne peut pas la lire facilement. Vous avez besoin de l'« Interprète » pour traduire la liste en quelque chose d'utile. C'est comme un code secret que seule la machine sait décoder.
Les Attributs sont flous : Bien que l'IA soit bonne pour déterminer où se trouvent les objets et combien il y en a, elle peine à lier parfaitement des jetons spécifiques à des attributs spécifiques comme « rouge » ou « métallique ». Le lien entre le code et la couleur spécifique n'est pas encore parfaitement clair.

Résumé

STROP est une nouvelle façon pour les ordinateurs de transformer des images en listes de concepts de longueur variable. Au lieu de forcer chaque image dans une grille rigide, elle écrit une « histoire » de longueur personnalisée pour chaque scène, en se concentrant sur la structure et le sens de l'image plutôt que sur les couleurs brutes. Elle apprend à arrêter d'écrire lorsque la scène est entièrement décrite, économisant de l'espace sur les images simples et utilisant plus de détails pour les images complexes.

Résumé Technique : Structure sur Pixels : Apprentissage de Programmes Visuels de Longueur Variable

Énoncé du Problème

Les réseaux de neurones profonds actuels excellent dans les tâches de vision par ordinateur mais produisent des représentations souvent verbeuses, distribuées et difficiles à inspecter ou à valider. Bien que les tokenizeurs visuels discrets (DVT) offrent une voie vers des descriptions structurelles de scènes en mappant des images vers des séquences ordonnées de codes discrets, les approches existantes souffrent de deux limitations principales :

Longueur de Programme Fixe : La plupart des DVT (par exemple, VQ-VAE, VQGAN, et les récents tokenizeurs 1D) imposent une grille spatiale fixe ou un nombre fixe d'emplacements latents par image. Cela découple le « budget de code » de la complexité visuelle réelle de la scène, violant des principes tels que le rasoir d'Occam et la longueur minimale de description.
Entraînement Centrée sur les Pixels : Les DVT standards sont généralement entraînés avec des pertes de reconstruction au niveau des pixels. Cet accent sur la fidélité force souvent le modèle à gaspiller sa capacité pour capturer des caractéristiques texturales de bas niveau plutôt que la structure sémantique ou géométrique de haut niveau.

De plus, les méthodes existantes qui permettent une tokenisation de longueur variable reposent souvent sur une recherche a posteriori, un routage au moment de l'inférence, ou des ensembles discrets de taux pré-entraînés, plutôt que sur l'apprentissage d'une longueur de séquence continue, par image, couplée directement au modèle et au contenu de la scène.

Méthodologie : STROP

Les auteurs proposent STROP (Structure over Tokens), une architecture de tokenizer visuel discret conçue pour former des représentations structurelles de scènes tout en apprenant simultanément la longueur optimale du programme visuel d'une image.

Architecture

STROP comprend cinq étapes clés :

Encodeur Gelé : Un encodeur ViT DINOv3 gelé extrait des caractéristiques par patch à partir de l'image d'entrée.
Générateur de Programme : Un transformateur uniquement encodeur traite les caractéristiques de patch complétées par une séquence de tokens de requête apprenables. Un masque causal garantit que les tokens de requête ne s'attendent qu'aux requêtes précédentes et aux caractéristiques sources, générant une séquence de programme brute $Z_p$ .
Quantification Vectorielle : Le programme brut est projeté dans un espace de basse dimension et quantifié par rapport à un codebook fixe ($|CB|=1024$) via une recherche du plus proche voisin, produisant des tokens discrets.
Tête de Longueur : Un MLP léger prédit la longueur active du programme ( $\hat{L}$ ) directement à partir des caractéristiques de l'encodeur. Cela permet au modèle de déterminer quelle partie de la séquence exposer sans échantillonnage autorégressif.
Interprète : Un transformateur uniquement encodeur miroir étend le programme tronqué (préfixe de longueur $\hat{L}$ ) de nouveau vers une grille de caractéristiques spatiales. Cette grille est ensuite transmise à un décodeur convolutif.

Objectif d'Entraînement et Curriculum

Contrairement aux tokenizeurs traditionnels, STROP contourne les gradients de reconstruction au niveau des pixels pour façonner le codebook. Au lieu de cela, l'ensemble du signal d'entraînement est dérivé des caractéristiques de patch DINOv3 gelées via une distillation de caractéristiques. La fonction de perte combine l'alignement latent (similarité cosinus et MSE par rapport aux caractéristiques de l'enseignant), une perte d'engagement et un régularisateur de diversité.

Pour permettre une troncature adaptative, STROP emploie un curriculum en quatre phases :

Phase 1 (Troncature Aléatoire) : Le modèle s'entraîne sur des programmes tronqués aléatoirement pour forcer le contenu informatif à être placé en tête dans les premiers tokens.
Phase 2 (Estimation Oracle) : Le système estime les longueurs « oracles » pour chaque échantillon en analysant les erreurs de reconstruction et les pentes locales de la courbe taux-distorsion.
Phase 3 (Entraînement Supervisé) : La tête de longueur est entraînée pour prédire ces cibles oracles tandis que la troncature reste aléatoire, assurant un apprentissage stable.
Phase 4 (Passation) : La tête de longueur entraînée est progressivement déployée pour contrôler la troncature, passant de longueurs aléatoires à des longueurs auto-prédites.

À l'inférence, la tête de longueur prédit $\hat{L}$ , et le programme est tronqué rigidement à cette longueur avant le décodage. Un décodeur de pixels détaché sert uniquement de couche d'inspection, garantissant que le codebook est façonné entièrement par la qualité des représentations latentes de haut niveau.

Contributions Clés

Le papier expose quatre contributions concrètes :

Programmes Visuels de Longueur Variable : STROP supervise la longueur du programme par image en utilisant des sondes taux-distorsion locales et un curriculum de préfixe, permettant au nombre de tokens de croître avec la complexité de la scène.
Tokenizer Simple Générateur–Interprète : L'architecture utilise deux transformateurs uniquement encodeur avec des requêtes apprises pour écrire et lire des codes VQ ordonnés causalement, guidés par la distillation de caractéristiques DINOv3.
Sondes de Pixels sans Entraînement sur Pixels : En utilisant un décodeur de pixels détaché, la méthode traite les reconstructions comme une surface d'inspection, empêchant les gradients de pixels de façonner le codebook et priorisant la qualité représentative sur la texture.
Évaluation de la Représentation et de la Structure : Les auteurs fournissent une évaluation complète des compromis taux-qualité, des performances de prédiction dense en aval, et de preuves de structure compositionnelle via la réutilisation de codes et l'ancrage spatial.

Résultats

Alignement Latent et Compression

STROP atteint un fort alignement avec les caractéristiques DINOv3 gelées. Sur le jeu de données COCO, la variante DINO-S/STROP-S atteint une similarité cosinus de 0,855 et un $R^2$ de 0,734. Le modèle compresse des tenseurs de caractéristiques de taille variable en une séquence adaptative d'au plus 64 codes discrets, atteignant des ratios de compression au pire des cas allant de $\sim$ 4 900 $\times$ à $\sim$ 13 100 $\times$ selon l'architecture de base.

Performances en Aval

Lorsque les représentations STROP gelées sont utilisées pour des tâches en aval via des sondes linéaires :

Segmentation Sémantique : STROP surpasse systématiquement les tokenizeurs adaptatifs du commerce (FlexTok, One-D-Piece) sur VOC, COCO-Stuff-27 et ADE20K. Par exemple, la représentation latente DINO-B/STROP-S atteint 67,5 mIoU sur VOC, dépassant significativement FlexTok (48,4 mIoU).
Classification Multi-étiquettes : STROP égale ou dépasse marginalement l'enseignant DINO gelé et bat FlexTok d'environ 10 points de mean-mAP en moyenne.
Estimation de Profondeur : STROP préserve le contenu pertinent pour la tâche d'estimation de profondeur, bien qu'il reste en retrait par rapport aux modèles enseignants les plus performants.

Analyse Structurelle

Corrélation de Complexité : La longueur du programme corrèle fortement avec la complexité de la scène. Sur CLEVR, la longueur active du programme montre une corrélation de Pearson de $r \approx 0,74$ avec le nombre d'objets de référence.
Structure Compositionnelle : Les diagnostics d'effacement de tokens révèlent que les tokens individuels du programme agissent comme des « poignées » spatialement cohérentes sur la scène. Les synergies paires de tokens s'alignent avec des régions sémantiques, suggérant l'émergence d'une grammaire visuelle apprise.
Décodage par LLM : Les LLM de pointe (Qwen3.5, DeepSeek-V3.1) peuvent décoder des dispositions spatiales grossières (nombre d'objets et positions) à partir des séquences de codes, mais échouent à lier de manière fiable les tokens à des attributs spécifiques (couleur, matériau), indiquant que le codebook expose la disposition mais pas encore une liaison d'attributs entièrement transparente.

Signification et Limites

Le papier affirme que STROP démontre que des programmes visuels de longueur variable peuvent être appris de bout en bout sans recherche a posteriori, adaptant efficacement le « budget de code » à la complexité de la scène. En découplant l'entraînement de la reconstruction de pixels, le modèle priorise la fidélité structurelle et sémantique, aboutissant à des représentations hautement efficaces pour les tâches en aval et présentant des signes de structure compositionnelle.

Cependant, les auteurs restent modestes quant à l'état actuel du système :

Fossé de Lisibilité : Les sondes directes sur les tokens quantifiés bruts performent moins bien que les sondes sur le champ interprété, suggérant que le programme est mieux considéré comme une représentation intermédiaire exécutable plutôt que comme une caractéristique linéaire interchangeable.
Liaison d'Attributs : Le codebook ne code pas encore de manière fiable les attributs discrets (couleur, matériau) pour les modèles de langage, limitant son utilité en tant qu'interface symbolique entièrement transparente.
Spécificité de la Tâche : Bien que STROP surpasse les bases sur la plupart des benchmarks, il reste en retrait derrière FlexTok sur le jeu de données Cityscapes, probablement en raison de la nature dense et fine des scènes urbaines qui pourraient bénéficier d'un décodage conscient des pixels.

Ce travail positionne STROP comme une étape vers des représentations structurelles principielles, avec des travaux futurs suggérés dans l'augmentation de la capacité du codebook, le développement de protocoles de sondage natifs aux programmes, et l'alignement des identités de codes avec des signaux de légendage pour améliorer la liaison d'attributs.