Square Superpixel Generation and Representation Learning via Granular Ball Computing

1. Problématique

Les superpixels sont des représentations régionales compactes utilisées en vision par ordinateur pour réduire la redondance des modèles au niveau des pixels tout en préservant les contours et les structures locales. Cependant, les algorithmes existants (comme SLIC) génèrent des régions de formes irrégulières. Cette irrégularité pose plusieurs problèmes majeurs pour les pipelines d'apprentissage profond modernes :

• Incompatibilité avec les opérateurs réguliers : Les formes irrégulières ne s'alignent pas bien avec les opérations standard comme les convolutions, limitant l'exécution parallèle par lots (batch parallelism).
• Difficulté d'optimisation : La plupart des méthodes sont non différentiables ou nécessitent des étapes de prétraitement hors ligne, empêchant une optimisation de bout en bout (end-to-end).
• Coût computationnel : Les approches basées sur l'apprentissage (comme SSN) nécessitent souvent des matrices d'association souples (soft associations) coûteuses en mémoire et en calcul.
• Défi multimodal : Dans les tâches d'alignement image-texte, le manque de structure visuelle discrète et expressive rend difficile la correspondance stable avec les unités sémantiques textuelles.

L'objectif est donc de créer une méthode de génération de superpixels qui soit structurée (régulière), compatible avec le matériel GPU (parallélisable), différentiable et intégrable de manière transparente dans des architectures comme les Transformers (ViT) ou les GNN.

2. Méthodologie

Les auteurs proposent une approche basée sur le Calcul Granulaire (Granular Ball Computing - GBC), adaptée pour générer des superpixels carrés.

A. Concept de Granular Ball Computing (GBC)

Au lieu de traiter chaque pixel individuellement, le GBC divise l'espace de données en « boules granulaires ». Dans cette étude, les auteurs remplacent les boules sphériques traditionnelles par des régions carrées alignées sur les axes.

• Représentation : Chaque superpixel est défini comme un carré $GB_i = (X_i, h_i)$, où $X_i$ est l'ensemble des pixels et $h_i$ la longueur du côté.
• Avantage : Cette géométrie carrée permet un pavage parfait de l'image, garantissant un alignement spatial strict à travers différentes échelles et facilitant l'héritage hiérarchique.

B. Génération Hiérarchique de Superpixels Carrés (Coarse-to-Fine)

Le processus suit une stratégie hiérarchique « du grossier au fin » :

1. Partitionnement Multi-échelle : L'image est divisée en une grille de blocs carrés à plusieurs échelles (résolutions).
2. Calcul de Pureté (Purity Score) : Pour chaque bloc candidat, une statistique de pureté est calculée.
   • On calcule la moyenne d'intensité des pixels centraux du bloc ($m_{GB}$).
   • On mesure la cohérence intra-bloc en calculant la proportion de pixels dont la différence avec la moyenne est inférieure à un seuil $\tau$ (norme L1 sur les canaux RGB).
   • Formule : $q_i = \frac{1}{|GB_i|} \sum I(\|x_p - m_i\|_1 < \tau)$.
3. Sélection et Affinement :
   • Les blocs à haute pureté (régions homogènes) sont conservés comme superpixels finaux.
   • Les régions à faible pureté (contenant des détails complexes ou des objets) sont subdivisées en blocs plus petits à l'échelle suivante.
   • Un masque de couverture est mis à jour pour éviter le chevauchement et assurer une couverture complète de l'image.
4. Résultat : Un ensemble de tokens visuels structurés (carrés de tailles variables) avec un nombre total fixe ou contrôlé, prêt pour l'entrée dans un réseau neuronal.

C. Intégration dans les Architectures

• Classification (ViG) : Les tokens carrés servent de nœuds dans un réseau de graphes (Graph Neural Network).
• Rétro-recherche Image-Texte (ViT/FLIP) : Les tokens remplacent les patches réguliers dans l'encodeur d'image pour un alignement sémantique multi-granularité.
• Détection d'Objets (RT-DETR) : La méthode est utilisée comme mécanisme d'élagage de tokens (token pruning). Avant l'attention, les tokens inutiles (arrière-plan homogène) sont supprimés, ne gardant que les régions informatives.

3. Contributions Clés

1. Mécanisme de Tokenisation Carré End-to-End : Proposition d'une méthode de génération de superpixels basée sur des règles (non itérative) qui produit des blocs carrés. Elle évite les matrices d'association souples, est compatible avec le parallélisme GPU et s'intègre sans générateur apprenant supplémentaire.
2. Stratégie de Discrétisation Visuelle Multi-Granularité : Unification des superpixels à différentes échelles en représentations discrètes consommables par les GNN et les Transformers, permettant un élagage dynamique des tokens.
3. Efficacité et Performance : Démonstration que cette approche permet de réduire considérablement le nombre de tokens (et donc la complexité de l'attention) tout en préservant, voire en améliorant, les performances dans des tâches de classification, de recherche et de détection.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur trois tâches principales :

• Classification d'Images (MNIST et CIFAR-10) :

  • Sur MNIST, la méthode atteint 99,40 % de précision.
  • Sur CIFAR-10, elle obtient jusqu'à 93,47 % (configuration Large), surpassant de nombreuses architectures GNN et Graph Transformers de l'état de l'art (ex: ShapeGNN, GAT, GPS).
  • Analyse : La capacité à adapter la granularité aux régions complexes améliore la représentation des caractéristiques discriminantes.

• Rétro-recherche Image-Texte (CelebA et MM-CelebA) :

  • Intégrée dans le framework FLIP, la méthode améliore les métriques Recall@K (R@1, R@5, R@10) par rapport au modèle FLIP de base et à d'autres modèles comme CLIP et BLIP.
  • Cela démontre une meilleure capacité d'alignement multimodal grâce à la capture de caractéristiques régionales fines et structurées.

• Détection d'Objets (COCO avec RT-DETR) :

  • Réduction des tokens : En réduisant le nombre de tokens de 400 à 200 (compression de 50 %), la précision (AP) ne chute que légèrement (de 53,1 à 52,3).
  • Efficacité : La complexité de l'attention est réduite théoriquement de ~75 % (passant de $O(400^2)$ à $O(200^2)$).
  • Robustesse : La méthode maintient une performance stable même avec un élagage agressif, car elle conserve les tokens critiques (objets) et élimine le bruit de fond.

5. Signification et Impact

Cet article apporte une solution élégante au conflit entre la nature irrégulière des superpixels traditionnels et les exigences des réseaux de neurones modernes (régularité, parallélisme).

• Changement de paradigme : Au lieu de forcer les superpixels irréguliers à s'adapter aux réseaux, ou d'utiliser des patches rigides qui ignorent la sémantique, la méthode propose des blocs carrés adaptatifs.
• Optimisation du compromis Précision-Efficacité : Elle permet d'accélérer les modèles basés sur l'attention (Transformers) en réduisant la séquence d'entrée sans sacrifier la précision, ce qui est crucial pour le déploiement en temps réel.
• Généralité : La méthode est un module « plug-and-play » compatible avec une large gamme de modèles (ViT, GNN, DETR), ouvrant la voie à une meilleure interprétabilité et à une représentation visuelle plus structurée dans l'apprentissage profond.

En résumé, cette approche transforme la génération de superpixels d'une étape de prétraitement statique en un mécanisme dynamique, structuré et intégré, capable d'améliorer l'efficacité computationnelle et la performance des systèmes de vision modernes.