Square Superpixel Generation and Representation Learning via Granular Ball Computing

Titel: Vierkante Superpixel-Generatie en Representatieleren via Granulaire Bol-berekening

1. Het Probleem

Superpixels worden veel gebruikt in computervisie om pixels te groeperen in compacte gebieden, wat de berekeningskosten verlaagt en objectgrenzen behoudt. Echter, de meeste bestaande algoritmen (zoals SLIC) genereren onregelmatig gevormde regio's. Dit vormt een fundamenteel probleem voor moderne diepe leerpijplijnen om de volgende redenen:

• Incompatibiliteit met convoluties: Onregelmatige vormen passen niet goed bij reguliere operatoren zoals convoluties, wat parallelle verwerking beperkt.
• Moeilijk te integreren: Veel methoden zijn niet differentieerbaar of vereisen complexe post-processing om verbondenheid te garanderen, wat end-to-end optimalisatie binnen diepe netwerken belemmert.
• Token-inefficiëntie: In Vision Transformers (ViT) en Graph Neural Networks (GNN) leiden onregelmatige structuren tot inefficiënte token-representaties en hoge rekenkosten voor self-attention mechanismen.
• Multimodale uitdagingen: Het ontbreken van gestructureerde visuele priors maakt het moeilijk om stabiele correspondenties te vinden tussen visuele tokens en tekstuele eenheden.

2. Methodologie

De auteurs stellen een nieuwe aanpak voor die gebaseerd is op Granular Ball Computing (GBC). In plaats van onregelmatige vormen, worden superpixels benaderd als multi-schaal vierkante blokken.

Kerncomponenten van de methode:

• Granulaire Bol-benadering: De methode gebruikt "granulaire bollen" die in dit geval vierkante gebieden zijn ($GB_i = \{X_i, h_i\}$), waarbij $X_i$ de pixels zijn en $h_i$ de zijde van het vierkant. Dit zorgt voor een perfecte tegelvorming van het beeld zonder gaten.
• Puurheidsscore (Purity Score): Voor elk blok wordt een puurheidsscore berekend op basis van pixelintensiteit.
  • Er wordt een referentiestatistiek (gemiddelde intensiteit) berekend uit een klein centraal venster van het blok.
  • De puurheid wordt gemeten als het percentage pixels binnen het blok dat binnen een bepaalde drempel ($\tau$) van deze referentie ligt (gemeten via de $L_1$-norm).
• Coarse-to-Fine Hiërarchische Selectie:
  • Het proces begint met grove schalen (grote blokken).
  • Blokken met een hoge puurheid (homogene gebieden) worden direct geselecteerd als superpixels.
  • Gebieden met lage puurheid (complexere structuren) worden verder opgedeeld in kleinere blokken op fijnere schalen.
  • Dit proces zorgt voor een vaste, vooraf bepaalde hoeveelheid tokens (fixed-cardinality) en behoudt een strikte ruimtelijke uitlijning over verschillende schalen.
• Integratie: De geselecteerde vierkante blokken fungeren als gestructureerde visuele tokens die direct kunnen worden ingebracht in GNN's of Vision Transformers (ViT). De methode vereist geen extra leerbare generator of voorverwerking; het is een regelgedreven, niet-iteratief proces.

3. Belangrijkste Bijdragen

1. Eind-tot-eind compatibele tokenisatie: Een regelgedreven mechanisme dat gestructureerde tokens "on-the-fly" genereert via een niet-iteratieve, blok-voor-blok score- en selectieprocedure. Het vermijdt grote zachte associatiematrixen en is GPU-parallel-vriendelijk.
2. Multi-granulariteitsvisuele discretisatie: Een strategie die vierkante superpixels op verschillende schalen unificeert tot discrete representaties die direct door grafnetwerken en Transformers kunnen worden verwerkt.
3. Token-Pruning voor Detectie: De methode wordt geïntegreerd in RT-DETR (Real-Time DEtection TRansformer) om redundante tokens (voornamelijk achtergrond) te verwijderen voordat de self-attention laag wordt bereikt, wat de rekenkosten verlaagt zonder de prestaties significant te beïnvloeden.
4. Geen extra training: De methode vereist geen pixel-level superpixel-annotaties en geen aparte training van een superpixel-generator; het kan worden gebruikt met bestaande backbones (zoals ResNet).

4. Resultaten

De auteurs hebben hun methode getest op drie verschillende visuele taken:

• Beeldclassificatie (MNIST & CIFAR-10):

  • De methode werd geïntegreerd in ViG (Vision Graph) netwerken.
  • Resultaten tonen consistente verbeteringen ten opzichte van bestaande GNN-methoden (zoals GraphSAGE, GAT, ShapeGNN).
  • Op CIFAR-10 bereikte de "Large" configuratie 93.47% nauwkeurigheid, wat een verbetering is ten opzichte van de state-of-the-art baselines. De adaptieve blokgrootte helpt bij het filteren van ruis en het behouden van discriminatieve structuren.

• Beeld-tekst Zoeken (Image-Text Retrieval):

  • Geïntegreerd in het FLIP-framework (gebaseerd op CLIP/BLIP) voor taken op CelebA en MM-CelebA datasets.
  • De methode verbeterde de cross-modale uitlijning, wat resulteerde in hogere Recall@K scores (bijv. R@1 van 23.08 op CelebA voor Image-to-Text) vergeleken met de originele FLIP en FLIP* (zonder module).
  • Dit bewijst dat gestructureerde superpixels helpen bij het vinden van stabielere correspondenties tussen visuele en tekstuele eenheden.

• Objectdetectie (RT-DETR op MS COCO):

  • De methode werd gebruikt om tokens te "prunen" (verwijderen) in de encoder van RT-DETR.
  • Resultaat: Door de token-aantal te halveren (van 400 naar 200 tokens, oftewel 50% compressie), daalde de AP (Average Precision) slechts marginaal van 53.1 naar 52.3.
  • De methode behoudt de prestaties voor grote objecten zeer goed en toont een "performance plateau" bij agressieve pruning, wat aangeeft dat de meest kritieke tokens behouden blijven.
  • De theoretische complexiteit van self-attention daalt met ongeveer 75% bij 50% token-reductie.

5. Betekenis en Impact

De paper introduceert een paradigmaverschuiving in superpixel-generatie door de nadruk te leggen op structuur en compatibiliteit met moderne deep learning-architecturen in plaats van alleen op randnauwkeurigheid.

• Efficiëntie: Door vierkante blokken te gebruiken, wordt de berekening van convoluties en self-attention aanzienlijk versneld en paralleliseerbaar gemaakt.
• End-to-End Integratie: Het elimineert de noodzaak voor losse, niet-differentieerbare voorverwerkingsstappen, waardoor superpixels een integraal onderdeel kunnen worden van de trainingspijplijn.
• Toepasbaarheid: De methode fungeert als een "plug-and-play" module die de rekenlast verlaagt in Transformer-modellen (zoals ViT en DETR) zonder de architectuur fundamenteel te veranderen.
• Generalisatie: De resultaten tonen aan dat deze aanpak werkt voor diverse taken, van classificatie tot multimodale zoekopdrachten en objectdetectie, en robuust is tegen verschillende schalen en complexiteit van beelden.

Kortom, de auteurs bieden een elegante oplossing voor het probleem van onregelmatige superpixels door een schaalbaar, puurheid-gedreven mechanisme te gebruiken dat de brug slaat tussen traditionele beeldsegmentatie en moderne, gestructureerde deep learning.