Square Superpixel Generation and Representation Learning via Granular Ball Computing

Titolo

Generazione e Apprendimento della Rappresentazione di Superpixel Quadrati tramite Calcolo Granulare a Sfera (Granular Ball Computing)

1. Il Problema

Gli attuali algoritmi di generazione dei superpixel, sebbene efficaci nel preservare i bordi degli oggetti e le strutture locali, presentano limitazioni significative nell'ambito del deep learning moderno:

• Forme Irregolari: La maggior parte dei metodi esistenti (es. SLIC) produce regioni di forma irregolare. Queste forme non sono allineate con gli operatori regolari delle reti neurali (come le convoluzioni), rendendo difficile l'implementazione parallela e l'ottimizzazione end-to-end.
• Complessità Computazionale e di Implementazione: I superpixel irregolari richiedono spesso passaggi di pre-processing offline, non sono differenziabili e ostacolano l'uso efficiente di GPU e l'integrazione in pipeline di apprendimento profondo (come GNN o Vision Transformers).
• Disallineamento Multimodale: Nell'allineamento immagine-testo, la tokenizzazione standard (pixel o patch regolari) fatica a stabilire corrispondenze stabili con i simboli semantici del testo, mancando di priors strutturali efficaci.
• Costo dei Trasformatori: I modelli basati su Transformer (es. DETR, ViT) soffrono della complessità quadratica dell'attenzione self-attention dovuta all'elevato numero di token (patch) di input.

2. Metodologia Proposta

Gli autori propongono un approccio basato sul Granular Ball Computing (GBC) per generare superpixel quadrati adattivi. L'idea centrale è sostituire le "sfere" classiche del calcolo granulare con regioni quadrate allineate agli assi, che permettono una tassellazione perfetta dell'immagine.

Fasi principali dell'algoritmo:

1. Partizionamento Gerarchico (Coarse-to-Fine):
   • L'immagine viene partizionata in una gerarchia di blocchi quadrati a diverse scale (grandezze).
   • Invece di un'unica griglia fissa, il sistema opera in modo gerarchico: inizia da blocchi grandi e li suddivide solo dove necessario.
2. Valutazione della Purezza (Purity Score):
   • Per ogni blocco candidato, viene calcolato un "punteggio di purezza" basato sulla similarità dell'intensità dei pixel.
   • Viene estratta una statistica di riferimento (media) dai pixel centrali del blocco (es. una finestra $k \times k$).
   • La purezza è definita come la frazione di pixel nel blocco che rispettano una soglia di consistenza rispetto a questa media (misurata tramite norma $L_1$).
3. Selezione Adattiva:
   • I blocchi con alta purezza (regioni omogenee) vengono mantenuti come superpixel finali.
   • Le regioni con bassa purezza (bordi, texture complesse) vengono suddivise in blocchi più piccoli per la scala successiva.
   • Questo processo garantisce una copertura completa dell'immagine senza sovrapposizioni o spazi vuoti.
4. Integrazione nei Modelli Deep:
   • I superpixel risultanti sono blocchi quadrati fissi che possono essere trattati come token strutturati.
   • Vengono generati maschere cross-scale per guidare l'estrazione delle feature.
   • Il metodo è compatibile con architetture come ViT (Vision Transformers), GNN (Graph Neural Networks) e RT-DETR (per il rilevamento oggetti), permettendo il pruning (potatura) dei token ridondanti prima dell'attenzione self-attention.

Complessità Temporale:
L'algoritmo ha una complessità lineare rispetto al numero di pixel ($O(LN)$, dove $L$ è il numero di scale e $N$ il numero di pixel), rendendolo efficiente e adatto all'esecuzione parallela su GPU.

3. Contributi Chiave

• Meccanismo di Tokenizzazione Quadrata End-to-End: Un approccio guidato da regole (non iterativo) che genera token strutturati "on-the-fly", evitando matrici di associazione soft e facilitando l'implementazione parallela su GPU.
• Discretizzazione Visiva Multi-Granularità: Una strategia che unifica superpixel quadrati a diverse scale in rappresentazioni discrete, direttamente utilizzabili da reti neurali e Transformer, permettendo il pruning dei token.
• Integrazione con RT-DETR: Applicazione del metodo per ridurre il numero di token nell'encoder di un rilevatore di oggetti real-time, mantenendo alte prestazioni con un costo computazionale ridotto.
• Validazione Sperimentale Estesa: Test su tre compiti visivi distinti: classificazione di immagini, recupero immagine-testo e rilevamento di oggetti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset pubblici (MNIST, CIFAR-10, CelebA, MM-CelebA, MS COCO).

• Classificazione di Immagini (MNIST e CIFAR-10):

  • Il metodo ha ottenuto il 99.40% di accuratezza su MNIST e fino al 93.47% su CIFAR-10 (configurazione Large), superando o competendo con numerosi stati dell'arte basati su GNN e Graph Transformers.
  • La capacità di adattare la granularità alle regioni complesse ha migliorato l'estrazione delle feature discriminative.

• Recupero Immagine-Testo (Image-Text Retrieval):

  • Integrato nel framework FLIP, il metodo ha mostrato prestazioni superiori su CelebA e MM-CelebA rispetto ai baseline (FLIP, CLIP, BLIP) sia in modalità zero-shot che con adattamento leggero.
  • Ha dimostrato una migliore capacità di allineamento cross-modale grazie alla rappresentazione strutturale delle regioni.

• Rilevamento Oggetti (Object Detection su MS COCO):

  • Integrato in RT-DETR, il metodo ha permesso di ridurre il numero di token da 400 a 200 (compressione del 50%) con una diminuzione minima dell'accuratezza (da 53.1 AP a 52.3 AP).
  • Nonostante la riduzione drastica dei token, le prestazioni rimangono competitive rispetto a varianti DETR più complesse, dimostrando che il metodo preserva efficacemente le regioni informative eliminando il rumore di sfondo.
  • L'analisi di sensibilità mostra che il pruning aggressivo ha un impatto minimo sugli oggetti grandi e un effetto "a plateau" sulle prestazioni generali.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nell'integrazione dei superpixel nei moderni pipeline di deep learning:

• Superamento delle Limitazioni Geometriche: Risolve il problema dell'incompatibilità tra le forme irregolari dei superpixel tradizionali e gli operatori regolari delle CNN/Transformer.
• Efficienza Computazionale: Abilita il pruning dei token in modo strutturato e interpretabile, riducendo la complessità quadratica dell'attenzione nei Transformer senza sacrificare drasticamente l'accuratezza.
• Versatilità: Essendo un modulo "plug-and-play", può essere integrato in diverse architetture (ViT, GNN, DETR) senza richiedere un generatore di superpixel addestrato separatamente o annotazioni pixel-level.
• Interpretabilità: La natura gerarchica e basata sulla purezza offre una rappresentazione visiva più interpretabile rispetto alle associazioni soft dei metodi precedenti.

In sintesi, il paper propone un metodo innovativo che trasforma i superpixel da un semplice strumento di pre-processing in una componente fondamentale e ottimizzabile per l'efficienza e la robustezza delle reti neurali moderne.