Sintesi Tecnica: Le Griglie Spesso Superano le Rappresentazioni Neurali Implicite nella Compressione di Segnali Densi

Definizione del Problema

Le Rappresentazioni Neurali Implicite (INR) hanno recentemente dimostrato capacità impressionanti nel campo dell'imaging e dei problemi inversi, offrendo un'elevata qualità percettiva con impronte di memoria compatte. Tuttavia, la loro capacità fondamentale, i loro bias impliciti e i comportamenti di scaling rimangono scarsamente compresi. Questa mancanza di chiarezza limita la fiducia con cui i professionisti possono implementare le INR e ostacola lo sviluppo di future rappresentazioni di segnali. Il problema centrale affrontato è determinare quando le INR offrono un vero vantaggio rispetto alle rappresentazioni basate su griglia tradizionali e agli approoli ibridi, in particolare riguardo a come i diversi metodi allocano la capacità attraverso segnali di diversa larghezza di banda e dimensionalità.

Metodologia

Gli autori hanno condotto uno studio empirico completo confrontando diverse strategie di rappresentazione del segnale attraverso una serie di task 2D e 3D. Il framework di valutazione includeva:

Rappresentazioni Confrontate:

• Pure INR: Fourier Feature Networks (FFN), SIREN e WIRE.
• Modelli Ibridi: GA-Planes e Instant-NGP (codifica hash multi-risoluzione).
• Discrete/Esplicite: Gaussian Splatting (limitato al 2D in questo studio).
• Larghezza di Banda Adattiva: BACON.
• Baseline: Una semplice griglia regolarizzata con interpolazione (bicubica per 2D, trilineare per 3D).

Dataset e Segnali:

• Segnali Sintetici: Generati per testare diverse larghezze di banda effettive (da 0,1 a 0,9) e complessità strutturale. Questi includevano rumore bandlimited, Sfere (dischi/sfere disposti casualmente), frattali di Sierpinski e un Target Radiale a stella.
• Segnali del Mondo Reale: Immagini DIV2K ad alta risoluzione, scansioni CT 2D (torace e pianificazione radioterapica) e modelli 3D Stanford Dragon (sia occupanza volumetrica che rappresentazioni di superficie).

Task:
I modelli sono stati valutati su:

1. Overfitting: Adattamento di segnali con un budget di parametri fisso che varia da $1 \times 10^4$ a $3 \times 10^6$ parametri.
2. Problemi Inversi: Ricostruzione tramite Tomografia Computerizzata (CT), denoising e super-risoluzione (SR).

Metriche:
Le prestazioni sono state quantificate utilizzando il Rapporto Segnale-Rumore di Picco (PSNR), l'Indice di Similarità Strutturale (SSIM) e la Learned Perceptual Image Patch Similarity (LPIPS) per i task 2D, e PSNR e Intersection over Union (IoU) per i task 3D. I tempi di addestramento e di inferenza sono stati misurati anche per valutare l'efficienza computazionale.

Contributi Chiave

1. Quantificazione della Scalabilità della Capacità: Lo studio stabilisce che per i segnali 2D a larghezza di banda limitata (bandlimited), la maggior parte dei modelli esibisce una relazione approssimativa di legge di potenza tra la dimensione del modello e la larghezza di banda effettiva che possono rappresentare.
2. Identificazione della Superiorità delle Griglie: Gli autori dimostrano che per molti compiti che coinvolgono segnali densi (specificamente rumore bandlimited e immagini naturali), una semplice griglia regolarizzata con interpolazione si addestra più velocemente e raggiunge una qualità uguale o superiore rispetto a qualsiasi modello INR o ibrido con lo stesso numero di parametri.
3. Definizione delle Zone di Vantaggio delle INR: Il documento identifica scenari specifici e limitati in cui le INR e i modelli ibridi superano le griglie. Questi riguardano principalmente compiti che coinvolgono segnali con strutture sottostanti a bassa dimensionalità, come maschere di occupanza di oggetti, superfici o segnali con regioni a valore costante e bordi netti (ad esempio, la superficie del Dragon 3D o i frattali di Sierpinski).

Risultati

Overfitting di Segnali Densi:

• Segnali Bandlimited: Per entrambi i segnali 2D e 3D bandlimited, la baseline della Griglia ha costantemente superato tutte le altre rappresentazioni in tutte le dimensioni del modello. Le INR e i modelli ibridi non sono riusciti a superare in modo affidabile la griglia, suggerendo che non sono una soluzione universale per segnali densi e simili al rumore.
• Immagini Naturali: Sul dataset DIV2K, la baseline della Griglia è stata competitiva con altri metodi, spesso eguagliando o superando le loro prestazioni nei compiti di overfitting e super-risoluzione.
• Artefatti: Diverse parametrizzazioni hanno indotto distinti artefatti. FFN e SIREN hanno esibito artefatti sinusoidali o di tipo aliasing; WIRE ha introdotto artefatti di texture in 3D; Instant-NGP ha sofferto di artefatti rumorosi dovuti a collisioni di hash a piccole scale; e GA-Planes ha mostrato artefatti allineati agli assi. La baseline della Griglia ha sofferto principalmente di sfocatura dei dettagli sotto-Nyquist sotto forte compressione.

Problemi Inversi:

• CT e Denoising: Nella tomografia computerizzata e nel denoising di segnali 2D naturali, la semplice Griglia con regolarizzazione Total Variation (TV) è stata quasi ottimale in tutte le dimensioni del modello, addestrandosi più velocemente e raggiungendo una qualità superiore rispetto ad altri metodi.
• Super-Risoluzione 3D: Nei compiti di super-risoluzione 3D (occupanza e superficie del Stanford Dragon), le INR (specificamente GA-Ples e WIRE) e i modelli ibridi hanno superato la Griglia alle dimensioni di modello più piccole. Ciò concorda con il finding secondo cui le INR eccellono quando il segnale possiede una struttura a bassa dimensionalità (ad esempio, una superficie 2D immersa in uno spazio 3D).

Efficienza Computazionale:

• Il modello a Griglia ha fornito i tempi di inferenza e addestramento più rapidi.
• Le pure INR hanno richiesto il maggior tempo di calcolo (circa 10 volte quello del modello meno lento in alcuni casi).
• I modelli ibridi e discreti si sono collocati nel mezzo, sebbene i loro tempi di addestramento fossero generalmente indipendenti dalla dimensione del modello, a differenza delle pure INR che mostravano un aumento intrinseco del tempo di calcolo con la dimensione del modello.

Significato e Rivendicazioni

Il documento sostiene di fornire una guida pratica per la selezione delle rappresentazioni del segnale in base alle caratteristiche dei dati e all'applicazione.

• Per Segnali Densi: Gli autori concludono che una semplice griglia con interpolazione rimane la scelta più pratica ed efficace per una vasta gamma di applicazioni che coinvolgono segnali naturali densi (come le scansioni CT e le immagini naturali). Essa offre semplicità, interpretabilità, efficienza computazionale e spesso una qualità di ricostruzione superiore.
• Per Segnali Strutturati: Le INR e i modelli ibridi forniscono vantaggi distinti specificamente per segnali con strutture sottostanti a bassa dimensionalità, come bordi di oggetti, superfici o maschere di occupanza.
• Direzione Futura: Il lavoro suggerisce che le attuali INR non stanno raggiungendo l'obiettivo di comprimere efficacementamente i segnali naturali "densi", implicando che lo sviluppo futuro debba concentrarsi sulla comprensione e sullo sfruttamento dei bias strutturali specifici che permettono alle INR di avere successo in domini sparsi o strutturati, piuttosto che trattarle come un sostituto general-purpose delle griglie.

Lo studio sottolinea che la rivendicazione di "risoluzione infinita" delle INR non si traduce in una prestazione superiore in tutti i regimi, specialmente se confrontata con le garanzie teoriche della teoria del campionamento applicata a griglie regolari.