⚡ electrical engineering

GALOSH: Blind, Training-Free Denoising of Raw Bayer and sRGB Images by Parallel-Friendly Local Shrinkage

GALOSH è un metodo di denoising veloce e privo di addestramento che ottiene risultati di alta qualità sia su immagini Bayer grezze che su immagini sRGB, sostituendo le inefficienti ricerche di block-matching con una pipeline completamente locale e indipendente dai dati composta da stima del rumore, trasformata di Anscombe generalizzata e shrinkage localizzato, rendendolo adatto all'implementazione su CPU e hardware a virgola fissa.

Autori originali: Yoshiro Sato

Pubblicato 2026-07-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yoshiro Sato

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una foto che sembra scattata in una stanza buia con mano tremante. È piena di "grana" (puntini casuali) e "macchie di colore" (sporcature strane di rosso, verde o blu). Il tuo obiettivo è pulirla senza farla sembrare un dipinto di plastica o perdere i dettagli importanti.

Per molto tempo, c'erano due modi principali per sistemare queste foto:

Il Metodo del "Detective" (Classico): Questi programmi (come BM3D) agiscono come detective. Scansionano l'intera immagine, cercando piccole porzioni che sembrano simili alla porzione rumorosa che stanno cercando di sistemare. Confrontano milioni di porzioni per trovare la corrispondenza migliore. Funziona bene, ma è lento perché il computer deve "cercare" ovunque, e il percorso che compie cambia a seconda di ciò che c'è nella foto. È come cercare un ago specifico in un pagliaio guardando ogni singolo pezzo di paglia uno alla volta.
Il Metodo dello "Studente" (AI/Deep Learning): Questi programmi sono come studenti che hanno memorizzato migliaia di foto pulite. Quando vedono una foto rumorosa, indovinano come dovrebbe essere stata basandosi su ciò che hanno studiato. Sono molto veloci e accurati se la foto è esattamente come quelle che hanno studiato. Ma se la foto è diversa (come una fotocamera o un'illuminazione differente), possono confondersi e commettere errori enormi. Inoltre, hanno bisogno di un computer enorme (GPU) per funzionare.

Entra in scena GALOSH: Il "Meccanico Locale"

Il documento presenta un nuovo metodo chiamato GALOSH. Invece di essere un detective che cerca in tutta l'immagine, o uno studente che memorizza il mondo, GALOSH è come un meccanico locale che sa esattamente come riparare un tipo specifico di componente di un motore usando un set fisso di strumenti.

Ecco come funziona GALOSH, suddiviso in semplici passaggi:

1. Niente ricerca, solo riparazioni locali

GALOSH non cerca porzioni simili in tutta la foto. Inveve, guarda un piccolo vicinato intorno a ogni singolo pixel e lo sistema proprio lì.

L'analogia: Immagina una folla di persone. Il metodo del "Detective" cerca di trovare tutti quelli che somigliano a te per copiarne i vestiti. GALOSH ti consegna semplicemente un sarto che sistema i tuoi vestiti in base alla tua forma fisica, proprio dove sei in piedi.
Il vantaggio: Poiché non deve cercare o prendere decisioni basate su ciò che vede, il processo è lo stesso per ogni singolo pixel. Questo lo rende incredibilmente veloce e facile da eseguire su computer normali (CPU), non solo su supercomputer.

2. Due strumenti diversi per due problemi diversi

GALOSH si rende conto che il "rumore" non è una cosa sola. Tratta l'immagine in due livelli separati:

La "Grana" (Luminanza): Questa è la trama in bianco e nero. Un po' di grana in realtà è piacevole, come la pellicola in un vecchio film. GALOSH è delicato qui, levigando la trama quanto basta per mantenere la consistenza ma rimuovendo le parti brutte.
Le "Macchie" (Crominanza): Questo è il rumore di colore strano (come una macchia rossa su un cielo blu). Questo non è mai accettabile. GALOSH è molto più aggressivo qui, cancellando completamente questi colori.
L'analogia: Pensa a pulire una finestra sporca di fango. Potresti passare un panno delicatamente per rimuovere le impronte (grana), ma useresti un tergivetro per rimuovere violentemente una grossa chiazza di vernice (macchia di colore). GALOSH usa un "passaggio delicato" per la trama e un "tergivetro" per i colori.

3. Cieco e privo di addestramento (Training-Free)

GALOSH non ha bisogno di essere istruito con migliaia di esempi. Capisce il "livello di rumore" della foto stessa, semplicemente guardandola.

L'analogia: La maggior parte dei pulitori AI sono come chef che conoscono solo la cucina italiana perché hanno studiato solo ricette italiane. Se dai loro un piatto giapponese, falliscono. GALOSH è come uno chef che può assaggiare gli ingredienti davanti a sé e capire esattamente come cucinare qualsiasi piatto, proprio in quel momento, senza bisogno di un libro di ricette.

4. Velocità e Hardware

Poiché GALOSH non cerca e non ha bisogno di un cervello enorme (modello AI), è velocissimo.

I dati: Su una normale scheda grafica, è da 7 a 650 volte più veloce dei migliori pulitori AI. Su un normale processore per computer (CPU), è l'unico metodo forte che funziona davvero bene; i metodi AI sono troppo lenti per essere pratici lì.
Il futuro: Il documento menziona che poiché i passaggi sono così regolari e semplici, questo metodo è progettato per essere integrato direttamente nei chip delle fotocamere (hardware) che utilizzano calcoli matematici semplici (fixed-point), rendendolo perfetto per i futuri smartphone e fotocamere.

Sintesi dei Risultati

Gli autori hanno testato GALOSH su foto reali rumorose (da smartphone e fotocamere) e l'hanno confrontato con i migliori metodi "Detective" e i migliori metodi "Studente" (AI).

Contro i Detective: GALOSH è molto più bravo a pulire la foto e appare più naturale, anche quando ai "Detective" viene fornita la chiave di risposta perfetta (conoscendo il livello esatto di rumore).
Contro gli Studenti: GALOSH non è esattamente perfetto come gli studenti AI se la foto è esattamente come quella per cui l'AI è stata addestrata. Tuttavia, se la foto è diversa o molto rumorosa, gli studenti AI spesso falliscono o si bloccano, mentre GALOSH rimane stabile e affidabile.
Il Vincitore: GALOSH è l'unico metodo che è veloce, funziona su computer normali, non ha bisogno di addestramento e risulta eccellente sia sui dati grezzi della fotocamera che sulle foto finite.

In breve, GALOSH prende le migliori idee dal vecchio modo di sistemare le foto, rimuove la lenta parte di "ricerca" e crea un pulitore veloce, affidabile e universale che funziona su qualsiasi foto, ovunque.

Riassunto Tecnico: GALOSH – Denoising Cieco, Senza Addestramento e tramite Shrinkage Locale Parallelizzabile

1. Definizione del Problema

La riduzione del rumore nelle immagini è attualmente dominata da due distinte famiglie, ciascuna con significative limitazioni:

Metodi Classici Senza Addestramento (es. BM3D, Non-Local Means): Questi metodi si generalizzano bene tra i diversi sensori senza richiedere dati di addestramento, ma si affidano pesantemente alla ricerca dipendente dal contenuto (block matching, pesatura della vicinanza). Questo meccanismo di ricerca crea accessi irregolari alla memoria e flussi di controllo dipendenti dai dati, il che ostacola la vettorizzazione, l'occupazione della GPU e le implementazioni a latenza fissa. Inoltre, tipicamente assumono un livello di rumore noto.
Metodi Appresi (CNN, Transformer): Questi raggiungono la qualità più elevata all'interno del loro dominio di addestramento, ma richiedono coppie di addestramento estese, soffrono di un degrado catastrofico al di fuori della loro distribuzione di addestramento e richiedono budget computazionali elevati (decine di migliaia di MAC per pixel) che rendono necessaria l'accelerazione tramite GPU.

Il paper pone la domanda: Quanto della qualità della famiglia classica sopravvive se la ricerca viene rimossa per progettazione? L'obiettivo è creare un denoiser cieco, senza addestramento e multi-dominio che sia veloce, parallelizzabile e adatto ad hardware a latenza fissa senza sacrificare la qualità percettiva.

2. Metodologia: GALOSH

GALOSH (Generalized Anscombe LOcal SHrinkage) sostituisce l'architettura basata sulla ricerca dei metodi classici con una pipeline in cui ogni fase è locale, regolare e indipendente dai dati. Il grafo computazionale è fisso per ogni pixel, consentendo una parallelizzazione banale.

La pipeline consiste in quattro fasi principali:

A. Stima Cieca del Rumore

Invece di assumere un livello di rumore noto, GALOSH adatta un modello di rumore Poisson-Gaussiano ( $Var[x] = \alpha E[x] + \sigma^2$ ) direttamente dal frame rumoroso. Ciò viene ottenuto tramite una regressione robusta della varianza locale del Laplaciano rispetto alla media locale su blocchi sovrapposti (un stimatore stile Foi), producendo parametri per immagine $(\alpha, \sigma^2)$ senza dati oracle o calibrazione.

B. Stabilizzazione della Varianza (GAT)

Una Trasformata di Anscombe Generalizzata (GAT) mappa il rumore dipendente dal segnale in un rumello Gaussiano con varianza approssimativamente unitaria. Ciò consente che una singola soglia globale sia valida per l'intero frame. La trasformata utilizza un inverso esatto e non distorto per la ricostruzione.

C. Two-Pass Local Luminance Shrinkage (LOSH)

La luminanza viene denoisata utilizzando uno shrinkage locale con ciclo ruotato (cycle-spun) su blocchi Walsh–Hadamard da $8 \times 8$ sovrapposti, sostituendo lo stack 3D collaborativo di BM3D:

Pass 1: Applica una soglia BayesShrink robusta per generare una stima pilota.
Pass 2: Applica un guadagno Wiener empirico calcolato dai coefficienti della pilota.
I blocchi sovrapposti vengono ricombinati tramite un metodo di overlap-add con finestra (windowed overlap-add). Questo rimuove tutta la dipendenza dal contenuto pur mantenendo l'architettura di raffinamento "shrink-then-Wiener" di BM3D.

D. Regressione della Crominanza Guidata dalla Luminanza

La crominanza è trattata diversamente dalla luminanza in base ai requisiti percettivi:

Il rumore della luminanza appare come grana e coesiste con la texture; pertanto, viene ridotto (shrinked) in modo conservativo per preservare la struttura ad alta frequenza.
Il rumore della crominanza appare come macchie di colore inaccettabili; pertanto, viene smussato (smoothed) aggressivamente.
I piani di crominanza sono denoisati tramite una regressione localmente pesata di grado 1 (LOESS) guidata dalla luminanza denoisata. Un piramide di residui multi-scala gestisce le macchie a grana grossa. Fondamentalmente, i valori di crominanza ricostruiti sono limitati (clamped) all'intervallo locale della crominanza di input per evitare l'"invenzione" di colori non presenti nell'input.

Front-End di Dominio

Un singolo core opera su due input:

GALOSH-RAW: Lavora direttamente sui mosaici Bayer. Una trasformata Walsh–Hadamard $2 \times 2$ divide ogni quad con la luminanza a risoluzione intera e i piani di crominanza a mezza risoluzione.
GALOSH-YUV/RGB: Lavora su immagini sRGB renderizzate. L'input viene linearizzato e convertito in BT.709 YCbCr; la crominanza è elaborata a risoluzione intera senza sottocampionamento.

3. Contributi Chiave

Pipeline Senza Ricerca: Una pipeline di denoising completamente cieca e senza addestramento, dove tutte le fasi sono locali, regolari e indipendenti dai dati, caratterizzata da un core condiviso con due front-end di dominio (Raw Bayer e sRGB/YUV).
Superiorità Percettiva rispetto ai Metodi Classici: Evidenza attraverso quattro benchmark di rumore reale (SIDD Medium, RawNIND) che mostra come GALOSH sia il metodo più forte tra i metodi ciechi e senza addestramento, superando le famiglie BM3D e NLM anche quando a queste basi viene fornito un livello di rumore oracle.
Velocità ed Efficienza Hardware: Una dimostrazione che la rimozione della ricerca produce enormi accelerazioni (7×–650× più veloce dei baseline di deep learning su GPU) e prestazioni pratiche su CPU. La struttura a grafo computazionale fisso è mostrata come naturalmente mappabile su hardware a virgola fissa e streaming tramite un'analisi del conteggio delle operazioni e una realizzazione INT16 funzionante.

4. Risultati Sperimentali

Il paper valuta GALOSH contro i baseline classici (BM3D, NLM e le loro varianti) e i baseline di deep learning (Blind2Unblind, NAFNet, Restormer, SCUNet) sui domini Raw Bayer e sRGB.

Dominio Raw: GALOSH raggiunge le migliori metriche percettive (LPIPS, DISTS) tra tutti i metodi ciechi e senza addestramento di gran lunga, colmando la maggior parte del divario con la rete addestrata Blind2Unblind senza alcun addestramento.
Dominio sRGB:
- GALOSH batte decisamente i metodi classici ciechi (es. 35.01 dB contro 27–29 dB su SIDD sRGB).
- Anche quando i metodi classici ricevono un livello di rumore oracle, non riescono a eguagliare le prestazioni di GALOSH, provando che il vantaggio risiede nell'algoritmo e non solo nella stima del rumore.
- Confronto con DL Addestrato: Sui dati in-domain (SIDD), le reti addestrate (es. NAFNet) mantengono un leggero vantaggio. Tuttavia, sui dati cross-domain (RawNIND) ad alta ISO, le reti addestrate mantengono solo un lieve vantaggio (+0.3–0.7 dB) su GALOSH, mentre GALOSH supera significativamente i metodi classici. In particolare, GALOSH rimane numericamente stabile su scene quasi nere dove alcune reti addestrate divergono.
Velocità:
- GPU: 0.76s per 16-MP raw frame (contro 5.6s per Blind2Unblind) e 0.87s per 15.8-MP sRGB frame (contro 13.5s–565s per i baseline DL).
- CPU: GALOSH è l'unico metodo forte praticabile su CPU, eseguendosi 2–3× più velocemente di BM3D-CFA/NLM-CFA su dati raw e più velocemente di Color-NLM su sRGB con una qualità superiore.

5. Significato e Rivendicazioni

Il paper sostiene che GALOSH dimostra che la ricerca non è essenziale per un denoising di alta qualità. Sostituendo la ricerca dipendente dal contenuto con uno shrinkage locale a varianza stabilizzata e un ciclo ruotato, e con una regressione guidata dalla luminanza, il metodo mantiene ed estende la qualità della famiglia classica ottenendo al contempo:

Cecità: Nessun dato di addestramento o oracle del livello di rumore richiesto.
Copertura Multi-Dominio: Un singolo core gestisce sia i mosaici raw che le immagini renderizzate.
Parallelismo e Latenza: La struttura fissa e indipendente dai dati consente implementazioni a latenza fissa e una mappatura naturale su hardware streaming a virgola fissa (supportata da una realizzazione INT16).
Robustezza: Evita il degrado del dominio e l'instabilità numerica talvolta visti nelle reti addestrate.

Gli autori posizionano GALOSH non come un competitore di stato dell'arte per la qualità rispetto alle reti addestrate in-domain, ma come una soluzione superiore per i vincoli specifici di denoising cieco, senza addestramento, multi-dominio ed efficiente dall'hardware.