POS-ISP: Pipeline Optimization at the Sequence Level for Task-aware ISP

1. Il Problema

I Processori di Segnale Immagine (ISP) tradizionali trasformano i dati RAW dei sensori in immagini sRGB visibili all'occhio umano o utilizzabili dalle macchine. Tuttavia, le pipeline ISP convenzionali sono fisse e progettate per la qualità fotografica generale, spesso fallendo nell'allinearsi agli obiettivi di compiti specifici (come rilevamento di oggetti, segmentazione istanza o miglioramento estetico).

Sebbene esistano approcci basati sui dati per ottimizzare gli ISP, le metodologie attuali presentano limitazioni significative:

• Neural Architecture Search (NAS): Metodi come ReconfigISP utilizzano una selezione "soft" dei moduli durante l'addestramento (miscelando le uscite) e una selezione "hard" (discreta) durante l'inferenza. Questo crea un mismatch tra addestramento e inferenza, portando a prestazioni subottimali.
• Reinforcement Learning (RL) Step-wise: Metodi come DRL-ISP e AdaptiveISP modellano l'ottimizzazione come una sequenza di decisioni passo-passo. Questo approccio richiede stime di ricompensa future (tramite una rete critic), il che porta a instabilità nell'addestramento (a causa dell'errore di approssimazione nella stima del valore) e a un elevato overhead computazionale, poiché il controller deve essere eseguito ripetutamente per ogni decisione intermedia.

2. Metodologia: POS-ISP

Gli autori propongono POS-ISP, un framework di Reinforcement Learning che formula l'ottimizzazione della pipeline ISP come un problema di previsione di sequenza globale, piuttosto che una serie di decisioni passo-passo.

Architettura del Framework

Il sistema è composto da due componenti principali che lavorano in parallelo:

1. Sequence Predictor (Predittore di Sequenza):

   • È una rete ricorrente basata su GRU (Gated Recurrent Units).
   • Predice l'intera sequenza di moduli ISP ($A = a_1, ..., a_k$) in un singolo passaggio in avanti (single forward pass).
   • Utilizza informazioni contestuali dai moduli precedentemente selezionati per prevedere la distribuzione di probabilità del prossimo modulo.
   • Include token speciali <sos> (inizio) e <eos> (fine) per gestire pipeline di lunghezza variabile.
   • Durante l'inferenza, utilizza il greedy decoding per selezionare la sequenza più probabile.

2. Parameter Predictor (Predittore di Parametri):

   • È una rete leggera encoder-decoder (CNN) che prende l'immagine di input e predice i parametri specifici per ogni modulo ($\Theta$).
   • A differenza della sequenza, i parametri sono adattivi all'immagine (image-adaptive), permettendo alla pipeline di adattarsi alle condizioni di illuminazione e contenuto di ogni singola immagine.
   • Curiosamente, gli autori hanno scoperto empiricamente che condizionare il predittore solo sull'immagine (e non sulla sequenza predetta) funziona meglio, agendo come regolarizzazione.

Formulazione del RL

• Ottimizzazione a Livello di Sequenza: Invece di ricevere ricompense intermedie, il sistema riceve un'unica ricompensa terminale basata sulla performance del compito finale (es. accuratezza del rilevamento oggetti) dopo che l'intera pipeline ha processato l'immagine.
• Funzione di Ricompensa: $R = \mathcal{L}_T(I_{in}) - \mathcal{L}_T(I_{out}) - P(I_{out})$, dove $\mathcal{L}_T$ è la perdita del compito target e $P$ è un termine di penalità per evitare uscite degenerate (es. pixel saturi o valori estremi).
• Addestramento: Il Sequence Predictor viene ottimizzato tramite il metodo REINFORCE (policy gradient), massimizzando la probabilità delle sequenze che generano alte ricompense. Il Parameter Predictor viene addestrato tramite backpropagation standard per minimizzare la perdita del compito.

3. Contributi Chiave

1. Ottimizzazione a Livello di Sequenza Globale: Eliminazione del processo decisionale passo-passo e della stima di ricompense future instabili, portando a un addestramento più stabile ed efficiente.
2. Predizione in un Singolo Passaggio: La capacità di generare l'intera pipeline (sequenza e parametri) in un singolo passaggio in avanti riduce drasticamente l'overhead computazionale e di memoria rispetto ai metodi RL iterativi.
3. Predittore Ricorrente Contestuale: L'uso di GRU permette di catturare le dipendenze tra i moduli, migliorando la scelta della sequenza rispetto a metodi che trattano le decisioni come indipendenti.
4. Separazione Sequenza/Parametri: Adotta un design pragmatico in cui la sequenza dei moduli è fissa per un dato compito (simile agli ISP hardware reali), mentre i parametri si adattano dinamicamente all'immagine.

4. Risultati Sperimentali

Il framework è stato valutato su tre compiti downstream principali: Rilevamento di Oggetti, Segmentazione di Istanza e Miglioramento dell'Immagine.

• Performance: POS-ISP supera gli stati dell'arte (SOTA) come AdaptiveISP, DRL-ISP e ReconfigISP in termini di metriche di task (es. mAP per il rilevamento oggetti su dataset LOD e LIS).
• Efficienza Computazionale:
  • Tempo di Inferenza: POS-ISP è significativamente più veloce (es. 1.55 ms contro 12.72 ms di AdaptiveISP su GPU) perché evita l'esecuzione ripetuta del controller.
  • Memoria: Riduce l'uso di memoria GPU (14.4 MB contro 39.6 MB di AdaptiveISP) e il numero di operazioni MAC (15.1 M contro 70.2 M).
• Stabilità: Le curve di addestramento mostrano una convergenza più stabile e meno fluttuazioni rispetto ai metodi basati su RL step-wise, confermate da esperimenti multi-seed con deviazioni standard molto basse.
• Qualità Visiva: Nel compito di miglioramento dell'immagine (dataset Adobe FiveK), POS-ISP produce risultati che corrispondono meglio allo stile di ritocco degli esperti rispetto ai metodi concorrenti, evitando sovra-saturazione o sbilanciamenti del bianco.

5. Significato e Impatto

POS-ISP rappresenta un cambio di paradigma nell'ottimizzazione degli ISP per compiti specifici:

• Praticità: Dimostra che è possibile ottenere prestazioni superiori mantenendo un'architettura leggera e adatta alla distribuzione su dispositivi edge/mobile, risolvendo il problema dell'inefficienza dei metodi RL precedenti.
• Stabilità: Risolve il problema noto dell'instabilità nell'addestramento del RL profondo per la ricerca di architetture, offrendo una soluzione più robusta e riproducibile.
• Generalizzazione: La metodologia si dimostra efficace non solo per compiti di riconoscimento (visione artificiale), ma anche per compiti di percezione e stima geometrica (es. stima della profondità), suggerendo un potenziale ampio per l'adattamento di pipeline di elaborazione immagini a qualsiasi obiettivo di alto livello.

In sintesi, POS-ISP offre un approccio stabile, efficiente e task-aware che supera i limiti delle metodologie attuali, rendendo l'ottimizzazione degli ISP scalabile e pronta per l'implementazione reale.