Active Learning for Conditional Generative Compressed Sensing

Enunciato del Problema
Il campionamento compresso generativo (GCS) recupera segnali strutturati da misurazioni sottocampionate assumendo che il segnale giaccia vicino al rango di un modello generativo preaddestrato $G$. Sebbene la teoria esistente stabilisca garanzie di recupero per modelli incondizionati sotto misurazioni gaussiane, le applicazioni pratiche spesso coinvolgono trasformate unitarie strutturate e sottocampionate (ad esempio, misurazioni di Fourier nella risonanza magnetica) e possiedono informazioni ausiliarie disponibili al momento dell'acquisizione o dell'inferenza. Questo articolo colma il divario nel campionamento compresso generativo condizionato, dove il modello generativo è condizionato su prompt (ad esempio, descrizioni testuali, metadati). La sfida principale è che il condizionamento introduce un'interazione tripartita: il prompt che definisce il segnale vero ($c^*$), il prompt utilizzato per progettare la distribuzione di campionamento ($c_s$) e il prompt utilizzato per definire il modello di recupero ($c_r$). Le discrepanze tra questi prompt possono portare a strategie di campionamento subottimali o ricostruzioni distorte, eppure i framework esistenti trattano il condizionamento prevalentemente come un prior statico piuttosto che come una variabile di progettazione dinamica sia per il sensing che per il recupero.

Metodologia
Gli autori formulano un framework per l'apprendimento attivo condizionato da prompt sotto misurazioni di Fourier sottocampionate, adattando l'approccio Christoffel Sampling for Machine Learning (CS4ML).

1. Classi di Modelli Condizionati da Prompt: Lo spazio dei segnali è definito da un generatore condizionato $G(z, c)$, dove $z$ è un vettore latente e $c$ è un prompt. Gli autori distinguono tre prompt:

   • $c^*$: Il prompt del segnale vero (se $f^* \in F_{c^*}$).
   • $c_r$: Il prompt di recupero che definisce l'insieme candidato $F_{c_r}$.
   • $c_s$: Il prompt di campionamento utilizzato per costruire la distribuzione di campionamento $\mu_{c_s}$.

2. Fattore di Compatibilità del Prompt ($\Lambda$): Per quantificare l'interazione tra questi prompt, gli autori definiscono un Fattore di Compatibilità del Prompt:
   $$\Lambda(c_1, c_2, c_3) = \max_{i \in D} \frac{K(F_{c_1} - F_{c_2})(i)}{\mu_{c_3}(i)}$$
   dove $K$ è la funzione di Christoffel generalizzata che misura l'"informatività" di una coordinata di Fourier per distinguere segnali in una classe, e $\mu$ è la distribuzione di campionamento.

   • $\Lambda(c_r, c_r, c_s)$ controlla la complessità del campione richiesta per un recupero stabile.
   • $\Lambda(c^*, c_r, c_s)$ controlla l'errore di ricostruzione (errore di approssimazione) quando il segnale vero non corrisponde al prompt di recupero.

3. Analisi Teorica: L'articolo deriva limiti di complessità del campione per due classi di generatori condizionati:

   • Reti ReLU: Assumendo una rete feedforward ReLU priva di bias e di profondità $d$.
   • Generatori Lipschitziani: Assumendo che il generatore sia $L$-Lipschitziano sulla palla latente.
     In entrambi i casi, i limiti mostrano che il numero di misurazioni $m$ scala con $\Lambda$, la complessità del generatore (ad esempio, larghezza/profondità per ReLU, costante Lipschitziana $L$) e la probabilità di campionamento minima $\mu$.

4. Garanzie di Recupero: Sotto la Condizione di Autovalore Restretto all'Insieme (S-REC), gli autori dimostrano che l'errore di ricostruzione è limitato dal miglior errore di approssimazione nella classe di recupero, amplificato da $\sqrt{\Lambda(c^*, c_r, c_s)}$, più termini per il rumore e l'errore di ottimizzazione.

Contributi Chiave

• Formulazione: Un framework unificato per il GCS condizionato da prompt che separa esplicitamente i ruoli dei prompt nella progettazione del campionamento e nella modellazione del recupero.
• Metrica Teorica: L'introduzione del Fattore di Compatibilità del Prompt $\Lambda$, che unifica l'analisi della discrepanza campionamento-recupero e della discrepanza segnale-recupero in un'unica statistica che governa sia la complessità del campione che i limiti di errore.
• Limiti di Complessità del Campione: Limiti espliciti per generatori condizionati ReLU e Lipschitziani, che dimostrano che la discrepanza dei prompt comporta una penalità (aumento della complessità del campione) proporzionale alla divergenza tra le geometrie di campionamento e recupero.
• Validazione Empirica: Esperimenti utilizzando Stable Diffusion 1.5 (SD15) dimostrano che:
  • I prompt rimodellano in modo significativo le distribuzioni di campionamento di Christoffel (concentrando la massa su diverse frequenze di Fourier).
  • Le discrepanze tra prompt di campionamento e recupero ($c_s \neq c_r$) aumentano il fattore di compatibilità $\Lambda$.
  • Le prestazioni di ricostruzione sono sensibili a queste discrepanze, sebbene gli autori notino che il recupero incondizionato ($c_r = \text{""}$) spesso abbia funzionato in modo robusto nel loro specifico setup sperimentale, potenzialmente a causa della flessibilità del modello incondizionato o delle specifiche dinamiche di ottimizzazione.

Risultati

• Teorici: L'articolo dimostra che il recupero stabile è possibile con alta probabilità se il numero di misurazioni scala con $\Lambda(c_r, c_r, c_s)$. Se $c_s = c_r$, $\Lambda$ si riduce alla costante di complessità di Christoffel standard. Se $c_s \neq c_r$, $\Lambda$ può crescere, riflettendo la necessità di più campioni per catturare le caratteristiche del segnale rilevanti per $c_r$ che sono sottorappresentate nel campionamento basato su $c_s$.
• Sperimentali:
  • Distribuzioni di Campionamento: Prompt diversi (ad esempio, "spiaggia al tramonto" vs. "gatto") inducono distribuzioni di campionamento distinte, con coppie corrispondenti che minimizzano $\Lambda$.
  • Ricostruzione: Negli esperimenti "in-range" (dove il segnale vero è generato dal modello), il campionamento con un prompt semanticamente simile ($c_s$ vicino a $c^*$) ha migliorato PSNR e SSIM rispetto a prompt non corrispondenti.
  • Ablazione CFG: Gli autori hanno rilevato che valori elevati di Classifier-Free Guidance (CFG) (ad esempio, 7.5) hanno limitato troppo il generatore, portando a prestazioni di ricostruzione inferiori rispetto a valori CFG più bassi (ad esempio, 1), suggerendo che la classe di recupero "effettiva" dipende fortemente dagli iperparametri.

Significato e Affermazioni
L'articolo afferma che i prompt dovrebbero essere trattati come variabili di progettazione con effetti distinti sul sensing (distribuzione di campionamento), sull'approssimazione (classe di recupero) e sull'interazione tra questi. Il significato principale risiede nell'estendere la teoria GCS a contesti condizionati, mostrando che:

1. L'Apprendimento Attivo è Dipendente dal Prompt: La strategia di campionamento ottimale dipende dal prompt specifico utilizzato per il recupero, non solo dalla classe del segnale.
2. Penalità per Discrepanze: Esiste un costo teorico esplicito (in termini di complessità del campione e amplificazione dell'errore) quando il prompt di campionamento non è allineato con il prompt di recupero.
3. Implicazioni Pratiche: Sebbene la teoria assuma generatori idealizzati, gli esperimenti con Stable Diffusion suggeriscono che il condizionamento tramite prompt può alterare sostanzialmente le distribuzioni di campionamento indotte e influenzare la qualità della ricostruzione, sebbene l'interazione con gli iperparametri di ottimizzazione (come CFG) sia complessa.

Gli autori notano modestamente che la loro teoria si applica a classi di generatori idealizzate (ReLU/Lipschitz) e che i moderni modelli di diffusione sono astrazioni complesse di queste classi. Suggeriscono che i lavori futuri dovrebbero investigare versioni di $\Lambda$ basate sulla divergenza e caratterizzare meglio le costanti Lipschitziane effettive dei modelli di diffusione pratici sotto diverse scale CFG.