Active Learning for Conditional Generative Compressed Sensing

Probleemstelling
Generatieve gecomprimeerde sensing (GCS) herstelt gestructureerde signalen uit onderbemonsterde metingen door aan te nemen dat het signaal in de buurt ligt van het bereik van een vooraf getraind generatief model $G$. Hoewel bestaande theorie herstelgaranties vaststelt voor onvoorwaardelijke modellen onder Gaussische metingen, omvatten praktische toepassingen vaak gestructureerde, onderbemonsterde unitaire transformaties (bijvoorbeeld Fourier-metingen in MRI) en beschikken ze over aanvullende informatie die beschikbaar is tijdens de acquisitie of inferentie. Dit artikel adresseert de kloof in voorwaardelijke generatieve gecomprimeerde sensing, waarbij het generatieve model is voorwaardelijk gesteld op prompts (bijvoorbeeld tekstbeschrijvingen, metadata). De kernuitdaging is dat voorwaardelijkheid een tripartiete interactie introduceert: de prompt die het ware signaal definieert ($c^*$), de prompt die wordt gebruikt om de bemonsteringsverdeling te ontwerpen ($c_s$), en de prompt die wordt gebruikt om het herstelmodel te definiëren ($c_r$). Ongelijkheden tussen deze prompts kunnen leiden tot suboptimale bemonsteringsstrategieën of bevooroordeelde reconstructies, toch behandelen bestaande kaders voorwaardelijkheid grotendeels als een statische prior in plaats van als een dynamische ontwerptel voor zowel sensing als herstel.

Methodologie
De auteurs formuleren een kader voor prompt-voorwaardelijke actieve learning onder onderbemonsterde Fourier-metingen, waarbij ze de aanpak van Christoffel Sampling for Machine Learning (CS4ML) aanpassen.

1. Prompt-voorwaardelijke modelklassen: De signaalruimte wordt gedefinieerd door een conditionele generator $G(z, c)$, waarbij $z$ een latente vector is en $c$ een prompt. De auteurs onderscheiden drie prompts:

   • $c^*$: De prompt voor het ware signaal (als $f^* \in F_{c^*}$).
   • $c_r$: De herstel-prompt die de kandidaatset $F_{c_r}$ definieert.
   • $c_s$: De bemonsterings-prompt die wordt gebruikt om de bemonsteringsverdeling $\mu_{c_s}$ te construeren.

2. Prompt-compatibiliteitsfactor ($\Lambda$): Om de interactie tussen deze prompts te kwantificeren, definiëren de auteurs een Prompt-compatibiliteitsfactor:
   $$\Lambda(c_1, c_2, c_3) = \max_{i \in D} \frac{K(F_{c_1} - F_{c_2})(i)}{\mu_{c_3}(i)}$$
   waarbij $K$ de gegeneraliseerde Christoffelfunctie is die de "informativiteit" van een Fourier-coördinaat meet voor het onderscheiden van signalen in een klasse, en $\mu$ de bemonsteringsverdeling is.

   • $\Lambda(c_r, c_r, c_s)$ beheert de bemonsteringscomplexiteit die vereist is voor stabiel herstel.
   • $\Lambda(c^*, c_r, c_s)$ beheert de reconstructiefout (benaderingsfout) wanneer het ware signaal niet overeenkomt met de herstel-prompt.

3. Theoretische analyse: Het artikel leidt grenzen voor de bemonsteringscomplexiteit af voor twee klassen van conditionele generators:

   • ReLU-netwerken: Aannemende een bias-vrij, feedforward ReLU-netwerk met diepte $d$.
   • Lipschitz-generators: Aannemende dat de generator $L$-Lipschitz is op de latente bal.
     In beide gevallen tonen de grenzen aan dat het aantal metingen $m$ schaalt met $\Lambda$, de complexiteit van de generator (bijvoorbeeld breedte/diepte voor ReLU, Lipschitz-constante $L$), en de minimale bemonsteringswaarschijnlijkheid $\mu$.

4. Herstelgaranties: Onder de Set-beperkte Eigenwaarde-voorwaarde (S-REC) bewijzen de auteurs dat de reconstructiefout begrensd is door de beste benaderingsfout in de herstelklasse, versterkt met $\sqrt{\Lambda(c^*, c_r, c_s)}$, plus termen voor ruis en optimalisatiefout.

Belangrijkste bijdragen

• Formulering: Een unificerend kader voor prompt-voorwaardelijke GCS dat expliciet de rollen van prompts in bemonsteringsontwerp en herstelmodellering scheidt.
• Theoretische maatstaf: De introductie van de Prompt-compatibiliteitsfactor $\Lambda$, die de analyse van bemonstering-herstel-mismatch en signaal-herstel-mismatch verenigt tot één statistiek die zowel de bemonsteringscomplexiteit als foutgrenzen beheerst.
• Grenzen voor bemonsteringscomplexiteit: Expliciete grenzen voor ReLU- en Lipschitz-conditionele generators, die aantonen dat prompt-mismatch een straf oplevert (verhoogde bemonsteringscomplexiteit) die evenredig is met de divergentie tussen de bemonsterings- en herstelgeometrieën.
• Empirische validatie: Experimenten met Stable Diffusion 1.5 (SD15) tonen aan dat:
  • Prompts Christoffel-bemonsteringsverdelingen betekenisvol herschikken (door massa te concentreren op verschillende Fourier-frequenties).
  • Mismatches tussen bemonsterings- en herstel-prompts ($c_s \neq c_r$) de compatibiliteitsfactor $\Lambda$ verhogen.
  • Reconstructieprestaties gevoelig zijn voor deze mismatches, hoewel de auteurs opmerken dat onvoorwaardelijk herstel ($c_r = \text{""}$) vaak robuust presteerde in hun specifieke experimentele opstelling, mogelijk vanwege de flexibiliteit van het onvoorwaardelijke model of de specifieke optimalisatiedynamiek.

Resultaten

• Theoretisch: Het artikel bewijst dat stabiel herstel met hoge waarschijnlijkheid mogelijk is als het aantal metingen schaalt met $\Lambda(c_r, c_r, c_s)$. Als $c_s = c_r$, reduceert $\Lambda$ tot de standaard Christoffel-complexiteitsconstante. Als $c_s \neq c_r$, kan $\Lambda$ groeien, wat de behoefte aan meer steekproeven weerspiegelt om signaaleigenschappen relevant voor $c_r$ te vangen die ondervertegenwoordigd zijn in de op $c_s$ gebaseerde bemonstering.
• Experimenteel:
  • Bemonsteringsverdelingen: Verschillende prompts (bijvoorbeeld "zonsondergangstrand" versus "kat") induceren verschillende bemonsteringsverdelingen, waarbij gepaarde paren $\Lambda$ minimaliseren.
  • Reconstructie: In "in-range" experimenten (waarbij het ware signaal door het model wordt gegenereerd), verbeterde bemonstering met een semantisch vergelijkbare prompt ($c_s$ dicht bij $c^*$) de PSNR en SSIM in vergelijking met mismatchende prompts.
  • CFG-ablatie: De auteurs vonden dat hoge Classifier-Free Guidance (CFG)-waarden (bijvoorbeeld 7,5) de generator te sterk beperkten, wat leidde tot slechtere reconstructieprestaties in vergelijking met lagere CFG-waarden (bijvoorbeeld 1), wat suggereert dat de "effectieve" herstelklasse sterk afhankelijk is van hyperparameters.

Betekenis en claims
Het artikel claimt vast te stellen dat prompts moeten worden behandeld als ontwerptel met onderscheidende effecten op sensing (bemonsteringsverdeling), benadering (herstelklasse) en de interactie tussen beide. De primaire betekenis ligt in het uitbreiden van GCS-theorie naar voorwaardelijke settings, waarbij wordt aangetoond dat:

1. Actieve learning is prompt-afhankelijk: De optimale bemonsteringsstrategie hangt af van de specifieke prompt die voor herstel wordt gebruikt, niet alleen van de signaalklasse.
2. Mismatch-straffen: Er is een expliciete theoretische kost (in termen van bemonsteringscomplexiteit en foutversterking) wanneer de bemonsterings-prompt niet overeenkomt met de herstel-prompt.
3. Praktische implicaties: Hoewel de theorie geïdealiseerde generatorenklassen aanneemt, suggereren de experimenten met Stable Diffusion dat prompt-conditionering de gegenereerde bemonsteringsverdelingen substantieel kan veranderen en de reconstructiekwaliteit kan beïnvloeden, hoewel de wisselwerking met optimalisatie-hyperparameters (zoals CFG) complex is.

De auteurs merken nederig op dat hun theorie van toepassing is op geïdealiseerde generatorenklassen (ReLU/Lipschitz) en dat moderne diffusiemodellen complexe abstracties van deze klassen zijn. Zij suggereren dat toekomstig werk divergentie-gebaseerde versies van $\Lambda$ moet onderzoeken en de effectieve Lipschitz-constanten van praktische diffusiemodellen onder variërende CFG-schalen beter moet karakteriseren.