Active Learning for Conditional Generative Compressed Sensing

Enunciado do Problema
A Compressão Gerativa (GCS) recupera sinais estruturados a partir de medições subamostradas, assumindo que o sinal reside próximo à imagem de um modelo generativo pré-treinado $G$. Embora a teoria existente estabeleça garantias de recuperação para modelos incondicionais sob medições gaussianas, aplicações práticas frequentemente envolvem transformadas unitárias estruturadas e subamostradas (por exemplo, medições de Fourier em Ressonância Magnética) e possuem informações auxiliares disponíveis no momento da aquisição ou da inferência. Este artigo aborda a lacuna na Compressão Gerativa Condicional, onde o modelo generativo é condicionado a prompts (por exemplo, descrições textuais, metadados). O desafio central é que a condicionamento introduz uma interação tripartida: o prompt definindo o sinal verdadeiro ($c^*$), o prompt usado para projetar a distribuição de amostragem ($c_s$) e o prompt usado para definir o modelo de recuperação ($c_r$). Discrepâncias entre esses prompts podem levar a estratégias de amostragem subótimas ou reconstruções enviesadas, no entanto, as estruturas existentes tratam o condicionamento majoritariamente como um prior estático, em vez de uma variável de design dinâmica tanto para a sensibilidade quanto para a recuperação.

Metodologia
Os autores formulam uma estrutura para Aprendizado Ativo Condicionado a Prompts sob medições de Fourier subamostradas, adaptando a abordagem de Amostragem de Christoffel para Aprendizado de Máquina (CS4ML).

1. Classes de Modelos Condicionados a Prompts: O espaço de sinais é definido por um gerador condicional $G(z, c)$, onde $z$ é um vetor latente e $c$ é um prompt. Os autores distinguem três prompts:

   • $c^*$: O prompt do sinal verdadeiro (se $f^* \in F_{c^*}$).
   • $c_r$: O prompt de recuperação definindo o conjunto candidato $F_{c_r}$.
   • $c_s$: O prompt de amostragem usado para construir a distribuição de amostragem $\mu_{c_s}$.

2. Fator de Compatibilidade de Prompt ($\Lambda$): Para quantificar a interação entre esses prompts, os autores definem um Fator de Compatibilidade de Prompt:
   $$\Lambda(c_1, c_2, c_3) = \max_{i \in D} \frac{K(F_{c_1} - F_{c_2})(i)}{\mu_{c_3}(i)}$$
   onde $K$ é a função de Christoffel generalizada que mede a "informatividade" de uma coordenada de Fourier para distinguir sinais em uma classe, e $\mu$ é a distribuição de amostragem.

   • $\Lambda(c_r, c_r, c_s)$ controla a complexidade de amostragem necessária para uma recuperação estável.
   • $\Lambda(c^*, c_r, c_s)$ controla o erro de reconstrução (erro de aproximação) quando o sinal verdadeiro não corresponde ao prompt de recuperação.

3. Análise Teórica: O artigo deriva limites de complexidade de amostragem para duas classes de geradores condicionais:

   • Redes ReLU: Assumindo uma rede feedforward ReLU sem viés e de profundidade $d$.
   • Geradores Lipschitz: Assumindo que o gerador é $L$-Lipschitz na bola latente.
     Em ambos os casos, os limites mostram que o número de medições $m$ escala com $\Lambda$, a complexidade do gerador (por exemplo, largura/profundidade para ReLU, constante Lipschitz $L$) e a probabilidade mínima de amostragem $\mu$.

4. Garantias de Recuperação: Sob a Condição de Autovalor Restrito ao Conjunto (S-REC), os autores provam que o erro de reconstrução é limitado pelo melhor erro de aproximação na classe de recuperação, amplificado por $\sqrt{\Lambda(c^*, c_r, c_s)}$, mais termos para ruído e erro de otimização.

Principais Contribuições

• Formulação: Uma estrutura unificada para GCS condicionada a prompts que separa explicitamente os papéis dos prompts no design de amostragem e na modelagem de recuperação.
• Métrica Teórica: A introdução do Fator de Compatibilidade de Prompt $\Lambda$, que unifica a análise do desajuste entre amostragem e recuperação e do desajuste entre sinal e recuperação em uma única estatística governando tanto a complexidade de amostragem quanto os limites de erro.
• Limites de Complexidade de Amostragem: Limites explícitos para geradores condicionais ReLU e Lipschitz, demonstrando que o desajuste de prompt incorre em uma penalidade (complexidade de amostragem aumentada) proporcional à divergência entre as geometrias de amostragem e recuperação.
• Validação Empírica: Experimentos usando Stable Diffusion 1.5 (SD15) demonstram que:
  • Prompts remodelam significativamente as distribuições de amostragem de Christoffel (concentrando massa em diferentes frequências de Fourier).
  • Desajustes entre prompts de amostragem e recuperação ($c_s \neq c_r$) aumentam o fator de compatibilidade $\Lambda$.
  • O desempenho de reconstrução é sensível a esses desajustes, embora os autores observem que a recuperação incondicional ($c_r = \text{""}$) frequentemente se comportou de forma robusta em sua configuração experimental específica, possivelmente devido à flexibilidade do modelo incondicional ou às dinâmicas específicas de otimização.

Resultados

• Teórico: O artigo prova que a recuperação estável é possível com alta probabilidade se o número de medições escalar com $\Lambda(c_r, c_r, c_s)$. Se $c_s = c_r$, $\Lambda$ reduz-se à constante de complexidade de Christoffel padrão. Se $c_s \neq c_r$, $\Lambda$ pode crescer, refletindo a necessidade de mais amostras para capturar características de sinal relevantes para $c_r$ que estão sub-representadas na amostragem baseada em $c_s$.
• Experimental:
  • Distribuições de Amostragem: Prompts diferentes (por exemplo, "praia ao pôr do sol" vs. "gato") induzem distribuições de amostragem distintas, com pares correspondentes minimizando $\Lambda$.
  • Reconstrução: Em experimentos "dentro do intervalo" (onde o sinal verdadeiro é gerado pelo modelo), a amostragem com um prompt semanticamente similar ($c_s$ próximo de $c^*$) melhorou o PSNR e o SSIM em comparação com prompts desajustados.
  • Ablação CFG: Os autores descobriram que valores altos de Guia Livre de Classificador (CFG) (por exemplo, 7,5) restringiram o gerador excessivamente, levando a um desempenho de reconstrução inferior em comparação com valores de CFG mais baixos (por exemplo, 1), sugerindo que a classe de recuperação "efetiva" é altamente dependente de hiperparâmetros.

Significado e Alegações
O artigo afirma estabelecer que prompts devem ser tratados como variáveis de design com efeitos distintos na sensibilidade (distribuição de amostragem), na aproximação (classe de recuperação) e na interação entre eles. O significado principal reside na extensão da teoria GCS para configurações condicionais, mostrando que:

1. Aprendizado Ativo é Dependente de Prompt: A estratégia de amostragem ótima depende do prompt específico usado para recuperação, e não apenas da classe de sinal.
2. Penalidades de Desajuste: Existe um custo teórico explícito (em termos de complexidade de amostragem e amplificação de erro) quando o prompt de amostragem não se alinha com o prompt de recuperação.
3. Implicações Práticas: Embora a teoria assuma geradores idealizados, os experimentos com Stable Diffusion sugerem que o condicionamento por prompt pode alterar substancialmente as distribuições de amostragem induzidas e influenciar a qualidade da reconstrução, embora a interação com hiperparâmetros de otimização (como CFG) seja complexa.

Os autores observam modestamente que sua teoria se aplica a classes de geradores idealizadas (ReLU/Lipschitz) e que os modelos de difusão modernos são abstrações complexas dessas classes. Eles sugerem que trabalhos futuros devem investigar versões baseadas em divergência de $\Lambda$ e caracterizar melhor as constantes Lipschitz efetivas de modelos de difusão práticos sob diferentes escalas de CFG.