Resumo Técnico: Geração de Imagens Personalizada via Otimização Bayesiana com Human-in-the-loop

1. Definição do Problema

Apesar dos rápidos avanços nos modelos de difusão (ex: FLUX, Stable Diffusion 3), permanece uma lacuna fundamental entre a imagem mental de um usuário ($x^*$) e a melhor imagem ($x_p^*$) alcançável apenas através de prompts de linguagem. Essa lacuna surge porque o espaço de imagens é de maior dimensionalidade do que a linguagem, o vocabulário do usuário é limitado e os modelos conjuntos de linguagem-imagem (como o CLIP) possuem imperfeições inerentes.

Embora os usuários consigam frequentemente identificar quando uma imagem gerada está "mais próxima" de seu alvo mental do que uma anterior, eles têm dificuldade em articular as mudanças linguísticas específicas necessárias para preencher essa lacuna. Métodos existentes que dependem de prompts de linguagem, ou que exigem treinamento offline extensivo com grandes conjuntos de dados (ex: RLHF, DiffusionDPO), são insuficientes para hiper-personalização ou computacionalmente caros. O artigo enquadra isso como um problema de otimização de caixa-preta com human-in-the-loop: como refinar iterativamente uma imagem usando apenas o feedback preferencial de um usuário, sem acesso à função de satisfação interna do usuário ou ao alvo de verdade fundamental $x^*$.

2. Metodologia: MultiBO

Os autores propõem o MultiBO (Multi-Choice Preferential Bayesian Optimization), um framework interativo e livre de treinamento que otimiza a geração de imagens modificando as representações internas de um modelo de difusão com base nas preferências do usuário.

Componentes Principais

A metodologia aborda dois desafios primários: a alta dimensionalidade do espaço de imagem e a dificuldade de obter classificações numéricas precisas dos usuários.

A. Otimização Bayesiana Preferencial de Múltipla Escolha (Multi-choicePBO)

Em vez da comparação pareada padrão (A vs. B), o MultiBO apresenta ao usuário um conjunto de $K$ imagens e solicita que ele selecione as $N$ melhores opções ($N$-de-$K$).

• MultiwiseGPR: Para modelar a função de satisfação latente $f$ do usuário a partir deste feedback complexo, os autores introduzem um modelo de verossimilhança MultiwiseGaussian Process Regression (MultiwiseGPR). Este estende o modelo Binomial-Probit/Logit padrão usado em otimização de preferência pareada para um framework Multinomial-Logit. Ele mapez a probabilidade de um usuário selecionar um subconjunto específico de imagens para os valores da função latente, permitindo que o sistema infira $f$ de forma mais eficiente com menos consultas.
• Função de Aquisição Dynamic Balanced Subspace (DBS): O Expected Improvement (EI) padrão é computacionalmente intratável quando se otimiza sobre $K$ escolhas conjuntamente. Os autores propõem a DBS, uma função de aquisição leve que:
  1. Computa uma amostra única de Expected Improvement ($x_{EI}$).
  2. Constrói $K$ pontos "âncora" (vetores de ponte) entre a estimativa atual do melhor ($\hat{x}^*$) e $x_{EI}$.
  3. Amostra perturbações de um subespaço dinâmico $\Omega \subseteq Y$. Este subespaço é determinado pelo spectral gap da matriz de covariância do gradiente da posterior do GPR, garantindo que as $K$ escolhas apresentadas ao usuário cubram as dimensões visualmente mais significativas do espaço latente, mantendo a diversidade.

B. Deformação de Auto-atenção (Self-Attention Warping)

A otimização direta no espaço latente de alta dimensão ($D \approx 16k$) é inviável. O MultiBO otimiza, em vez disso, o mecanismo de auto-atenção do modelo de difusão (especificamente as matrizes de Consulta, Chave e Valor — $Q, K, V$).

• Espaço de Transformação: A otimização é restrita a um espaço de transformações de deformação válidas (uma composição de transformações Afins e Thin-Plate Spline) aplicadas às características de atenção.
• Racional: A auto-atenção controla atributos espaciais, textura e forma. Ao deformar essas características, o MultiBO pode induzir mudanças semânticas globais e locais sem o custo dimensional da otimização no espaço de pixels. Isso evita a necessidade de cross-attention (que está ligada ao prompt de texto) e foca em refinar o resultado visual.

Fluxo de Trabalho

1. Inicialização: Gerar uma imagem inicial $x_p^*$ a partir de um prompt.
2. Iteração (até $B$ rodadas):
   • O módulo DBS propõe $K$ conjuntos de parâmetros de deformação.
   • Esses parâmetros são aplicados às características de auto-atenção do modelo de difusão para gerar $K$ imagens candidatas.
   • O usuário seleciona as $N$ melhores imagens.
   • O modelo MultiwiseGPR atualiza sua crença posterior da função de satisfação $f$.
   • O processo se repete até que o orçamento $B$ seja esgotado, resultando na imagem otimizada final $\hat{x}^*$.

3. Principais Contribuições

1. Framework de Preferência de Múltipla Escolha: O artigo demonstra que o feedback de preferência $N$-de-$K$ fornece informações significativamente mais ricas do que as comparações pareadas, reduzindo a carga de consulta do usuário. Isso é formalizado matematicamente via a verossimilhança MultiwiseGPR e uma função de aquisição correspondente.
2. Otimização no Espaço de Atenção: Diferente de métodos que otimizam vetores de ruído ou o espaço de pixels, o MultiBO otimiza as características de auto-atenção ($Q, K, V$) usando um espaço de transformação de deformação restrito. Isso equilibra a necessidade de edição expressiva com a viabilidade computacional.
3. Personalização Livre de Treinamento: A abordagem não requer treinamento offline em grandes conjuntos de dados ou ajuste fino (fine-tuning) do modelo de difusão. Ela opera inteiramente durante a inferência, tornando-a agnóstica ao modelo e adaptável às preferências individuais de cada usuário.
4. Seleção de Subespaço Dinâmico: A função de aquisição DBS identifica adaptativamente as dimensões mais influentes para a otimização, evitando que a busca colapse em variações redundantes.

4. Resultados Experimentais

Os autores avaliaram o MultiBO contra cinco categorias de baselines: alinhamento de preferência baseado em treinamento (DiffusionDPO, IterComp), métodos de inferência livres de treinamento (DEMON, DNO, DAS) e variantes do MultiBO guiadas por métricas.

• Alinhamento de Alvo: O MultiBO superou significativamente todos os baselines nas métricas CLIP-I2I e LPIPS (medindo a similaridade com o alvo $x^*$), alcançando resultados comparáveis ao limite superior "Oracle" guiado por L2. Notavelmente, superou variantes onde o humano foi substituído por modelos de recompensa automatizados (ex: MultiBOCLIP-I2I), validando que o feedback humano captura nuances perdidas por métricas de aproximação.
• Métricas de Preferência: O MultiBO obteve pontuações competitivas ou superiores em métricas de recompensa padrão (ImageReward, Aesthetic, HPSv2) em comparação com métodos baseados em treinamento, apesar de não utilizar dados de treinamento.
• Robustez: Ao contrário de alguns baselines (ex: DNO, DAS) que sofreram de "reward hacking" (gerando imagens ruins que pontuavam alto em métricas específicas), o MultiBO manteve a integridade visual.
• Avaliação Humana: Em um estudo com 30 voluntários, o MultiBO alcançou uma taxa de vitória de 70,82% na seleção da imagem mais próxima do alvo, superando significativamente todos os baselines (o segundo melhor foi 15,60%).
• Estudos de Ablação:
  • Multiwise vs. Pairwise: O feedback de múltipla escolha ($K=4$) convergiu mais rápido e com maior qualidade do que o pareado ($K=2$).
  • Tamanho do Conjunto de Escolhas: $K=4$ ofereceu o melhor equilíbrio entre ganho de informação e carga cognitiva do usuário; $K=10$ levou a retornos decrescentes.
  • Seleção de Camada: Editar as camadas de auto-atenção do meio para o final (camadas do decoder) produziu o melhor controle espacial sem destruir a estrutura semântica.
  • Timesteps: Editar durante os passos iniciais e intermediários de denoising proporcionou maior liberdade de direcionamento.

5. Significância e Alegações

O artigo afirma que o MultiBO consegue reduzir efetivamente a lacuna do "último quilômetro" entre a imaginação de um usuário e o output do modelo generativo. Sua significância reside em:

• Eficiência: Alcançar personalização de alta fidelidade com apenas ~50 consultas do usuário, evitando o custo computacional de treinar grandes modelos de recompensa.
• Design Centrado no Humano: Ao aproveitar a capacidade humana de julgar a qualidade relativa (preferência) em vez da qualidade absoluta (classificação), o sistema contorna as limitações do prompting de linguagem e dos modelos de recompensa imperfeitos.
• Praticidade: O método é livre de treinamento e agnóstico ao modelo, oferecendo um caminho viável para a geração de imagens hiper-personalizadas sem a necessidade de conjuntos de dados massivos ou hardware especializado para treinamento.

Os autores reconhecem limitações, observando que a otimização pode estagnar em cenários onde as preferências do usuário são ambíguas (escolhas igualmente ruins ou boas) e que o espaço de deformação restrito pode limitar o escopo das edições possíveis em comparação com a otimização total do espaço latente. Trabalhos futuros são propostos para incorporar priors informados de modelos de recompensa pré-treinados e explorar estratégias de otimização de alta dimensão mais adequadas à geometria da difusão latente.