Resumo Técnico: Projeção de Subespaço Adaptativo para Personalização Generativa

Declaração do Problema

A personalização generativa visa adaptar modelos de difusão texto-para-imagem (T2I) pré-treinados para representar conceitos específicos definidos pelo usuário (por exemplo, uma pessoa ou objeto específico) usando poucas imagens de referência, mantendo a capacidade de inserir esses conceitos em novos contextos por meio de prompts de linguagem natural. No entanto, esses métodos frequentemente sofrem de Colapso Semântico (SCP). Nesse modo de falha, o token de conceito personalizado aprendido sobrepõe o restante do prompt de texto, fazendo com que o modelo ignore detalhes contextuais críticos, relações e outras entidades.

Os autores identificam que o SCP não é meramente ruído aleatório ou simples sobreajuste. Em vez disso, manifesta-se como uma deriva semântica onde o token personalizado domina a representação do prompt, suprimindo efetivamente a influência dos tokens de contexto circundantes. Essa questão persiste mesmo quando o embedding do token de classe base permanece inalterado e afeta não apenas a classe-alvo, mas também classes relacionadas (por exemplo, um token "homem" personalizado influenciando a geração de uma "criança"). Métodos existentes de ajuste no momento do teste tentam mitigar isso por meio de correções globais (por exemplo, interpolação linear esférica), mas essas frequentemente dependem de embeddings de classe pós-personalização potencialmente enviesados e aplicam ajustes grosseiros que falham em abordar a deriva residual estruturada e consistente com o contexto.

Metodologia: AdaptSP

O artigo propõe o AdaptSP (Ajuste de Embedding no Momento do Teste com Projeção de Subespaço Adaptativo), um método sem treinamento projetado para desacoplar a identidade do sujeito do contexto no momento da inferência. A metodologia baseia-se em dois insights analíticos fundamentais:

1. Resíduos de Identidade Estáveis ao Contexto: A diferença entre o embedding de um prompt personalizado e seu embedding de prompt baseado em classe correspondente (o resíduo) é altamente consistente em diversos contextos. Esse resíduo codifica principalmente a identidade invariante ao contexto do sujeito, enquanto o prompt baseado em classe codifica o contexto.
2. Estrutura de Subespaço de Baixa Dimensão: Esses resíduos de identidade não estão distribuídos aleatoriamente no espaço de embedding de alta dimensão. Em vez disso, estão concentrados dentro de um subespaço específico e de baixa dimensão. A Análise de Componentes Principais (PCA) revela que um pequeno número de componentes principais captura a maioria da variância nesses resíduos.

O Algoritmo AdaptSP:
Em vez de aplicar uma correção global a todo o embedding, o AdaptSP realiza um ajuste direcionado:

• Âncora Estável: Utiliza o codificador de texto pré-treinado original ($\tau_{\phi_0}$) para calcular o embedding do prompt baseado em classe. Isso evita o viés introduzido pelo codificador ajustado, que pode ter distorcido a semântica da classe base.
• Extração de Resíduo: Calcula o embedding residual entre o prompt personalizado e o prompt de classe.
• Projeção de Subespaço Adaptativo: Projeta esse resíduo em um subespaço de baixa dimensão construído via PCA a partir de um conjunto de prompts de contexto diversos. Isso isola a "deriva estruturada" (identidade) do ruído.
• Reconstrução: O embedding final usado para geração é a soma da âncora baseada em classe estável e do resíduo projetado.

Essa abordagem permite que o modelo injete a identidade do sujeito enquanto preserva estritamente a estrutura semântica do contexto do prompt, impedindo que o token de identidade domine entidades ou atributos não relacionados.

Contribuições Principais

1. Análise de Embeddings Residuais: Os autores demonstram que os embeddings residuais (a diferença entre prompts personalizados e de classe) são altamente consistentes em diversos prompts, sugerindo que codificam uma identidade de sujeito invariante ao contexto.
2. Caracterização de Subespaço: Eles mostram que a deriva induzida pela personalização está concentrada em um subespaço de baixa dimensão, motivando uma correção baseada em projeção em vez de um ajuste global.
3. Framework AdaptSP: Introduzem um método no momento do teste, sem treinamento, que desacopla a identidade do contexto condicionando-se a um prompt de classe estável e injetando apenas o resíduo projetado. Isso mitiga a dominação do prompt no SCP enquanto mantém a fidelidade do sujeito.
4. Validação Empírica: Extensos experimentos mostram que o AdaptSP melhora consistentemente a fidelidade do prompt (alinhamento texto-imagem) em métodos padrão de personalização (DreamBooth, Custom Diffusion, Class Diffusion) sem comprometer a identidade do sujeito.

Resultados Experimentais

O método foi avaliado nos conjuntos de dados CelebA (rostos humanos) e CustomConcept101 (CC101) (objetos) usando os backbones Stable Diffusion v1.5 e FLUX.1-dev.

• Fidelidade do Prompt: O AdaptSP melhorou significativamente as pontuações CLIP-T (alinhamento texto-imagem), particularmente em prompts complexos com múltiplas entidades, onde os métodos de base frequentemente falham em seguir o prompt completo. Por exemplo, no conjunto de dados CelebA com DreamBooth, o AdaptSP (PR) aumentou a pontuação CLIP-Tf de 24,56 para 25,44, e no CC101, melhorou a pontuação de 14,49 para 17,31.
• Fidelidade do Sujeito: Embora algumas métricas imagem-imagem (CLIP-I, DINO) tenham mostrado pequenas diminuições em configurações específicas (atribuídas ao método reduzir o sobreajuste a fundos e texturas específicos do treinamento), avaliações humanas confirmaram que a identidade do sujeito foi bem preservada.
• Estudos de Ablação:
  • Dimensão do Subespaço: O uso de um pequeno número de componentes principais (2–5) forneceu o melhor equilíbrio entre preservar a identidade e filtrar a deriva excessiva.
  • Escolha do Codificador: O uso do codificador pré-treinado original ($\tau_{\phi_0}$) como âncora foi crucial. O uso do codificador ajustado introduziu viés, levando a uma menor fidelidade do prompt.

Significado e Alegações

O artigo alega que o colapso semântico na personalização generativa é impulsionado por uma deriva estruturada de baixa dimensão e não por ruído aleatório. Ao identificar e projetar essa deriva em um subespaço específico, o AdaptSP oferece uma solução leve e sem treinamento que melhora a fidelidade composicional em cenas complexas.

Os autores posicionam o AdaptSP como um mecanismo generalizável que pode ser integrado em pipelines de personalização existentes. Eles enfatizam que, embora o método se concentre em ajustar embeddings de prompt, o conceito de modelar deriva residual estruturada pode se estender a outras configurações de adaptação baseadas em embedding, como edição de conceitos e geração controlável. O trabalho destaca a importância de usar âncoras semânticas estáveis e pré-treinadas para prevenir a distorção do contexto durante a personalização.