Resumo Técnico: Ajuste de Identidade Latente em Modelos de Personalização de Texto-para-Imagem

Problema

Os métodos atuais de personalização de texto-para-imagem (T2I) são excelentes na reprodução da identidade de um sujeito a partir de imagens de referência em diversos prompts. No entanto, eles carecem da precisão necessária para a edição de identidade de grão fino (fine-grained). Embora os usuários possam desejar modificar atributos faciais específicos (ex: adicionar uma barba, alterar o formato do nariz ou alterar a abertura dos olhos) mantendo a identidade central, as abordagens existentes frequentemente falham em oferecer controle localizado. A edição de imagem padrão opera em uma única imagem gerada, falhando em garantir que a modificação persista consistentemente em novas gerações. Além disso, a edição guiada por texto tem dificuldade em expressar mudanças faciais sutis e localizadas sem alterar a identidade percebida do sujeito ou introduzir artefatos globais.

Metodologia

Os autores propõem o Ajuste de Identidade Latente (Latent-Identity Tuning), um framework que opera diretamente na representação de identidade latente dentro de um codificador de personalização pré-treinado e congelado (utilizando especificamente Q-Formers). Em vez de retreinar o modelo ou otimizar por imagem, o método explora o espaço latente do codificador para descobrir direções semânticas para edição.

1. Análise do Espaço de Tokens de Identidade

O framework aproveita a observação de que os adaptadores Q-Former em modelos de personalização produzem um conjunto de tokens de identidade ($Z \in \mathbb{R}^{N \times C}$). Esses tokens não são monolíticos; em vez disso, exibem uma organização estruturada e parcialmente desvinculada (disentangled), onde tokens específicos ou subconjuntos de tokens correspondem a distintas regiões espaciais ou semânticas faciais (ex: olhos, lábios, nariz).

2. Seleção de Tokens

Para permitir a edição localizada, o método identifica o subconjunto específico de tokens ($S$) relevante para um atributo alvo:

• Atributos Localizados: Para partes faciais específicas (ex: lábios), o método constrói imagens pareadas ($I, I_{patch}$), onde um patch é colado na região alvo. Ao computar a diferença nas representações de identidade ($\Delta Z$), ele seleciona os top-$k$ tokens com a maior magnitude de mudança. Este subconjunto é reutilizado para todos os sujeitos.
• Atributos Globais: Para atributos que abrangem todo o rosto (ex: sardas, tom de pele), o método treina SVMs lineares nas características individuais dos tokens para prever rótulos de atributos. Os tokens cujos classificadores alcançam alta acurácia de validação são selecionados como o subconjunto relevante.

3. Técnicas de Ajuste

Uma vez identificados os tokens relevantes, o framework aplica diversas estratégias de manipulação:

• Interpolação Global e Local: O método interpola entre representações de identidade ($Z_A$ e $Z_B$). Ao interpolar apenas um subconjunto selecionado de tokens ($Z_S$), ele permite a transferência de identidade localizada (ex: transplantar sobrancelhas de uma pessoa para outra) enquanto preserva o restante da identidade.
• Direções Lineares Supervisionadas: Usando conjuntos de dados com rótulos de atributos binários (ex: CelebA), o método aprende direções de edição via:
  • Estimador de Diferença de Média: Calculando a diferença entre as representações médias de amostras positivas e negativas.
  • Estimador Baseado em SVM: Usando o vetor normal do hiperplano de um SVM linear como a direção de edição. Os autores observam que SVMs são frequentemente mais eficazes para edições de grão fino (ex: bochechas rosadas), enquanto a diferença de média é melhor para mudanças pronunciadas (ex: barba).
• Direções Lineares Não Supervisionadas: Usando Análise de Componentes Principais (PCA) nas representações de identidade.
  • PCA Global: Captura correlações em todos os tokens para edições globais (ex: idade).
  • PCA por Token/Grupo: Aplicar PCA a tokens específicos ou subconjuntos selecionados revela controles localizados (ex: cor dos olhos, abertura dos olhos).

4. Atualizações de Preservação de Norma

Para garantir que as edições permaneçam dentro da distribuição do espaço latente, o método aplica uma atualização de preservação de norma (Eq. 2). Ele centraliza o vetor, adiciona uma direção escalonada e reescala o resultado para preservar a distância original da média do conjunto de dados.

Principais Contribuições

1. Definição de Ajuste de Identidade: O artigo formaliza a tarefa de modificar a representação de identidade latente propriamente dita para garantir edições persistentes e consistentes através de diversas gerações, distinta da edição de imagem única.
2. Descoberta de Espaço Latente Estruturado: Demonstra que o espaço de tokens de identidade de codificadores de personalização baseados em Q-Former é estruturado e interpretável, com tokens mapeando para regiões faciais específicas.
3. Mecanismo de Seleção de Tokens: Um método inovador para isolar tokens relevantes para atributos faciais específicos usando análise de diferença baseada em patch ou classificação supervisionada.
4. Framework de Controle de Grão Fino: Um conjunto de técnicas (interpolação, direções lineares supervisionadas/não supervisionadas) que permitem edições contínuas, localizadas e semanticamente coerentes sem treinamento adicional do modelo.

Resultados

O framework foi validado utilizando codificadores Omni-ID e PuLID com o modelo T2I Flux.dev, avaliados nos conjuntos de dados FFHQ e CelebA.

• Desempenho Qualitativo: O método realiza com sucesso edições difíceis de expressar via texto, como modificar o formato do nariz, adicionar estilos de barba específicos ou transferir regiões perioculares (sobrancelhas/pálpebras) entre identidades. A identidade editada permanece consistente através de variados prompts (fundos, poses, estilos).
• Comparação Quantitativa: Comparado aos baselines como PreciseControl, Weights2Weights e Flux Kontext (variantes Direta e Sequencial), o método proposto alcança:
  • Maior Consistência de Identidade: Medida por similaridade de cosseno ArcFace entre imagens geradas.
  • Maior Adesão à Edição: Melhor alinhamento com a modificação solicitada.
  • Maior Adesão ao Prompt: Melhor alinhamento com a descrição da cena alvo.
  • Estudo de Usuário: Em uma comparação pareada envolvendo 250 julgamentos, o método proposto foi preferido em relação a todos os baselines em Preservação de Identidade, Consistência de Identidade, Adesão à Edição, Adesão ao Prompt e Preferência Geral (taxas de vitória variando de 70% a 96%).

Significância

O artigo afirma que o espaço de tokens de identidade em codificadores de personalização é interpretável e controlável com granularidade facial fina. Ao mudar o foco da edição ao nível da imagem para o ajuste da identidade latente, os autores permitem que os usuários refinem aspectos delicados da identidade visual (ex: abertura dos olhos, textura de sardas) com alta precisão. A significância reside em fornecer um mecanismo para modificação de identidade persistente, consistente e localizada que não requer otimização por imagem ou retreinamento, superando assim as limitações das abordagens atuais de edição de imagem e de texto guiado no contexto de faces humanas.