When Few Steps Are Enough: Training-Free Acceleration of Identity-Preserved Generation

Resumo Técnico: Aceleração sem Treinamento da Geração com Preservação de Identidade

Declaração do Problema
A geração de imagens com preservação de identidade, essencial para criação de conteúdo personalizado e geração de avatares, normalmente depende de backbones de difusão multi-etapa (por exemplo, 28 etapas). Embora métodos baseados em adaptadores, como o InfiniteYou, injetem com sucesso embeddings de identidade (por exemplo, ArcFace) em modelos como o FLUX, o custo de implantação permanece alto devido aos cronogramas de amostragem padrão de muitas etapas herdados do backbone base. A suposição implícita nas pipelines atuais é que etapas adicionais de remoção de ruído são necessárias para melhorar simultaneamente todos os objetivos: qualidade visual, alinhamento com o texto e fidelidade de identidade. Este artigo desafia essa suposição, questionando se geradores condicionados à identidade requerem a trajetória completa para preservar a identidade.

Metodologia
Os autores propõem uma estratégia de substituição de backbone destilado sem treinamento. O método central envolve:

1. Substituição do Backbone: Substituir o backbone padrão FLUX.1-dev de 28 etapas pelo backbone destilado FLUX.1-schnell de 4 etapas.
2. Alterações de Configuração: Apenas dois ajustes de configuração são necessários: alterar o caminho do modelo base e desativar a orientação livre de classificadores (CFG), que é padrão para o FLUX.1-schnell.
3. Componentes Congelados: O adaptador de identidade (InfuseNet), o codificador facial (ArcFace) e todas as escalas de condicionamento permanecem completamente congelados. Nenhum peso é re-treinado, ajustado finamente ou adaptado via LoRA.

A hipótese que impulsiona essa abordagem é que a fidelidade de identidade entra em um "regime efetivo precoce" dentro das primeiras etapas de remoção de ruído (observado entre 4 e 8 etapas), onde a estrutura facial grosseira e a geometria específica da identidade são formadas. As etapas subsequentes refinam principalmente detalhes visuais, nitidez e contraste, oferecendo retornos decrescentes para a preservação de identidade.

Principais Contribuições

• Transferência sem Treinamento: Demonstra que um adaptador de identidade InfuseNet congelado, treinado no FLUX.1-dev, transfere-se diretamente para o backbone destilado FLUX.1-schnell sem re-treinamento.
• Melhoria no Compromisso Eficiência–Fidelidade: Alcança uma redução de 5,9× na latência enquanto melhora simultaneamente a similaridade de identidade e a distância perceptual em comparação com a linha de base de 28 etapas.
• Identificação de uma Janela Precoce Efetiva para Identidade: Estabelece que a similaridade de identidade satura cedo na trajetória de remoção de ruído, tornando a trajetória completa de 28 etapas ineficiente para preservação de identidade.
• Análise Mecanística: Através de ablações de adaptadores e sondas de norma de fluxo de atenção, o artigo mostra que a formação de identidade depende fortemente do adaptador nas etapas iniciais, enquanto a contribuição relativa do fluxo de condicionamento diminui à medida que a amostragem avança. As etapas posteriores focam no refinamento visual em vez da formação de identidade.
• Verificações de Sanidade Mais Amplas: Varreduras preliminares no SDXL (adaptador de estilo) e SD1.5 (adaptador de objeto) sugerem retornos decrescentes semelhantes após etapas intermediárias, indicando que esse fenômeno pode se estender além do FLUX.

Resultados Experimentais
Avaliado em 28 identidades FFHQ através de três prompts (retrato, praia, terno profissional):

• Latência: Reduzida de 10,29s para 1,73s por imagem (aceleração de 5,9×).
• Similaridade de Identidade (ArcFace): Melhorada de 0,5872 para 0,6150 (+0,0278).
• Distância Perceptual (LPIPS): Melhorada de 0,7253 para 0,7097 (−0,0156).
• Análise de Varredura de Etapas: Nas varreduras do FLUX.1-dev, a similaridade de identidade aumentou rapidamente, atingindo um regime de alta fidelidade entre 4 e 8 etapas (por exemplo, 0,615 em 8 etapas) antes de saturar ou declinar ligeiramente. Em contraste, métricas visuais como nitidez e confiança de detecção facial continuaram a melhorar significativamente até a etapa 28.
• Necessidade do Adaptador: Estudos de ablação confirmaram que, sem o adaptador (ou com uma escala fraca), a similaridade de identidade permaneceu próxima de zero, provando que o adaptador impulsiona a formação de identidade, que ocorre cedo no processo.

Significado e Afirmações
O artigo posiciona a substituição de backbone destilado como uma estratégia simples, orientada para implantação, para melhorar o compromisso eficiência–fidelidade na geração com preservação de identidade. Os autores afirmam explicitamente que 4 etapas não são um ótimo universal; em vez disso, o número ótimo de etapas depende do sujeito e do prompt. No entanto, as descobertas identificam uma "janela precoce efetiva para identidade" robusta, onde a identidade já está estabelecida.

O significado reside em desacoplar o cronograma de amostragem da suposição de que mais etapas sempre resultam em melhor preservação de identidade. Ao reconhecer que a formação de identidade satura cedo, os autores demonstram que backbones destilados existentes podem ser aproveitados como substituições "plug-and-play" para reduzir drasticamente os custos de inferência sem sacrificar, e neste caso, até mesmo melhorar, a fidelidade de identidade. O trabalho sugere que o orçamento de amostragem deve ser tratado como um parâmetro primário de implantação para geração condicionada por adaptador.

Limitações Reconhecidas
Os autores observam que o número ótimo de etapas varia conforme o sujeito e o prompt, e que a similaridade do ArcFace é uma métrica imperfeita, particularmente sob estilização forte. As sondas mecanísticas são diagnósticas e não provas causais definitivas. Além disso, os resultados mais fortes dependem da compatibilidade específica entre FLUX.1-dev e FLUX.1-schnell; a generalização para outras famílias de backbone não é garantida sem estudos adicionais.