Animalbooth: multimodal feature enhancement for animal subject personalization

1. Declaração do Problema

A geração de imagens personalizadas para animais enfrenta desafios únicos em comparação com a personalização de sujeitos humanos, principalmente devido a:

• Deformações Não Rígidas: Os animais exibem poses e configurações corporais diversas que variam significativamente entre espécies.
• Variações Anatômicas: Diferenças significativas nas estruturas esqueléticas e proporções corporais (por exemplo, felinos vs. bovinos).
• Requisitos Intrincados de Textura: Detalhes de alta granularidade, como padrões de pelagem, escamas e penas, são difíceis para modelos de propósito geral preservarem sem deriva de identidade.
• Lacuna de Domínio: Métodos existentes (baseados em otimização, como DreamBooth, ou sem ajuste, como IP-Adapter) frequentemente sofrem de deriva de identidade, falhando em capturar pistas específicas de animais ou perdendo texturas finas. Além disso, conjuntos de dados existentes carecem de máscaras de sujeito de alta resolução e legendas de alta granularidade necessárias para uma personalização animal precisa.

2. Metodologia: AnimalBooth

O AnimalBooth é uma estrutura sem ajuste no tempo de inferência projetada para aprimorar a preservação de identidade e a fidelidade de textura. Consiste em três componentes principais integrados a uma base Stable Diffusion v1.5:

A. Arquitetura Geral

A estrutura integra uma Animal-Net treinável com uma Photography-Net congelada.

• Animal-Net: Dedicada a refinar características animais complexas e morfologias flexíveis dentro do espaço de características, contornando problemas de alinhamento entre domínios.
• Photography-Net: Um modelo base congelado que funde características de alta granularidade extraídas com prompts de texto no espaço latente.
• Módulo Controlado por Frequência: Baseado no ControlNet, guia o processo de difusão usando filtragem por Transformada Cosseno Discreta (DCT).

B. Módulos Principais

1. Animal-Net com Gargalo Q-Former:

   • Recebe uma imagem de referência de animal, codificada por um VAE congelado e um codificador CLIP.
   • Utiliza um Q-Former como camada de projeção. Diferentemente de mapeamento estático (por exemplo, MLP), o Q-Former atua como um gargalo semântico que atende dinamicamente a características de identidade relevantes, filtrando ruído de fundo.
   • A saída é alinhada em paralelo com a Photography-Net.

2. Mecanismo de Atenção Adaptativa de Duplo Caminho:

   • Substitui a autoatenção padrão na Photography-Net.
   • Caminho de Autoatenção Congelado: Preserva a capacidade gerativa original e a compreensão semântica do Stable Diffusion.
   • Caminho de Atenção Cruzada Treinável: Injeta características de identidade animal ($F_a$) da Animal-Net.
   • Formulação Matemática: A saída combina um termo de autoatenção congelado e um termo de atenção cruzada aprendível ponderado por um coeficiente dinâmico $\lambda$:
     $$O_h = \text{Softmax}\left(\frac{QK^\top}{\sqrt{d}}\right)V + \lambda \cdot \text{Softmax}\left(\frac{Q(K_{ID})^\top}{\sqrt{d}}\right)V_{ID}$$
   • Isso permite um equilíbrio flexível entre preservação de identidade e geração criativa.

3. Integração de Características Controlada por Frequência:

   • Aplica filtragem por Transformada Cosseno Discreta (DCT) no espaço latente para guiar o processo de difusão, da estrutura grosseira à textura fina.
   • Quatro máscaras específicas são projetadas: Mini-pass, Low-pass, Mid-pass e High-pass.
   • A filtragem Low-pass é identificada como crítica para preservar a estrutura global e a morfologia (essencial para o reconhecimento animal), enquanto componentes de alta frequência são tratados pelas capacidades inerentes do modelo de difusão.

C. Estratégia de Treinamento

O treinamento segue uma progressão de dois estágios, do grosseiro ao fino:

• Estágio 1 (Aprendizado de Identidade): Treina a Animal-Net e os módulos de projeção para minimizar o erro de previsão de ruído usando condições de texto e identidade animal.
• Estágio 2 (Aprimoramento de Textura): Treina o módulo ControlNet controlado por frequência para aprimorar texturas finas e detalhes estruturais usando filtros DCT específicos, desacoplando a otimização de identidade e textura.

3. Contribuições Principais

1. Estrutura AnimalBooth: Uma arquitetura inovadora e sem ajuste, apresentando uma Animal-Net leve e um mecanismo de atenção adaptativa de duplo caminho que mitiga efetivamente a distorção de identidade, mantendo a capacidade gerativa.
2. Integração Controlada por Frequência: Um módulo único que aproveita a filtragem DCT no espaço latente para separar a orientação estrutural (baixa frequência) da geração de textura, melhorando significativamente a manipulação de atributos.
3. Conjunto de Dados AnimalBench: Um conjunto de dados curado e de alta definição especificamente para personalização animal, contendo 10.958 imagens de treinamento e 1.000 imagens de teste com máscaras semânticas em nível de pixel e legendas detalhadas.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados AnimalBench, comparando o AnimalBooth com métodos de última geração (SOTA), incluindo Textual Inversion, BLIP-Diffusion, Omnigen, IP-Adapter e Flux (DiT).

• Desempenho Quantitativo: O AnimalBooth alcançou resultados de Última Geração (SOTA) em todas as métricas:
  • CLIP-I (Identidade): 90,00 (vs. 89,75 para IP-Adapter).
  • DINO (Detalhe/Realismo): 75,66 (vs. 72,88 para IP-Adapter).
  • CLIP-T (Alinhamento de Texto): 20,73.
  • LPIPS (Qualidade Perceptiva): 49,08 (quanto menor, melhor).
• Eficiência:
  • Velocidade de Inferência: O AnimalBooth é 25× mais rápido que modelos baseados em DiT (Flux) e significativamente mais rápido que o Omnigen.
  • Uso de Memória: Requer apenas 0,7 GB de VRAM, comparado a 10,4 GB para Omnigen e 12,8 GB para Flux.
  • Parâmetros: Apenas 1,2B de parâmetros treináveis.
• Estudos de Ablação:
  • Q-Former: Superou MLP e Concatenação por uma grande margem (por exemplo, +19,42 pontos em CLIP-I).
  • Controle de Frequência: A filtragem low-pass provou ser superior para preservação de identidade em comparação com high-pass ou sem filtragem.
  • Escala de Orientação: Desempenho ótimo alcançado em $w=7,5$.

5. Significado

O AnimalBooth aborda uma lacuna crítica na geração multimodal, resolvendo os desafios específicos da personalização animal (corpos não rígidos, texturas complexas) sem o custo computacional de ajuste fino por sujeito.

• Praticidade: Seu baixo consumo de VRAM e inferência rápida tornam-no altamente implantável para aplicações do mundo real (por exemplo, design de animais de estimação virtuais, arte criativa).
• Impacto na Pesquisa: A introdução do AnimalBench fornece um benchmark necessário para pesquisas futuras em modelos generativos específicos para animais.
• Inovação Técnica: A combinação de Q-Former para gargalos semânticos e controle de frequência baseado em DCT oferece um novo paradigma para controlar processos de difusão, separando efetivamente a identidade estrutural do detalhe textural.

Os autores observam que trabalhos futuros expandirão esta estrutura para modalidades de vídeo para geração consistente de animais.