Resumo Técnico: Tiny-Engram

Declaração do Problema

Os métodos atuais de personalização para modelos de visão generativa (por exemplo, texto-para-imagem e texto-para-vídeo) geralmente dependem de adaptadores contínuos, atualizações de pesos ou tokens aprendidos. Embora eficazes para codificar novos conceitos, essas abordagens frequentemente carecem de limites de ativação explícitos. Um adaptador continuamente ativo pode influenciar inadvertidamente prompts fora do domínio pretendido, e módulos treinados independentemente podem interagir de forma imprevisível quando compostos.

O desafio central abordado por este trabalho é alcançar adaptação modular: garantir que uma atualização visual aprendida seja aplicada apenas quando uma condição textual específica e registrada estiver presente, enquanto todas as entradas não correspondidas seguem estritamente o comportamento do modelo original congelado. Isso requer um mecanismo que vincule uma frase-gatilho rara a um conceito visual sem alterar globalmente o caminho de condicionamento do modelo.

Metodologia

Conceito Central: Tabelas de Conceitos Indexadas por Gatilho

O Tiny-Engram operacionaliza o princípio "Engram" (originalmente proposto para modelos de linguagem) como um módulo de ajuste fino eficiente em parâmetros (PEFT) para visão generativa. Em vez de um adaptador globalmente ativo, ele funciona como uma tabela de conceitos indexada por gatilho:

1. Registro: Uma frase específica de n-gramas (o gatilho) é registrada.
2. Indexação: Em tempo de execução, o sistema realiza uma pesquisa exata de ID de token. Se o n-gram registrado for encontrado no prompt, ele indexa um vetor de memória aprendido.
3. Injeção Localizada: O vetor recuperado modifica os estados ocultos do codificador de texto apenas no intervalo de tokens correspondente. Se nenhum gatilho estiver presente, o modelo segue exatamente o caminho base congelado.

Instanciação Visual

O método é aplicado a geradores de imagem e vídeo congelados, injetando resíduos no fluxo de condicionamento por texto:

• Arquitetura: A abordagem suporta modelos de codificador único (SD1.5) e pilhas de múltiplos codificadores (SD3.5 com CLIP-L, OpenCLIP-G, T5; Wan2.2 com T5).
• Estrutura de Memória: Para cada codificador de texto, uma pequena tabela de vetores de conceitos é aprendida. A frase-gatilho é tokenizada e um registro multiescala é construído a partir de subintervalos contíguos (n-gramas) do gatilho.
• Mecanismo de Injeção:
  • SD1.5: Injeta um resíduo absoluto escalado nos estados dos tokens do CLIP antes da atenção cruzada do U-Net.
  • SD3.5 & Wan2.2: Utiliza uma regra de injeção de norma relativa. O vetor de memória fornece a direção, uma escala aprendida limita a força e um fator de normalização ($\rho$) calibra a magnitude da atualização em relação à escala de ativação do fluxo de texto atual. Isso garante efeitos consistentes em codificadores heterogêneos com diferentes magnitudes de estados ocultos.
• Treinamento: Apenas os vetores de conceitos e as escalas de injeção são otimizados. A espinha dorsal (VAE, U-Net/DiT, codificadores de texto) permanece congelada. A função de perda é a previsão padrão de ruído de difusão ou o alvo de velocidade de fluxo retificado.

Configuração Experimental

• Conceito: Os autores vinculam uma frase-gatilho fictícia com tema de ficção científica ("Aldric Vortex-9 CyberNebula") a uma identidade visual específica (um protagonista de Death Stranding). Essa escolha garante que o gatilho não tenha prior pré-existente no modelo congelado, forçando a tabela Engram a aprender a vinculação do zero.
• Dados:
  • Imagens: Cinco imagens de referência convertidas em prompts por meio de engenharia reversa, com o nome do sujeito substituído pelo gatilho.
  • Vídeo: Uma extensão preliminar usando Wan2.2 TI2V. Clipes de treinamento foram gerados pelo modelo Wan2.2 congelado usando os pares imagem-prompt, criando uma extensão temporal gerada pelo professor do conjunto de identidades.

Contribuições Principais

1. Formulação Indexada por Gatilho: Um módulo PEFT que vincula memórias visuais a endereços lexicais explícitos, garantindo limites de ativação discretos.
2. Injeção de Memória no Codificador de Texto: Um método para personalizar espinhas dorsais generativas congeladas modificando estados de condicionamento por texto sem tocar na espinha dorsal de remoção de ruído de imagem/vídeo.
3. Regra de Injeção de Norma Relativa: Uma técnica de calibração que permite que a injeção de memória funcione efetivamente em fluxos de codificadores de texto heterogêneos (por exemplo, no SD3.5) e em comprimentos de contexto variados.
4. Estudo de Extensão para Vídeo: Uma investigação inicial sobre a aplicação de memória do lado do texto para difusão de vídeo, esclarecendo a lacuna entre ativação de texto e estabilidade temporal de identidade.

Resultados

Geração de Imagem (SD1.5 & SD3.5)

• Localidade de Ativação: O método demonstra com sucesso que a identidade visual aprendida é recuperada apenas quando a frase-gatilho está presente. Prompts sem o gatilho produzem saídas idênticas ao modelo base congelado (idênticas em bytes sob sementes correspondentes).
• Vinculação de Identidade: Tanto no SD1.5 quanto no SD3.5, prompts contendo o gatilho deslocam o sujeito gerado para corresponder à identidade de referência, preservando a cena circundante, a iluminação e a composição solicitados pelo prompt.
• Desempenho: O SD3.5 produz resultados mais fortes que o SD1.5, preservando mais fidelidade da cena. A injeção de múltiplos codificadores e a escala de norma relativa lidam efetivamente com a complexidade da arquitetura do SD3.5.

Geração de Vídeo (Wan2.2)

• Ativação: A injeção Engram do lado do texto altera com sucesso o sujeito gerado no vídeo. Quando o gatilho está presente, a saída muda de figuras genéricas de ficção científica para o sujeito alvo "tático de cabelos longos".
• Limitações: Embora o gatilho ative o conceito, a persistência de identidade de alta granularidade em prompts de vídeo não vistos é limitada. O método pode enviesar a classe do sujeito ou a silhueta, mas falha em reconstruir de forma confiável os detalhes específicos da identidade em diversas cenas e sequências temporais. Os autores atribuem isso à falta de acoplamento estreito entre a memória estática do lado do texto e o estado visual em evolução no transformador de vídeo.

Significado e Alegações

O artigo posiciona o Tiny-Engram como uma rota prática para personalização visual modular, particularmente para geração de imagens. Seu significado principal reside em estabelecer localidade de ativação: a capacidade de adicionar capacidades que são estritamente controladas por gatilhos lexicais, prevenindo interferência com prompts não relacionados.

Os autores são modestos quanto aos resultados de vídeo, enquadrando-os como um caso limite em vez de uma solução completa. Eles concluem que, embora a injeção de memória do lado do texto possa orientar a geração de vídeo, alcançar identidade temporalmente estável em vídeo provavelmente requer acoplamento mais estreito entre a memória e o estado visual em evolução (por exemplo, injeção mais próxima da espinha dorsal de vídeo ou mecanismos de atenção), em vez de confiar exclusivamente na interface de condicionamento por texto.

O trabalho não afirma superar benchmarks existentes (como DreamBooth ou LoRA) em termos de métricas brutas de fidelidade de identidade, pois nenhuma comparação de benchmark correspondente foi realizada. Em vez disso, valida uma abordagem arquitetônica específica sobre como a personalização é ativada e controlada dentro do modelo.