Resumen Técnico: Tiny-Engram

Declaración del Problema

Los métodos actuales de personalización para modelos de visión generativa (por ejemplo, texto-a-imagen y texto-a-video) dependen típicamente de adaptadores continuos, actualizaciones de pesos o tokens aprendidos. Aunque son efectivos para codificar nuevos conceptos, estos enfoques a menudo carecen de límites de activación explícitos. Un adaptador activado continuamente puede influir inadvertidamente en indicaciones fuera del dominio previsto, y los módulos entrenados independientemente pueden interactuar de manera impredecible al ser compuestos.

El desafío central abordado por este trabajo es lograr una adaptación modular: asegurar que una actualización visual aprendida se aplique solo cuando está presente una condición textual específica y registrada, mientras que todas las entradas sin coincidencia siguen estrictamente el comportamiento del modelo base congelado. Esto requiere un mecanismo que vincule una frase detonante rara con un concepto visual sin alterar globalmente la vía de condicionamiento del modelo.

Metodología

Concepto Central: Tablas de Conceptos Indexadas por Detonante

Tiny-Engram operacionaliza el principio "Engram" (propuesto originalmente para modelos de lenguaje) como un módulo de ajuste fino eficiente en parámetros (PEFT) para visión generativa. En lugar de un adaptador activado globalmente, funciona como una tabla de conceptos indexada por detonante:

1. Registro: Se registra una frase específica de n-gramas (el detonante).
2. Indexación: En tiempo de ejecución, el sistema realiza una búsqueda exacta de ID de token. Si se encuentra el n-gram registrado en la indicación, indexa un vector de memoria aprendido.
3. Inyección Localizada: El vector recuperado modifica los estados ocultos del codificador de texto solo en el rango de tokens coincidente. Si no hay detonante presente, el modelo sigue exactamente la ruta base congelada.

Instanciación Visual

El método se aplica a generadores de imágenes y videos congelados inyectando residuos en la corriente de condicionamiento por texto:

• Arquitectura: El enfoque admite modelos de codificador único (SD1.5) y pilas de múltiples codificadores (SD3.5 con CLIP-L, OpenCLIP-G, T5; Wan2.2 con T5).
• Estructura de Memoria: Para cada codificador de texto, se aprende una pequeña tabla de vectores de concepto. La frase detonante se tokeniza y se construye un registro multiescala a partir de subrangos contiguos (n-gramas) del detonante.
• Mecanismo de Inyección:
  • SD1.5: Inyecta un residual escalado absoluto en los estados de los tokens de CLIP antes de la atención cruzada del U-Net.
  • SD3.5 y Wan2.2: Utiliza una regla de inyección de norma relativa. El vector de memoria proporciona la dirección, una escala aprendida limita la fuerza y un factor de normalización ($\rho$) calibra la magnitud de la actualización relativa a la escala de activación de la corriente de texto actual. Esto asegura efectos consistentes a través de codificadores heterogéneos con diferentes magnitudes de estados ocultos.
• Entrenamiento: Solo se optimizan los vectores de concepto y las escalas de inyección. La columna vertebral (VAE, U-Net/DiT, codificadores de texto) permanece congelada. La función de pérdida es la predicción estándar de ruido de difusión o el objetivo de velocidad de flujo rectificado.

Configuración Experimental

• Concepto: Los autores vinculan una frase detonante ficticia con temática de ciencia ficción ("Aldric Vortex-9 CyberNebula") a una identidad visual específica (un protagonista de Death Stranding). Esta elección asegura que el detonante no tenga un prior preexistente en el modelo congelado, forzando a la tabla Engram a aprender la vinculación desde cero.
• Datos:
  • Imágenes: Cinco imágenes de referencia convertidas a indicaciones mediante ingeniería inversa, con el nombre del sujeto reemplazado por el detonante.
  • Video: Una extensión preliminar utilizando Wan2.2 TI2V. Los clips de entrenamiento fueron generados por el modelo Wan2.2 congelado utilizando los pares de imagen-indicación, creando una extensión temporal generada por el maestro del conjunto de identidades.

Contribuciones Clave

1. Formulación Indexada por Detonante: Un módulo PEFT que vincula memorias visuales a direcciones léxicas explícitas, asegurando límites de activación discretos.
2. Inyección de Memoria en Codificador de Texto: Un método para personalizar columnas vertebrales generativas congeladas modificando los estados de condicionamiento por texto sin tocar la columna vertebral de eliminación de ruido de imagen/video.
3. Regla de Inyección de Norma Relativa: Una técnica de calibración que permite que la inyección de memoria funcione efectivamente a través de corrientes de codificadores de texto heterogéneos (por ejemplo, en SD3.5) y longitudes de contexto variables.
4. Estudio de Extensión a Video: Una investigación inicial sobre la aplicación de memoria del lado del texto a la difusión de video, aclarando la brecha entre la activación de texto y la estabilidad temporal de la identidad.

Resultados

Generación de Imágenes (SD1.5 y SD3.5)

• Localidad de Activación: El método demuestra con éxito que la identidad visual aprendida se recupera solo cuando está presente la frase detonante. Las indicaciones sin el detonante producen salidas idénticas al modelo base congelado (idénticas a nivel de byte bajo semillas coincidentes).
• Vinculación de Identidad: Tanto en SD1.5 como en SD3.5, las indicaciones que contienen el detonante desplazan al sujeto generado para que coincida con la identidad de referencia, preservando la escena circundante, la iluminación y la composición solicitadas por la indicación.
• Rendimiento: SD3.5 produce resultados más fuertes que SD1.5, preservando mayor fidelidad de la escena. La inyección de múltiples codificadores y la escalación de norma relativa manejan efectivamente la complejidad de la arquitectura de SD3.5.

Generación de Video (Wan2.2)

• Activación: La inyección de Engram del lado del texto altera con éxito el sujeto generado en el video. Cuando está presente el detonante, la salida cambia de figuras genéricas de ciencia ficción al sujeto objetivo "táctico de cabello largo".
• Limitaciones: Aunque el detonante activa el concepto, la persistencia de identidad detallada a través de indicaciones de video retenidas es limitada. El método puede sesgar la clase de sujeto o la silueta, pero falla en reconstruir de manera fiable los detalles específicos de la identidad a través de escenas diversas y secuencias temporales. Los autores atribuyen esto a la falta de un acoplamiento estrecho entre la memoria estática del lado del texto y el estado visual evolutivo en el transformador de video.

Significado y Afirmaciones

El documento presenta a Tiny-Engram como una ruta práctica hacia la personalización visual modular, particularmente para la generación de imágenes. Su significado principal radica en establecer la localidad de activación: la capacidad de agregar capacidades que están estrictamente controladas por detonantes léxicos, evitando interferencias con indicaciones no relacionadas.

Los autores son modestos respecto a los resultados de video, enmarcándolos como un caso límite en lugar de una solución completa. Concluyen que, aunque la inyección de memoria del lado del texto puede dirigir la generación de video, lograr una identidad temporalmente estable en video probablemente requiera un acoplamiento más estrecho entre la memoria y el estado visual evolutivo (por ejemplo, inyección más cercana a la columna vertebral de video o mecanismos de atención), en lugar de depender exclusivamente de la interfaz de condicionamiento por texto.

El trabajo no afirma superar las métricas de referencia existentes (como DreamBooth o LoRA) en términos de métricas de fidelidad de identidad cruda, ya que no se realizó tal comparación de referencia coincidente. En cambio, valida un enfoque arquitectónico específico sobre cómo se activa y controla la personalización dentro del modelo.