Resumen Técnico: Los Sueños Profundos Están Hechos de Esto

Declaración del Problema

Mientras que la interpretabilidad mecánica ha avanzado significativamente para las redes neuronales convolucionales (CNN) mediante técnicas como la visualización de características por optimización, aplicar estos métodos a los Modelos de Difusión Latente (LDM) presenta desafíos únicos. Los LDM operan en un espacio latente comprimido de autoencoder variacional (VAE) y utilizan un proceso iterativo de eliminación de ruido condicionado a pasos de tiempo. Los métodos clásicos de visualización de características, que optimizan entradas en el espacio de píxeles para maximizar la activación de características, fallan en este contexto debido a:

1. Polisemanticidad: Las características neuronales crudas a menudo representan múltiples conceptos no relacionados simultáneamente, lo que hace que las visualizaciones sean incoherentes.
2. Restricciones del Espacio Latente: Optimizar directamente en el espacio latente introduce modos de fallo como valores fuera de rango del decodificador (causando sobresaturación) y artefactos de ruido de alta frecuencia.
3. Complejidad Temporal: Las características en los modelos de difusión pueden estar activas en diferentes pasos de tiempo por razones distintas, requiriendo un método para aislar condiciones específicas de activación.
4. Limitaciones de las Herramientas Existentes: Los métodos actuales de interpretabilidad de difusión, como ejemplos de conjuntos de datos y dirección de características, están limitados por el contenido del conjunto de datos o solo revelan efectos aguas abajo en lugar de las entradas específicas que activan una característica.

Metodología: Visualización Latente por Optimización (LVO)

Los autores proponen Visualización Latente por Optimización (LVO), una técnica que extiende la visualización de características por optimización a los LDM. El objetivo central es optimizar un vector latente $z_{opt}$ mediante ascenso de gradiente para activar máximamente una característica objetivo específica. El método introduce cuatro componentes específicos de difusión:

1. Análisis de Actividad por Paso de Tiempo: En lugar de visualizar características a través de los 1,000 pasos de tiempo, el método identifica "picos de actividad" donde una característica se encuentra con mayor frecuencia entre las $k$ activaciones superiores en todo el conjunto de datos. Las visualizaciones se generan específicamente para estos pasos de tiempo pico para aislar el papel de la característica en esa etapa de eliminación de ruido.
2. Optimización en el Espacio Latente: La optimización ocurre dentro del espacio latente del VAE en lugar del espacio de píxeles para evitar el costo computacional y los artefactos de gradiente asociados con la retropropagación a través del decodificador.
3. Inyección de Ruido Coincidente con el Programador: Para mantener la condición correcta para la U-Net, el latente optimizado se vuelve a ruidificar en cada paso adelante utilizando los coeficientes del programador del paso de tiempo objetivo ($z_{noise} = \sqrt{\bar{\alpha}_t}z + \sqrt{1-\bar{\alpha}_t}\epsilon$). Esto asegura que el modelo vea la relación señal-ruido esperada.
4. Inicialización con Priori: La optimización se inicializa desde una imagen "priori" generada dirigiendo la característica objetivo en sus pasos de tiempo activos. Esto mantiene la trayectoria de optimización dentro de la variedad interpretable, evitando el colapso en ruido de alta frecuencia.

Estrategias de Regularización:
Para combatir el ruido de alta frecuencia y los artefactos del espacio latente, los autores emplean una pila de regularizadores:

• Transferidos al Espacio de Píxeles: Robustez de transformación (jitter, rotación, escalado), filtrado espectral (atenuando gradientes de alta frecuencia) y suavizado de gradientes.
• Penalizaciones Específicas del Latente: Una Penalización de Rango (penalizando valores fuera del rango de entrenamiento del decodificador, típicamente $[-3, 3]$) y una Penalización de Momento (manteniendo la media y la varianza del latente cerca de una distribución normal estándar).

Desenredo mediante SAE:
El estudio compara dos variantes:

• Línea Base de Capa Cruda: Optimiza un solo canal de activación crudo.
• Variante SAE: Utiliza un Autoencoder Escaso (SAE) entrenado en la capa para desenredar representaciones polisemánticas en características monosemánticas antes de la optimización.

Contribuciones Clave

1. Marco LVO: La propuesta de una tubería completa para la visualización de características en LDM, integrando análisis de pasos de tiempo, inyección de ruido coincidente con el programador, inicialización con priori y regularización específica del latente.
2. Línea Base de Desenredo: La provisión de una línea base de capa cruda controlada para aislar las ganancias de interpretabilidad proporcionadas por el desenredo SAE.
3. Ablación de Regularización: La primera ablación sistemática de regularizadores en el espacio de píxeles en el dominio latente, revelando que las estrategias de regularización óptimas difieren significativamente entre las variantes de capa cruda y SAE (por ejemplo, las características SAE se benefician de penalizaciones de momento pero son hipersensibles a la variación total y al suavizado de gradientes).
4. Perspectiva Complementaria: Demostración de que LVO proporciona conocimientos distintos de los ejemplos de conjuntos de datos y la dirección al revelar directamente las condiciones de entrada que activan una característica.

Resultados

El método fue evaluado en Stable Diffusion 1.5 ajustado finamente en el conjunto de datos Style50, apuntando específicamente a la capa up_blocks.1.attentions.1.

• Línea Base Polisemántica: Optimizar activaciones de capas crudas resultó en visualizaciones que a menudo eran incoherentes o mezclaban múltiples conceptos (por ejemplo, mezclando partes de animales como ojos y pelaje sin formar un animal reconocible). Dirigir estas características crudas produjo imágenes genéricas e informativas.
• Características Monosemánticas SAE: El LVO basado en SAE produjo visualizaciones claras y consistentes de conceptos reconocibles a través de múltiples semillas y pasos de tiempo. Ejemplos notables incluyen:
  • Característica 9984: Visualizó consistentemente una "composición diagonal" (trazos orientados de arriba-izquierda a abajo-derecha), un concepto estructural no obvio a partir de los diversos ejemplos del conjunto de datos.
  • Característica 10331: Representó claramente figuras humanas.
  • Otras Características: Visualizó con éxito partes de objetos (cables, rosas), texturas (espuma de cascada) y perspectivas.
• Efectos de Regularización: La calibración mostró que la inicialización con priori era esencial para prevenir el colapso del ruido. Además, se encontró que términos de regularización como la robustez de transformación y las penalizaciones de momento ayudaban al optimizador a escapar de máximos locales no interpretables, revelando estructuras más claras (por ejemplo, convirtiendo una textura "embarrada" en una estructura de cable distinta).

Significado y Afirmaciones

El artículo afirma que LVO llena un nicho crítico en la interpretabilidad de modelos de difusión. Mientras que los ejemplos de conjuntos de datos están limitados por la diversidad de contenido y la dirección revela efectos aguas abajo, LVO responde directamente a "qué activa una característica". Los autores enfatizan que la técnica es viable solo cuando se combinan los cuatro componentes propuestos (análisis de pasos de tiempo, inyección de ruido, inicialización con priori y regularización apropiada).

El trabajo se enmarca principalmente como una herramienta para la interpretabilidad defensiva, apoyando la auditoría de seguridad, el olvido dirigido de conceptos y la moderación de contenido. Los autores reconocen un riesgo de doble uso donde identificar activaciones de características podría teóricamente ayudar a eludir filtros de seguridad, pero evalúan este riesgo como limitado dado que los modelos subyacentes y los SAE ya son públicos y el método revela causas de activación en lugar de técnicas de supresión.

El estudio concluye que LVO pone de manifiesto características estructurales y composicionales (como arreglos diagonales) que son invisibles para la inspección estándar de ejemplos de conjuntos de datos, ofreciendo una perspectiva complementaria esencial para el estudio mecánico de los modelos de difusión latente.