Resumo Técnico: Sonhos Profundos São Feitos Disso

Declaração do Problema

Embora a interpretabilidade mecanicista tenha avançado significativamente para redes neurais convolucionais (CNNs) por meio de técnicas como visualização de características por otimização, a aplicação desses métodos a Modelos de Difusão Latente (LDMs) apresenta desafios únicos. Os LDMs operam em um espaço latente comprimido de um codificador-variacional (VAE) e utilizam um processo iterativo de remoção de ruído condicionado a passos de tempo. Os métodos clássicos de visualização de características, que otimizam entradas no espaço de pixels para maximizar a ativação de características, falham neste contexto devido a:

1. Polissemantia: As características neurais brutas frequentemente representam múltiplos conceitos não relacionados simultaneamente, tornando as visualizações incoerentes.
2. Restrições do Espaço Latente: A otimização direta no espaço latente introduz modos de falha, como valores fora do intervalo do decodificador (causando saturação excessiva) e artefatos de ruído de alta frequência.
3. Complexidade Temporal: As características nos modelos de difusão podem estar ativas em diferentes passos de tempo por razões distintas, exigindo um método para isolar condições específicas de ativação.
4. Limitações das Ferramentas Existentes: Os métodos atuais de interpretabilidade de difusão, como exemplos de conjuntos de dados e direcionamento de características, são limitados pelo conteúdo do conjunto de dados ou revelam apenas efeitos a jusante, em vez das entradas específicas que ativam uma característica.

Metodologia: Visualização Latente por Otimização (LVO)

Os autores propõem a Visualização Latente por Otimização (LVO), uma técnica que estende a visualização de características por otimização para LDMs. O objetivo central é otimizar um vetor latente $z_{opt}$ via ascensão de gradiente para ativar maximamente uma característica alvo específica. O método introduz quatro componentes específicos de difusão:

1. Análise de Atividade por Passo de Tempo: Em vez de visualizar características em todos os 1.000 passos de tempo, o método identifica "picos de atividade" onde uma característica está mais frequentemente entre as top-$k$ ativações em todo o conjunto de dados. As visualizações são geradas especificamente para esses passos de tempo de pico para isolar o papel da característica naquele estágio da remoção de ruído.
2. Otimização no Espaço Latente: A otimização ocorre dentro do espaço latente do VAE e não no espaço de pixels, para evitar o custo computacional e os artefatos de gradiente associados à retropropagação através do decodificador.
3. Injeção de Ruído Compatível com o Cronograma: Para manter a condicionamento correto para o U-Net, o latente otimizado é re-ruído em cada passagem forward usando os coeficientes do agendador do passo de tempo alvo ($z_{noise} = \sqrt{\bar{\alpha}_t}z + \sqrt{1-\bar{\alpha}_t}\epsilon$). Isso garante que o modelo veja a relação sinal-ruído esperada.
4. Inicialização por Priori: A otimização é inicializada a partir de uma imagem "priori" gerada ao direcionar a característica alvo em seus passos de tempo ativos. Isso mantém a trajetória de otimização dentro da variedade interpretável, prevenindo o colapso em ruído de alta frequência.

Estratégias de Regularização:
Para combater o ruído de alta frequência e artefatos do espaço latente, os autores empregam uma pilha de regularizadores:

• Transferidos do Espaço de Pixels: Robustez à transformação (jitter, rotação, escala), filtragem espectral (atenuando gradientes de alta frequência) e suavização de gradiente.
• Penalidades Específicas do Latente: Uma Penalidade de Intervalo (penalizando valores fora do intervalo de treinamento do decodificador, tipicamente $[-3, 3]$) e uma Penalidade de Momento (mantendo a média e a variância do latente próximas a uma distribuição normal padrão).

Desemaranhamento via SAEs:
O estudo compara duas variantes:

• Linha de Base de Camada Bruta: Otimiza um único canal de ativação bruto.
• Variante SAE: Utiliza um Autoencoder Esparso (SAE) treinado na camada para desemaranhar representações polissêmicas em características monossêmicas antes da otimização.

Principais Contribuições

1. Estrutura LVO: A proposta de um pipeline completo para visualização de características em LDMs, integrando análise de passos de tempo, injeção de ruído compatível com o cronograma, inicialização por priori e regularização específica do latente.
2. Linha de Base de Desemaranhamento: A provisão de uma linha de base de camada bruta controlada para isolar os ganhos de interpretabilidade fornecidos pelo desemaranhamento via SAE.
3. Ablação de Regularização: A primeira ablação sistemática de regularizadores do espaço de pixels no domínio latente, revelando que as estratégias de regularização ótimas diferem significativamente entre as variantes de camada bruta e SAE (por exemplo, as características SAE beneficiam-se de penalidades de momento, mas são hipersensíveis à variação total e à suavização de gradiente).
4. Insight Complementar: Demonstração de que a LVO fornece insights distintos de exemplos de conjuntos de dados e direcionamento, revelando diretamente as condições de entrada que ativam uma característica.

Resultados

O método foi avaliado no Stable Diffusion 1.5 ajustado finamente no conjunto de dados Style50, visando especificamente a camada up_blocks.1.attentions.1.

• Linha de Base Polissêmica: A otimização de ativações de camadas brutas resultou em visualizações que eram frequentemente incoerentes ou misturavam múltiplos conceitos (por exemplo, misturando partes de animais como olhos e pelagem sem formar um animal reconhecível). O direcionamento nessas características brutas produziu imagens genéricas e não informativas.
• Características Monossêmicas SAE: A LVO baseada em SAE produziu visualizações claras e consistentes de conceitos reconhecíveis em múltiplas sementes e passos de tempo. Exemplos notáveis incluem:
  • Característica 9984: Visualizou consistentemente uma "composição diagonal" (traços orientados do topo-esquerda para a base-direita), um conceito estrutural não óbvio a partir dos diversos exemplos do conjunto de dados.
  • Característica 10331: Representou claramente figuras humanas.
  • Outras Características: Visualizaram com sucesso partes de objetos (cabos, rosas), texturas (espuma de cachoeira) e perspectivas.
• Efeitos da Regularização: A calibração mostrou que a inicialização por priori era essencial para prevenir o colapso em ruído. Além disso, termos de regularização como robustez à transformação e penalidades de momento foram encontrados para ajudar o otimizador a escapar de máximos locais não interpretáveis, revelando estruturas mais claras (por exemplo, transformando uma textura "lamacenta" em uma estrutura de cabo distinta).

Significado e Alegações

O artigo alega que a LVO preenche um nicho crítico na interpretabilidade de modelos de difusão. Enquanto exemplos de conjuntos de dados são limitados pela diversidade de conteúdo e o direcionamento revela efeitos a jusante, a LVO responde diretamente "o que ativa uma característica". Os autores enfatizam que a técnica é viável apenas quando combinando todos os quatro componentes propostos (análise de passos de tempo, injeção de ruído, inicialização por priori e regularização apropriada).

O trabalho é enquadrado principalmente como uma ferramenta para interpretabilidade defensiva, apoiando auditoria de segurança, desaprendizado de conceitos direcionados e moderação de conteúdo. Os autores reconhecem um risco de uso duplo onde a identificação de ativações de características poderia teoricamente auxiliar na burla de filtros de segurança, mas avaliam esse risco como limitado, dado que os modelos subjacentes e os SAEs já são públicos e o método revela causas de ativação em vez de técnicas de supressão.

O estudo conclui que a LVO traz à tona características estruturais e composicionais (como arranjos diagonais) que são invisíveis à inspeção padrão de exemplos de conjuntos de dados, oferecendo uma perspectiva complementar essencial para o estudo mecanicista de modelos de difusão latente.