Evaluation without Generation: Non-Generative Assessment of Harmful Model Specialization with Applications to CSAM

1. Definição do Problema

O artigo aborda um desafio crítico de governança em ecossistemas de IA generativa de pesos abertos (por exemplo, CivitAI, Hugging Face): como auditar adaptadores de modelos enviados por usuários (especificamente LoRAs) quanto à especialização prejudicial sem gerar saídas.

• A Restrição: A auditoria de segurança tradicional depende de "avaliação generativa" (solicitar prompts ao modelo e inspecionar as saídas). Essa abordagem falha por dois motivos:
  1. Escalabilidade: Não consegue lidar com o volume de uploads (centenas de milhares de LoRAs/mês).
  2. Legalidade: Para domínios de alto risco específicos, como Material de Abuso Sexual Infantil (CSAM), gerar tal conteúdo — mesmo para fins de teste — é ilegal em muitas jurisdições (incluindo os EUA).
• O Objetivo: Os autores definem o problema de "Avaliação sem Geração": determinar se um modelo foi especializado para conteúdo prejudicial (NSFW ou CSAM) exclusivamente analisando seus pesos ou representações internas, sem jamais produzir uma imagem.
• Requisitos: Uma solução deve ser:
  • Não-generativa: Sem decodificação de saída ou renderização de imagem.
  • Escalável: Baixo custo de armazenamento/computação em comparação com a inspeção completa de parâmetros.
  • Robusta: Deve detectar especialização de conteúdo em vez de artefatos acidentais de treinamento (por exemplo, taxa de aprendizado, rank ou peculiaridades específicas do conjunto de dados) que adversários poderiam facilmente imitar.

2. Metodologia: Sonda Gaussiana

Os autores propõem a Sonda Gaussiana, um método de representação funcional que caracteriza como um adaptador LoRA perturba um modelo de difusão base.

Mecanismo Central

Em vez de analisar pesos brutos ou gerar imagens, o método sonda o estado interno do modelo usando ruído aleatório:

1. Ensemble de Referência: Amostre $m$ vetores de ruído gaussiano independentes ($\nu \sim \mathcal{N}(0, I)$). Estes servem como um estado de referência "sem prompt" nativo ao processo de difusão.
2. Passagem Adiante: Propague esses vetores de ruído através do modelo adaptado ($f_{\theta_{base} + \Delta}$) por $T$ etapas de remoção de ruído.
3. Extração de Ativação: Extraia representações ocultas intermediárias ($H^{(t)}$) de camadas específicas (por exemplo, bloco médio do U-Net) em cada passo de tempo.
4. Agregação: Agrupe essas ativações através dos passos de tempo e camadas para criar um vetor de características de dimensão fixa $\Phi(\Delta)$.
   • Matematicamente, isso estima o empuxo esperado da perturbação do LoRA através da dinâmica de remoção de ruído do modelo: $\Psi(\Delta) = \mathbb{E}_{\nu}[\bar{H}(\Delta; \nu)]$.
5. Classificação: Um classificador simples (por exemplo, regressão logística) é treinado nesses vetores de características para distinguir entre especializações benignas (SFW) e prejudiciais (NSFW/CSAM).

Por que Sonda Gaussiana?

• Sinal Funcional: Mede como o LoRA altera o cálculo do modelo em seu espaço latente nativo, em vez de valores de peso estáticos.
• Robustez: Como as sondas são aleatórias e independentes dos dados de treinamento, o sinal resultante reflete o impacto funcional da especialização (o conteúdo) em vez de artefatos superficiais de treinamento (por exemplo, hiperparâmetros específicos ou vieses do conjunto de dados).

3. Contribuições Principais

1. Formalização da "Avaliação sem Geração": O artigo define formalmente o problema de auditar capacidades de modelos via inferência de estado de pesos, visando especificamente as restrições legais e éticas da detecção de CSAM.
2. Algoritmo de Sonda Gaussiana: Um método novo e escalável para extrair uma "assinatura funcional" de um LoRA sem gerar imagens.
3. Validação Empírica: Experimentos abrangentes demonstrando que a sonda gaussiana supera as linhas de base de pesos brutos na distinção entre modelos prejudiciais e benignos, particularmente em robustez contra manipulação adversarial de pesos.
4. Detecção de CSAM no Mundo Real: O primeiro método escalável e não-generativo para detectar LoRAs especializados em CSAM na natureza, validado usando acesso autorizado a dados de CSAM (sem gerar ou manipular as imagens ilícitas reais).

4. Resultados Experimentais

Estudo Controlado (SFW vs. NSFW)

• Configuração: Treinamento de 1.000 LoRAs por classe (SFW/NSFW) através de Stable Diffusion 1.5, SDXL e FLUX.1-dev usando conjuntos de dados e hiperparâmetros diversos.
• Descobertas:
  • Separabilidade: A sonda gaussiana alcançou alto AUROC (por exemplo, 0,998 para SD 1.5) na distinção entre SFW e NSFW.
  • Fonte do Sinal: Nos testes "Leave-Dataset-Out" (LDO), classificadores de pesos brutos performaram bem, mas confiaram na identidade do conjunto de dados (artefatos específicos de treinamento). A sonda gaussiana confiou no sinal de conteúdo, mantendo robustez quando artefatos específicos do conjunto de dados foram removidos.
  • Robustez Adversarial: Quando os pesos do LoRA foram reescalados para norma de Frobenius unitária (removendo informações de magnitude), os classificadores de pesos brutos degradaram-se significativamente (AUROC caiu de 0,92 para 0,83). A sonda gaussiana permaneceu robusta (AUROC aumentou ligeiramente para 0,94), provando que detecta comportamento funcional, não magnitude de peso.

Estudo no Mundo Real (Detecção de CSAM)

• Configuração: Avaliação em LoRAs do mundo real do CivitAI (SFW/NSFW) e LoRAs especializados em CSAM autorizados (SD 1.5, SDXL, FLUX.1-dev).
• Desempenho:
  • Detecção de CSAM: A sonda gaussiana alcançou 100% de recall em LoRAs de CSAM em todas as arquiteturas.
  • Falsos Positivos: Taxas de falsos positivos muito baixas para SFW (<1% para SD 1.5/SDXL) e NSFW (<4% para FLUX.1-dev).
  • Comparação: Linhas de base de pesos brutos lutaram com o pequeno tamanho de amostra de dados de CSAM (AUROC ~0,68–0,87) e mostraram alta variância, enquanto a sonda gaussiana forneceu detecção estável e de alto desempenho.

5. Significado e Impacto

• Conformidade Legal: Fornece um caminho legalmente viável para plataformas filtrarem CSAM sem violar leis contra a geração de tal conteúdo.
• Escalabilidade: Oferece uma alternativa computacionalmente eficiente ao red-teaming, permitindo a triagem pré-distribuição de centenas de milhares de uploads.
• Mudança de Paradigma de Segurança: Move a segurança de IA de "baseada em saída" (reativa) para auditoria "baseada em estado" (proativa).
• Aplicabilidade Mais Ampla: Embora focado em CSAM, o método é aplicável a outros domínios restritos (por exemplo, armas biológicas, ciberataques) onde a geração de saída é perigosa ou antiética.
• Pesquisa Futura: Estabelece uma fundação para "aprendizado no espaço de pesos" e auditoria funcional, incentivando mais pesquisas em mecanismos de segurança robustos e não-generativos.

Conclusão

O artigo demonstra com sucesso que especialização de modelos prejudiciais pode ser detectada apenas a partir dos pesos. Ao deslocar a avaliação do espaço de saída para o estado interno do modelo via sonda gaussiana, os autores fornecem uma solução escalável, robusta e legalmente compliant para o problema crítico de filtrar modelos generativos de pesos abertos quanto a CSAM e outras especializações de alto risco.