Detecting CSAM Text-to-Image LoRAs From Weights

Resumo Técnico: Detecção de LoRAs de Texto-para-Imagem de CSAM a partir de Pesos

Declaração do Problema
A proliferação da adaptação de baixo ranking (Low-Rank Adaptation - LoRA) democratizou a customização de modelos de texto-para-imagem de pesos abertos. Embora benéfica para tarefas criativas legítimas, essa acessibilidade facilita a criação de adaptadores especificamente projetados para gerar Material de Abuso Sexual Infantil (CSAM). As estratégias de moderação atuais dependem fortemente de metadados (model cards, tags) ou da inspeção de saídas geradas. No entanto, os metadados são frequentemente incompletos, heterogêneos ou controlados por atacantes, e gerar saídas para inspecioná-los é legal e eticamente inaceitável quando o conteúdo suspeito é CSAM. Consequentemente, há uma necessidade urgente de um método livre de inferência para identificar adaptadores prejudiciais diretamente de seus pesos, sem depender de descrições fornecidas pelo usuário ou da geração de imagens prejudiciais.

Metodologia
Os autores propõem um método de triagem no espaço de pesos que extrai uma impressão digital compacta e livre de inferência de adaptadores LoRA, denominada $u_1$.

• Representação ($u_1$): Para uma matriz de atualização LoRA $\Delta W = BA$, o método computa o vetor singular do canto superior esquerdo de $\Delta W$. Este vetor representa a principal direção singular à esquerda da atualização de peso. Para adaptadores que modificam múltiplas camadas, esses vetores são extraídos de camadas de atenção cruzada (cross-attention) e concatenados para formar um único vetor de características por adaptador.
• Base Teórica: O método fundamenta-se em um modelo simplificado de álgebra linear onde uma atualização de assunto é representada como $\Delta W = \gamma w a^\top$. Aqui, $a$ é a pista de entrada (input cue) e $w$ é a direção de saída. O vetor singular à esquerda líder recupera a direção $w$ (o assunto) independentemente da magnitude da atualização $\gamma$ ou da força da pista, desde que a atualização seja dominante de rank-um. Isso sugere que $u_1$ codifica o que o adaptador aprendeu, em vez de como ele foi treinado.
• Supervisão por Proxy: Como treinar em CSAM real é ilegal e antiético, o estudo utiliza supervisão por proxy. Os autores treinam "zoos benignos" controlados de LoRAs em conjuntos de dados não prejudiciais onde o atributo alvo é um proxy legal e eticamente permitido para o eixo de segurança. Especificamente, eles utilizam a idade do sujeito humano (criança, jovem, adulto) como um proxy para o eixo relacionado à criança no CSAM.
• Zoos de Treinamento: O benchmark primário consiste em 957 LoRAs treinados no SD-1.5 em sete categorias (incluindo idade, aves, cenas, objetos, texturas, cobertura terrestre e gêneros de iNaturalist). As receitas de treinamento (rank, taxa de aprendizado, otimizador) são randomizadas para garantir que o detector aprenda o assunto, e não a configuração de treinamento. Zoos adicionais foram criados para SDXL e FLUX.1-schnell para testar a robustez entre modelos.
• Avaliação: Classificadores (regressão logística, florestas aleatórias) são treinados nas características $u_1$ para distinguir assuntos de treinamento. O sistema é avaliado em sua capacidade de recuperar o assunto de treinamento, sua robustez à evasão no espaço de pesos (ruído, reescalonamento, quantização) e sua capacidade de se abster de conteúdo benigno não relacionado.

Principais Contribuições

1. Análise de Metadados: Um levantamento de 63.288 LoRAs de uma plataforma pública revela que os metadados são frequentemente incompletos, inconsistentes e controlados por atacantes. Receitas de treinamento detalhadas estão disponíveis para menos de 25% dos adaptadores e, mesmo assim, raramente expõem estratégias de backdoor furtivas.
2. Triagem Livre de Inferência ($u_1$): A introdução de $u_1$ como uma representação derivada exclusivamente de pesos de adaptadores. Este método identifica assuntos de treinamento através de diversos conjuntos de dados e modelos base sem exigir prompts, geração de imagem ou inferência de GPU.
3. Detecção de Capacidades Ocultas: Evidência de que os assuntos de treinamento permanecem detectáveis no espaço de pesos mesmo quando ocultos atrás de backdoors baseadas em gatilhos (ex: gatilhos do tipo DreamBooth) ou quando o conteúdo prejudicial constitui apenas uma pequena fração dos dados de treinamento.
4. Robustez e Calibração: Demonstração de que o sinal $u_1$ é robusto a ruído aditivo, reescalonamento global e redução de precisão (fp16/8-bit/4-bit). Crucialmente, o detector treinado no proxy de idade se abstém (produz baixa confiança) em conteúdo benigno não relacionado, minimizando falsos positivos.

Resultos

• Recuperação de Assunto: No benchmark SD-1.5, um classificador de regressão logística usando $u_1$ atinge um AUROC macro one-vs-rest de 0,976 através de sete categorias de assuntos. Para o eixo de idade relevante para a segurança (adulto/criança/jovem), o AUROC atinge 0,993.
• Comparação com Baselines: $u_1$ apresenta desempenho competitivo com a sondagem de ativação Gaussiana (que requer inferência de GPU e execução de modelo) e supera estatísticas de resumo e análise de pesos baseada em PCA.
• Detecção de Backdoor: Mesmo quando a idade é aprendida apenas atrás de um token de gatilho raro (backdoor) e regularizada com imagens benignas, o $u_1$ recupera a classe "criança" crítica para a segurança com um AUROC de 0,96, significativamente acima do nível do acaso.
• Resistência à Evasão: O sinal permanece estável sob ruído aditivo de peso até a magnitude dos próprios pesos e é invariante ao reescalonamento e redução de precisão.
• Abstenção: Quando aplicado a 627 adaptadores benignos não vistos e não relacionados ao eixo de idade, o detector produz 0 classificações incorretas confiantes, demonstrando que não dispara erroneamente em conteúdos não relacionados.
• Transferência de Gradiente: Um detector treinado em classes de idade discretas generaliza para misturas graduais de dados adulto/criança, com a probabilidade prevista de criança subindo monotonicamente conforme a fração de conteúdo infantil na mistura de treinamento aumenta.

Significância e Alegações
O artigo afirma que LoRAs prejudiciais podem ser triados diretamente de seus pesos, oferecendo uma camada crítica de defesa que opera independentemente de metadados e sem os riscos legais ou éticos de gerar saídas prejudiciais.

• Segurança e Ética: A abordagem depende inteiramente de proxies benignos e conjuntos de dados abertos curados, garantindo que não haja exposição humana a imagens abusivas durante o desenvolvimento ou implantação.
• Implantação Prática: Como o $u_1$ requer apenas álgebra linear nos pesos (apenas CPU), é computacionalmente eficiente e escalável para a triagem de grandes volumes de adaptadores, incluindo aqueles em plataformas peer-to-peer onde os metadados podem estar ausentes.
• Complementaridade: Os autores observam que a triagem no espaço de pesos ($u_1$) e a sondagem no espaço de ativação carregam sinais parcialmente independentes; combinar ambos pode melhorar ainda mais o desempenho da detecção.
• Limitações: Os autores declaram explicitamente que seus detectores são específicos para o modelo base e que ainda não testaram o método em modificações do codificador de texto (text-encoder). Além disso, embora o método generalize a partir de proxies benignos, eles não alegam que seja uma generalização garantida para todos os LoRAs geradores de CSAM sem validação adicional em dados prejudiciais do mundo real.

Em conclusão, o trabalho estabelece que a "mudança aprendida mais forte" em um LoRA é codificada de forma legível em sua principal direção singular, fornecendo um mecanismo viável e livre de inferência para detectar adaptadores prejudiciais antes que sejam implantados ou usados para gerar conteúdo.