🤖 AI

Inference-Only Prompt Projection for Safe Text-to-Image Generation with TV Guarantees

Este artigo apresenta o SPOT, um framework de tempo de inferência que projeta seletivamente prompts inseguros em direção a um "conjunto seguro tau" usando um LLM e um VLM de salvaguarda para reduzir significativamente a geração inadequada de imagens, preservando ao mesmo tempo o comportamento de prompts benignos sem re-treinar o modelo de difusão.

Autores originais: Minhyuk Lee, Hyekyung Yoon, Myungjoo Kang

Publicado 2026-05-13

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Minhyuk Lee, Hyekyung Yoon, Myungjoo Kang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma máquina de arte mágica e congelada (uma IA de Texto para Imagem) capaz de desenhar qualquer coisa que você descreva. Ela é incrivelmente talentosa, mas, às vezes, se você lhe der um comando complicado ou perigoso, ela pode acidentalmente desenhar algo inadequado.

O problema é: se você tentar "consertar" a própria máquina para impedir que ela desenhe coisas ruins, frequentemente acaba quebrando sua capacidade de desenhar coisas boas também. É como tentar impedir um chef de cozinhar comida picante removendo sua faca; de repente, ele não consegue mais picar vegetais para uma salada.

Este artigo apresenta um novo método chamado SPOT (Projeção Seletiva de Prompt), que atua como um editor inteligente posicionado antes da máquina, em vez de tentar reconstruir a própria máquina.

Veja como funciona, usando analogias simples:

1. A Regra da "Máquina Congelada"

Os autores decidiram não tocar na máquina de arte de forma alguma. Eles a mantiveram exatamente como estava (congelada). Por quê? Porque se você mudar a máquina, você muda sua personalidade. Eles queriam manter o comportamento "bom" da máquina exatamente igual, impedindo apenas o comportamento "ruim".

2. O "Mapa de Segurança" (O Conjunto Seguro τ)

Imagine um mapa onde algumas áreas são "Zonas Verdes" (seguras para desenhar) e outras são "Zonas Vermelhas" (inseguras).

O Objetivo: Se você pedir algo em uma Zona Verde, o editor deixa seu pedido intacto. A máquina desenha exatamente o que você pediu.
O Problema: Se você pedir algo em uma Zona Vermelha, o editor deve intervir. Mas, em vez de apenas dizer "Não", ele tenta encontrar a Zona Verde mais próxima que ainda se assemelhe ao seu pedido original.

3. A Equipe de Detetives em Duas Etapas

O SPOT usa um processo de dois passos para lidar com solicitações arriscadas, atuando como uma equipe de segurança com um scanner rápido e um inspetor rigoroso.

Etapa 1: O Scanner Rápido (O LLM)
Quando um prompt arriscado chega, uma IA rápida, apenas de texto (o LLM), atua como um batedor. Ela gera rapidamente algumas versões "reescritas" do seu prompt. Ela pergunta: "Se eu mudar esta palavra para aquela, isso parece mais seguro?"
- Ela escolhe a versão mais próxima da sua ideia original, mas que a move para fora da Zona Vermelha e para a Zona Verde.
- Isso é rápido e barato porque analisa apenas palavras, não imagens.
Etapa 2: O Inspetor Rigoroso (O VLM)
Uma vez que o editor seleciona o melhor prompt reescrito, a máquina de arte real desenha a imagem. Em seguida, uma segunda IA (um Modelo Visão-Linguagem) examina a imagem real que foi criada.
- Ela pergunta: "Esta imagem é realmente segura?"
- Se a imagem for segura, ela recebe o sinal verde.
- Se a imagem ainda for insegura (talvez a máquina tenha interpretado mal o novo prompt), o sistema volta à Etapa 1, tenta uma reescrita diferente e desenha novamente.

4. O Compromisso entre "Segurança e Criatividade"

O artigo faz um ponto matemático muito importante: Você não pode tornar uma IA mais segura sem alterar ligeiramente sua saída.
Pense nisso como um rio. Se você quiser desviar uma inundação perigosa (imagens inseguras) de uma vila, precisa construir um novo canal. Esse novo canal altera o caminho da água.

O truque do SPOT: Ele constrói um novo canal apenas para a inundação perigosa. Se a água já estiver fluindo com segurança (prompts benignos), ele deixa o rio exatamente onde está. Isso garante que, quando você pedir um "gatinho fofo", você ainda receba um "gatinho fofo", e não um "gato de desenho animado" ou uma "tela preta".

5. Os Resultados

Os autores testaram isso em quatro conjuntos de dados diferentes e em três máquinas de arte distintas.

Segurança: Reduziu com sucesso o número de imagens inadequadas significativamente (entre 14% e 44% melhor do que outros métodos).
Criatividade: Mantive as imagens "boas" parecendo quase exatamente as mesmas que seriam sem qualquer filtro de segurança.
Velocidade: Como a primeira etapa (o scanner de texto) é tão rápida, todo o processo é muito mais rápido do que métodos que verificam cada ideia de imagem antes de desenhá-la.

Resumo

SPOT é como um porteiro de uma boate que não muda a música nem o DJ (o modelo de IA). Em vez disso, se alguém tentar dizer algo grosseiro na porta, o porteiro sugere gentilmente que a pessoa reformule a frase para algo educado. Se a frase reformulada permitir a entrada, eles entram. Se continuarem tentando ser grosseiros, não entram. Mas se já eram educados desde o início, entram direto sem serem tocados.

Isso garante que a boate permaneça segura sem estragar a experiência para os bons clientes.

Resumo Técnico: SPOT – Projeção Seletiva de Prompt via Variação Total

Declaração do Problema
Modelos de difusão Texto-para-Imagem (T2I) permitem síntese de alta qualidade e aberta, mas apresentam riscos significativos de segurança, pois os usuários podem elicitar imagens prejudiciais ou que violam políticas. Os métodos existentes de alinhamento de segurança frequentemente sofrem com um compromisso crítico: intervenções globais (como modificar pesos do gerador ou aplicar prompts suaves universais) podem perturbar o comportamento do modelo mesmo em prompts benignos, degradando a qualidade da imagem e a fidelidade semântica. Por outro lado, métodos que verificam imagens geradas frequentemente incorrem em altos custos computacionais ou falham em localizar intervenções de segurança apenas para entradas de risco. O artigo identifica uma tensão fundamental: reduzir a insegurança esperada abaixo de um nível de referência inerentemente requer um desvio na distribuição de imagens condicionada ao prompt. O desafio é alcançar segurança sem distorcer globalmente o comportamento do gerador congelado em entradas benignas.

Metodologia
Os autores propõem o SPOT (Projeção Seletiva de Prompt via Total Variation), um framework de tempo de inferência que aproxima uma "projeção segura" sem reentrenar o gerador ou aprender reescritores específicos de categoria. A metodologia fundamenta-se em uma análise teórica usando a distância de Variação Total (TV).

Fundamentação Teórica (SPAT): O artigo formaliza o Compromisso de Alinhamento Segurança-Prompt (SPAT). Ele prova que, se a insegurança for medida como uma expectativa limitada sobre imagens geradas, reduzir essa expectativa abaixo de um nível de referência (o comportamento do gerador congelado) necessita de um desvio distribucional dessa referência. Consequentemente, o objetivo não é evitar o desvio inteiramente, mas localizá-lo estritamente para prompts que requerem intervenção.
Conjunto $\tau$ -Seguro e Projeção: Os autores definem um conjunto $\tau$ -seguro de prompts, $C_{safe,\tau}$ , onde o risco de referência é, no máximo, um limiar $\tau$ . A intervenção é formulada como projetar prompts de risco (aqueles fora de $C_{safe,\tau}$ ) em direção aos prompts mais próximos dentro deste conjunto, deixando prompts já seguros inalterados.
Protocolo em Cascata de Dois Estágios: Como a projeção exata é intratável (já que a pertinência depende do risco esperado ao nível da imagem), o SPOT aproxima isso via uma cascata de dois estágios:
- Estágio 1 (Busca Apenas de Prompt): Um Modelo de Linguagem de Grande Porte (LLM) gera reescritas candidatas para um prompt dado. Esses candidatos são classificados usando um objetivo suave que equilibra a proximidade semântica ao prompt original (medida via distância de incorporação de sentença) contra uma pontuação de segurança apenas de prompt. Este estágio atua como um roteador barato para identificar candidatos promissores.
- Estágio 2 (Verificação ao Nível de Imagem): O gerador de difusão (mantido congelado) amostra uma imagem do melhor prompt candidato encontrado no Estágio 1. Um Modelo de Visão-Linguagem (VLM) de salvaguarda verifica a imagem gerada contra o mesmo limiar de segurança $\tau$ .
- Mecanismo de Repetição: Se a imagem falhar na verificação, o processo se repete com novos candidatos até um orçamento de repetição $R$ . Se o orçamento for esgotado, a tentativa final é retornada.

Contribuições Principais

Compromisso de Segurança Baseado em Referência: O artigo formaliza o SPAT, demonstrando que reduzir a insegurança da população abaixo de um nível de referência requer desvio distribucional condicionado ao prompt. Isso fornece uma justificativa teórica para intervenção seletiva em vez de modificação global do modelo.
Projeção Seletiva de Prompt: Os autores definem o conjunto $\tau$ -seguro e formulam a intervenção de segurança como projetar prompts de risco em direção a este conjunto, preservando prompts seguros, minimizando efetivamente o desvio semântico em entradas benignas.
Cascata LLM/VLM em Tempo de Inferência: O SPOT instancia essa projeção usando um LLM para classificação de candidatos e um VLM para verificação final de imagem. Este design separa a busca barata da verificação autoritária, evitando o custo computacional da geração exaustiva de imagens durante a fase de busca.
Segurança Forte e Preservação de Benignos: O framework alcança reduções significativas em conteúdo inadequado enquanto mantém o comportamento do gerador congelado em prompts benignos.

Resultados Experimentais
Os autores avaliaram o SPOT em quatro conjuntos de dados (CoProV2, I2P, Unsafe Diffusion e COCO) e três backbones de difusão (SD1.5, SD2.1, SDXL).

Desempenho de Segurança: O SPOT alcançou reduções relativas na pontuação de conteúdo inadequado (IP) variando de 14,2% a 44,4% em comparação com bases de referência fortes de alinhamento de segurança (por exemplo, AlignGuard, LatentGuard, SLD). No SD1.5, o SPOT reduziu o IP para 0,04 no CoProV2, 0,06 no I2P e 0,04 no UD, superando bases de referência que frequentemente mostraram IP mais alto em conjuntos de dados fora da distribuição.
Preservação de Prompt Benigno: No conjunto de dados COCO, o SPOT preservou a qualidade da imagem (FID) e o alinhamento texto-imagem (CLIPScore) próximos à referência não alinhada. Por exemplo, no SD1.5, o SPOT alcançou um FID de 32,46 e CLIPScore de 33,36, quase idênticos à base de referência não alinhada (32,34/33,42), enquanto bases de referência agressivas como UCE e PNO mostraram degradação significativa.
Seletividade: O SPOT deixou 97,70% dos prompts benignos do COCO inalterados, substancialmente mais alto que bases de referência como VALOR (92,4%) e IPR (54,9%), demonstrando sua capacidade de evitar edições desnecessárias.
Eficiência: A cascata de dois estágios proporcionou um acréscimo de velocidade de 4,3× a 5,1× em comparação com métodos de busca apenas com VLM. O SPOT foi 22,4% mais rápido que o VALOR e 61,1% mais rápido que o IPR, ao mesmo tempo que alcançou pontuações IP mais baixas.
Robustez: O método demonstrou robustez contra quatro ataques de prompt adversário baseados em texto (MMA, Ring-A-Bell, SneakyPrompt, P4D), com pontuações totais de IP subindo apenas marginalmente (de 0,04 para 0,06) sob ataque.

Significado e Alegações
O artigo alega que o SPOT oferece uma abordagem principista para alinhamento de segurança, aproveitando a percepção teórica de que ganhos de segurança requerem desvio distribucional, mas que esse desvio deve ser confinado a prompts de risco. Ao manter o gerador congelado e usar um mecanismo de projeção seletiva, o SPOT evita o "desvio semântico" e a degradação de desempenho frequentemente associados à edição global do modelo ou supressão agressiva. Os autores posicionam o SPOT como uma solução prática, em tempo de inferência, que permite que os níveis de segurança sejam ajustados via um limiar ( $\tau$ ) sem reentrenamento, tornando-o adaptável a diferentes políticas de segurança e conjuntos de dados. O trabalho enfatiza que a segurança não requer comprometer a utilidade de prompts benignos, desde que a intervenção seja seletiva e verificada ao nível da imagem.