Localize, Don't Beautify: Client-Side Control of Image-Editing APIs for Cosmetic Surgery Previews

Resumo Técnico: Localizar, Não Embelezar

Definição do Problema
APIs comerciais de edição de imagem, que funcionam como modelos de caixa-preta acessíveis apenas via endpoints públicos, frequentemente falham em confinar as edições a regiões específicas quando solicitadas para prévias de cirurgia estética. Um pedido para alterar uma característica específica (por exemplo, uma redução de nariz ou reposicionamento da linha da mandíbula) frequentemente desencadeia mudanças "fora do alvo", como suavização da pele, ajustes de iluminação ou mudanças de identidade em todo o rosto. Métodos existentes para localização de edições — como Blended Diffusion, SDEdit ou injeção de atenção — exigem acesso aos estados internos do modelo (latentes, mapas de atenção ou loops de amostragem), os quais as APIs públicas não expõem. Consequentemente, há uma lacuna no entendimento de quanto controle pode ser exercido apenas pelo lado do cliente para evitar essas modificações globais indesejadas sem acesso aos internos do modelo.

Metodologia
O autor conduziu um benchmark piloto avaliando seis configurações de edição comercial (GPT Image 2 em dois níveis, Nano Banana Pro/2, Seedream 5.0 Lite, FLUX.2 [pro]) e um modelo de inpainting baseado em máscara (Qwen-Image-Edit). O estudo utilizou uma abordagem de "escada de controle", testando três níveis de intervenção do lado do cliente em 210 tentativas de edição em 15 rostos distintos (12 liftings faciais frontais e 14 entradas de rinoplastia, com certa sobreposição na análise):

1. Apenas Prompt: O modelo recebe a imagem e a instrução de texto diretamente. Isso serve como a linha de base para o output descontrolado.
2. Composição Mascarada: O modelo edita a imagem completa, mas o sistema do lado do cliente alinha o output à entrada usando deformações de similaridade derivadas de landmarks. A região editada é então extraída via uma máscara suavizada (derivada de malhas faciais do MediaPipe ou landmarks do InsightFace) e composta de volta à fotografia original. Os pixels fora da máscara são estritamente preservados da entrada.
3. Inpainting Mascarado: Para modelos que suportam, o cliente envia a máscara da região explicitamente, pedindo ao modelo para realizar o inpainting apenas dentro daquela área.

Protocolo de Diagnóstico
A avaliação empregou um sistema de diagnóstico de duas partes, observando explicitamente que estes são diagnósticos de sistemas e não ferramentas de validação clínica:

• Preservação de Identidade: Medida usando a similaridade de cosseno ArcFace entre a face de entrada e a de saída. Um limiar de 0,6 foi usado como referência heurística.
• Localização Regional: Medida usando a diferença de cor CIELAB $\Delta E_{76}$. A métrica calcula a razão de mudança de pixel na região alvo ($\Delta E_{tgt}$) versus uma "zona de manutenção" disjunta (parte superior do rosto) ($\Delta E_{off}$). A pontuação de localização é definida como $\frac{\Delta E_{tgt}}{\Delta E_{tgt} + \Delta E_{off}}$.
• Referência Pós-Operatória: Para faces com fotografias pareadas pós-operatórias, o estudo comparou o embedding ArcFace da edição contra a foto pós-operatória, usando a similaridade da entrada não editada com a foto pós-operatória como linha de base.

Principais Resultados

• Localização: A composição mascarada melhorou significativamente a localização. A razão de localização mediana para outputs de apenas prompt foi de 0,538, enquanto o composto mascarado atingiu uma mediana de 0,985. Em 12 faces frontais, o composto melhorou a localização em uma mediana de 0,446 (intervalo bootstrap de 95% 0,421–0,457) em comparação com os outputs de apenas prompt, mantendo níveis semelhantes de mudança na região alvo.
• Retenção de Identidade: Editores variaram amplamente em seu trade-off entre força de edição e retenção de identidade. O FLUX.2 [pro] produziu as edições mais fortes, mas os menores scores de identidade (mediana de 0,629 para apenas prompt, caindo para 0,195 em alguns casos). Configurações Nano Banana e Seedream 5.0 Lite retiveram melhor a identidade (medianas >0,90), mas mostraram mudanças menos agressivas no alvo.
• Desempenho de Inpainting: O modelo Qwen-Image-Edit testado não superou o simples composto do lado do cliente. Em tarefas de rinoplastia, produziu outputs quase cópias com baixa mudança no alvo, e em tarefas de facelift, mostrou menor retenção de identidade do que a abordagem de composição.
• Precisão Clínica: Nenhum editor moveu os embeddings de saída sistematicamente mais próximos das fotografias pós-operatórias. A mudança mediana no espaço de embedding foi negativa ($-0,029$), indicando que, em termos de similaridade de embedding de identidade, as edições se moveram ligeiramente para longe do resultado cirúrgico observado, em vez de se aproximarem.

Significância e Alegações
O artigo alega ser a primeira comparação controlada de confinamento de região do lado do cliente através de múltiplas APIs de edição comercial de caixa-preta para previsões de cirurgia estética. Sua principal contribuição é demonstrar que o confinamento de região pode ser imposto inteiramente do lado do cliente sem acesso aos internos do modelo.

O autor afirma explicitamente que este é um estudo de controle, não de precisão clínica. Eles não alegam que os previews gerados são anatomicamente corretos, clinicamente plausíveis ou seguros para aconselhamento de pacientes. Nenhum cirurgião avaliou os outputs, e o estudo carece de análise de diversidade demográfica. A significância reside na descoberta de que uma estratégia simples de composição pós-hoc (máscara, alinhamento e blend) efetivamente evita mudanças de pixels fora do alvo em diversos modelos de caixa-preta a um baixo custo de provedor (mediana de $0,045 por imagem), enquanto a engenharia de prompt sozinha falha em proteger zonas faciais. O autor conclui que, embora este método resolva o problema da localização para APIs de caixa-preta, trabalhos futuros exigem avaliações de cirurgiões cegos, coortes maiores e métricas conscientes da anatomia para validar a utilidade clínica.