Resumo Técnico: ScribbleEdit

Declaração do Problema

Avanços recentes em modelos generativos melhoraram as capacidades de edição de imagens, mas alcançar controle preciso e intuitivo pelo usuário permanece um desafio significativo. Os usuários têm dificuldade em comunicar simultaneamente layouts espaciais exatos e detalhes semânticos específicos. Instruções em linguagem natural transmitem efetivamente semânticas de alto nível (por exemplo, textura, cor), mas carecem de especificidade espacial. Por outro lado, rabiscos feitos à mão fornecem limites e estruturas espaciais intuitivos, mas são inerentemente abstratos, imprecisos e difíceis para os modelos interpretarem em relação a atributos visuais detalhados. Os modelos existentes lutam para interpretar conjuntamente essas duas modalidades devido à falta de dados de treinamento especializados que combinem rabiscos abstratos com instruções de texto.

Metodologia

Os autores introduzem o ScribbleEdit, um conjunto de dados sintético em grande escala e um pipeline automatizado projetados para preencher a lacuna entre a edição de imagens guiada por rabiscos e por texto.

1. Pipeline de Construção do Conjunto de Dados:
O conjunto de dados consiste em 11.775 amostras para uma tarefa de adição de objeto, onde o objetivo é adicionar um objeto específico a uma imagem guiado por um rabisco e uma instrução de texto. O pipeline envolve quatro etapas:

• Dados de Origem: 12.500 pares imagem-rabisco foram subamostrados do Sketchy Database, que contém fotos emparelhadas com rabiscos desenhados à mão coletados de forma crowdsourced.
• Segmentação de Objetos: Um processo de duas etapas gera máscaras de objeto. Primeiro, o Grounding DINO detecta o objeto usando seu nome de classe para produzir uma caixa delimitadora. Segundo, o Segment Anything Model (SAM) gera três candidatos a máscara, dos quais é selecionado aquele com o maior IoU previsto. A máscara é dilatada em 15 pixels para garantir a cobertura completa dos limites.
• Geração de Imagem de Entrada: O objeto segmentado é removido da foto de origem usando o modelo de inpainting LaMa, que reconstrói o fundo puramente a partir do contexto circundante, sem prompts de texto. Esta imagem inpaintada serve como entrada para o modelo de edição.
• Geração de Instruções: O Gemma 3 (4B), um modelo de linguagem-vision instruído, gera instruções em linguagem natural. Ele recebe a imagem de entrada (inpaintada) e a imagem de destino (original) e é solicitado a produzir um comando de edição específico descrevendo a aparência e a localização do objeto.

O conjunto de dados final é dividido em conjuntos de treinamento (9.438 fotos), validação (1.164 fotos) e teste (1.173 fotos). Para gerenciar os custos de treinamento, uma subamostra é selecionada onde cada foto é emparelhada com no máximo dois rabiscos, resultando em aproximadamente 18.876 instâncias de treinamento.

2. Avaliação e Ajuste Fino do Modelo:
Os autores avaliam e realizam ajuste fino em dois tipos de modelos no ScribbleEdit:

• ControlNet-Scribble Condicionado à Imagem: Um modelo baseado em difusão. Os autores modificam o ControlNet-Scribble padrão condicionando-o à representação latente da imagem original (codificada via VAE), além das entradas de texto e rabisco. Isso permite que o modelo realize a edição enquanto preserva o fundo original, abordando a limitação do ControlNet padrão, que realiza geração em vez de edição. O modelo é treinado usando um processo de duas etapas: atualizando primeiro novas camadas, seguido pelo ajuste fino completo do U-Net.
• BAGEL-7B-MoT: Um modelo de linguagem grande multimodal unificado. Os autores aplicam ajuste fino LoRA à base de linguagem. Para incentivar o modelo a editar apenas a área de destino e preservar o fundo, é utilizada uma perda MSE ponderada espacialmente, atribuindo peso 5x aos tokens dentro da máscara de edição de destino em comparação com os tokens de fundo.

Ambos os modelos são treinados com orientação livre de classificador (CFG) descartando entradas de texto ou rabisco com uma probabilidade de 0,1.

Principais Contribuições

1. Conjunto de Dados ScribbleEdit: Um conjunto de dados sintético em grande escala projetado especificamente para edição de imagens multimodal que combina rabiscos feitos à mão com instruções em linguagem natural.
2. Pipeline Automatizado: Um método para construir exemplos de edição multimodal emparelhados gerando automaticamente pares de imagens origem-destino via inpainting e emparelhando-os com rabiscos desenhados por humanos e texto gerado por VLM.
3. Avaliação de Benchmark: Uma avaliação abrangente de modelos modernos baseados em difusão e modelos unificados multimodais autoregressivos sob diferentes configurações de condicionamento (apenas texto, apenas rabisco e orientação conjunta).

Resultados

O artigo apresenta resultados quantitativos usando Interseção de Histograma, RMSE, Similaridade CLIP e pontuações FID, juntamente com comparações qualitativas.

• Ganhos de Desempenho: O ajuste fino no ScribbleEdit melhora significativamente o desempenho do modelo em todas as quatro métricas em comparação com as linhas de base zero-shot.
• Comparação de Modelos:
  • O ControlNet-Scribble Condicionado à Imagem alcançou a menor pontuação FID, indicando superioridade em realismo e preservação de fundo.
  • O BAGEL-7B-MoT Ajustado Fino mostrou as melhorias mais significativas na Interseção de Histograma e RMSE (tanto em toda a imagem quanto dentro da caixa delimitadora), demonstrando maior similaridade em cor e detalhes em nível de pixel. Também mostrou grandes melhorias nas pontuações CLIP e FID.
• Robustez: O BAGEL ajustado fino manteve o desempenho quando fornecido apenas com entradas de rabisco ou apenas de texto durante a inferência, com uma queda significativa apenas na pontuação FID ao usar apenas texto.
• Análise de Erros: Em uma amostra de 50 imagens de teste, o BAGEL ajustado fino aderiu suficientemente à orientação do rabisco em 82% dos casos, mas apenas às instruções de texto em 57% dos casos. Falhas comuns incluíram orientação, localização ou tamanho incorreto do objeto (aderência ao rabisco) e cor incorreta ou identidade do objeto (aderência ao texto).

Significado e Alegações

O artigo afirma que o ScribbleEdit aborda efetivamente a falta de dados de treinamento especializados para interpretação conjunta de rabisco-texto. Os autores demonstram que, embora modelos prontos para uso lutem com entradas de rabisco abstrato (gerando frequentemente características semelhantes a rabiscos ou falhando na edição), o ajuste fino em seu conjunto de dados sintético melhora significativamente a capacidade de gerar edições alinhadas espacialmente e semanticamente consistentes.

O trabalho posiciona o ScribbleEdit como um recurso para incentivar pesquisas futuras sobre ferramentas de edição precisas e centradas no ser humano. Os autores reconhecem limitações, observando que o conjunto de dados depende de desenhos humanos existentes em vez de sintetizados, foca principalmente na adição de objetos e depende de pipelines automatizados que podem introduzir ruído. Eles sugerem que trabalhos futuros poderiam explorar edição parcial de alta granularidade e o uso de métodos de geração de rabiscos mais semanticamente conscientes (por exemplo, CLIPasso).