EditCaption: Human-Aligned Instruction Synthesis for Image Editing via Supervised Fine-Tuning and Direct Preference Optimization

Resumo Técnico: EditCaption

1. Problema Identificado

O avanço de modelos de edição de imagem guiados por instruções (instruction-guided image editing) enfrenta um gargalo crítico: a escassez de tripletos de treinamento de alta qualidade (pares de imagem fonte-alvo + instruções de edição precisas).

• Limitação Atual: Embora os Modelos Visão-Linguagem (VLMs) sejam usados para sintetizar instruções automaticamente, eles falham sistematicamente ao descrever transformações entre pares de imagens.
• Três Modos de Falha Sistemática:
  1. Inconsistência de Orientação: Confusão frequente entre direções (ex: descrever um movimento para a esquerda como "direita").
  2. Ambiguidade de Ponto de Vista: Falha em caracterizar corretamente mudanças de perspectiva ou movimento da câmera.
  3. Falta de Detalhes Granulares: Descrições genéricas que omitam mudanças críticas de atributos (cor, textura, modificações de objetos).
• Impacto: Uma avaliação humana revelou que mais de 47% das instruções geradas por VLMs de base forte contêm erros críticos (P0) que as tornam inutilizáveis para treinamento downstream.

2. Metodologia: O Pipeline EditCaption

Os autores propõem o EditCaption, um pipeline de pós-treinamento em duas etapas projetado para alinhar VLMs com preferências humanas, focando especificamente nas falhas identificadas.

• Etapa 1: Ajuste Fino Supervisionado (SFT)

  • Construção de Dados: Criação de um conjunto de dados de 100.000 pares de imagens.
  • Processo:
    1. Geração automática inicial usando o modelo GLM.
    2. Filtragem de qualidade usando o EditScore (um modelo de recompensa que mede a consistência entre a instrução e a diferença visual).
    3. Refinamento Humano: Anotadores humanos corrigem erros espaciais, direcionais e de atributos, garantindo precisão semântica e clareza.
  • Objetivo: Estabelecer a capacidade básica do modelo de gerar instruções estruturadas e precisas em escala.

• Etapa 2: Otimização Direta de Preferência (DPO)

  • Construção de Dados: Criação de 10.000 pares de preferência (escolhido vs. rejeitado).
  • Mecanismo:
    • Rejeitado: Saídas do modelo SFT que ainda exibem os modos de falha (confusão espacial, ambiguidade, falta de detalhe).
    • Escolhido: Instruções corrigidas por humanos que resolvem especificamente essas falhas.
  • Treinamento: Aplicação do algoritmo DPO para alinhar o modelo com o julgamento humano, penalizando as falhas residuais que o SFT sozinho não conseguiu corrigir.

• Modelos Utilizados: O pipeline foi aplicado em duas escalas de modelos: Qwen3-VL-32B e Qwen3-VL-235B-A22B.

3. Principais Contribuições

1. Análise Empírica Sistemática: Identificação e quantificação das três categorias dominantes de erro em VLMs para síntese de instruções de edição (orientação, ponto de vista e granularidade), fornecendo evidências de que mais de 47% das saídas são inaceitáveis.
2. Pipeline de Dados Escalável: Introdução de uma metodologia de dois estágios combinando 100K dados SFT refinados por humanos e 10K pares de preferência, focados em corrigir falhas estruturais específicas.
3. Desempenho State-of-the-Art (SOTA): Demonstração de que a combinação SFT+DPO supera todos os modelos de código aberto e rivaliza ou supera modelos fechados de ponta em múltiplos benchmarks.

4. Resultados Experimentais

Os modelos foram avaliados em três benchmarks: um conjunto interno (Eval-400), ByteMorph-Bench (focado em movimentos não rígidos e transformações de câmera) e HQ-Edit.

• Desempenho Quantitativo (Benchmarks):
  • O modelo Qwen3-VL-235B (SFT+DPO) alcançou uma pontuação ponderada de 4.712 no Eval-400, superando o Gemini-3-Pro (4.706) e o GPT-4.1 (4.220).
  • No desafiador ByteMorph-Bench, o modelo alcançou 4.588, superando significativamente o Gemini-3-Pro (4.522) e o GPT-4.1 (3.412), demonstrando superioridade em raciocínio espacial complexo.
• Avaliação Humana:
  • A taxa de erros críticos (P0) caiu de 47,75% (modelo base) para 23% após o treinamento de duas etapas.
  • A taxa de correção (instruções utilizáveis) aumentou de 41,75% para 66%.
• Estudo de Ablação:
  • O uso de DPO sozinho resultou em desempenho inferior, confirmando que o SFT é essencial para estabelecer um "priori" generativo forte.
  • A combinação SFT + DPO foi consistentemente superior, com ganhos mais pronunciados em métricas de Precisão (Accuracy) e Completude (Completeness).

5. Significado e Impacto

• Solução para Escala: O trabalho oferece uma abordagem prática e eficaz para a construção de dados de edição de imagem em grande escala, reduzindo a dependência de anotação manual pura, que é proibitivamente cara.
• Alinhamento Humano: Demonstra que a otimização direta de preferências (DPO) é crucial para corrigir falhas sistemáticas de raciocínio espacial que o ajuste supervisionado padrão não resolve.
• Aplicabilidade: O modelo EditCaption permite a geração de instruções de alta qualidade a partir de pares de imagens arbitrários, facilitando o treinamento de futuros modelos fundamentais de edição de imagem (foundation models) com dados sintéticos de alta fidelidade.

Em suma, o EditCaption estabelece um novo padrão para a síntese de instruções de edição, provando que pipelines de treinamento híbridos (SFT + DPO) focados em falhas específicas podem superar modelos proprietários massivos em tarefas de raciocínio visual-espacial.