EditCaption: Human-Aligned Instruction Synthesis for Image Editing via Supervised Fine-Tuning and Direct Preference Optimization

Probleemstelling

De schaalbaarheid van instructie-gestuurde beeldbewerkingsmodellen wordt momenteel beperkt door de kwaliteit en schaal van trainingsdrietallen (bronafbeelding, doelafbeelding en bijbehorende bewerkingsinstructie). Hoewel Vision-Language Models (VLMs) vaak worden gebruikt om deze instructies automatisch te synthetiseren, vertonen ze systematische fouten die ze onbruikbaar maken voor training. De auteurs identificeren drie dominante foutenmodi in VLM-gegenereerde instructies:

1. Oriëntatie-inconsistentie: Modellen verwarren vaak richting (bijv. "links" in plaats van "rechts").
2. Vage perspectieven: Onvermogen om perspectiefverschuivingen of camerabewegingen correct te beschrijven.
3. Gebrek aan fijnmazige details: Ontbreken van specifieke attributen zoals kleur, textuur of objectwijzigingen.

Menselijke evaluatie toont aan dat meer dan 47% van de instructies gegenereerd door sterke baselines VLMs kritieke fouten (P0) bevat die de instructies onbruikbaar maken voor downstream training.

Methodologie: EditCaption

Om deze problemen aan te pakken, stellen de auteurs EditCaption voor, een schaalbaar, twee-staps post-training pijplijn voor VLMs, specifiek ontworpen om menselijke voorkeuren te aligneren. Het proces omvat:

Fase 1: Supervised Fine-Tuning (SFT)

• Dataverzameling: Er wordt een dataset van 100.000 afbeeldingsparen geconstrueerd.
• Proces:
  1. Automatische annotatie: GLM genereert initiële instructies.
  2. Kwaliteitsfiltering: EditScore (een reward model) filtert inconsistenties en onnauwkeurigheden.
  3. Menselijke verfijning: Menselijke annotatoren corrigeren de resterende data om ruimtelijke relaties, richting en fijnmazige attributen nauwkeurig weer te geven.
• Doel: Het model leren om gestructureerde en accurate instructies te genereren op grote schaal.

Fase 2: Direct Preference Optimization (DPO)

• Probleem: Zelfs na SFT vertoont het model nog steeds de systematische fouten (richting, perspectief, details).
• Dataverzameling: Een dataset van 10.000 voorkeursparen wordt aangelegd.
  • Rejected ($y_r$): Output van het SFT-model dat de fouten vertoont.
  • Chosen ($y_w$): Menselijk gecorrigeerde instructies die specifiek de drie foutenmodi adresseren.
• Optimalisatie: DPO wordt toegepast om het model direct te aligneren met menselijke voorkeuren, waardoor de waarschijnlijkheid van menselijk gewenste instructies wordt vergroot ten opzichte van de foutieve output, zonder de noodzaak van een expliciete reward model.

De pipeline wordt getraind op twee modelgroottes: Qwen3-VL-32B en Qwen3-VL-235B-A22B.

Belangrijkste Bijdragen

1. Systematische Analyse: Een kwantitatieve analyse van VLM-fouten in beeldbewerking, waarbij ruimtelijke inconsistentie, vage perspectieven en gebrek aan details als de belangrijkste knelpunten worden geïdentificeerd.
2. Schaalbaar Data-pijplijn: Een innovatieve tweestapsaanpak met 100K menselijk verfijnde SFT-data en 10K menselijk geannoteerde voorkeursparen voor DPO.
3. State-of-the-Art Prestaties: Demonstratie dat de combinatie van SFT en DPO leidt tot superieure prestaties ten opzichte van zowel open-source als gesloten bronmodellen, met name in complexe ruimtelijke taken.

Resultaten

De methodologie is geëvalueerd op drie benchmarks: een intern Eval-400 set, ByteMorph-Bench (focust op niet-rigide beweging en camera-transformaties) en HQ-Edit.

• Objectieve Evaluatie:

  • Het Qwen3-VL-235B (SFT+DPO) model bereikte een gewogen score van 4.712 op Eval-400, wat hoger is dan Gemini-3-Pro (4.706) en aanzienlijk hoger dan GPT-4.1 (4.220).
  • Op de uitdagende ByteMorph-Bench scoorde het model 4.588, wat ver boven Gemini-3-Pro (4.522) en GPT-4.1 (3.412) ligt.
  • Zelfs het kleinere 32B model presteerde concurrerend met veel grotere modellen.

• Menselijke Evaluatie:

  • Het percentage kritieke fouten (P0) daalde van 47,75% (basismodel) naar 23% na de twee-staps training.
  • Het percentage correcte instructies steeg van 41,75% naar 66%.
  • Het 235B model bereikte bijna hetzelfde niveau als Gemini-3-Pro (66% correct, 21% P0).

• Ablatie-studie:

  • DPO alleen presteerde slecht (zonder sterke SFT-basis kan het model geen feitelijke instructies genereren).
  • De combinatie SFT + DPO leverde de beste resultaten, wat aantoont dat SFT de basisvaardigheden installeert en DPO de resterende systematische fouten corrigeert.

Significantie

Dit werk biedt een praktische en effectieve oplossing voor het bouwen van grote datasets voor beeldbewerking. In plaats van het duur en tijdrovend handmatig animeren van bron-doel-paren, stelt EditCaption een schaalbare route voor om hoogwaardige instructies te synthetiseren die menselijk aligned zijn. Door de specifieke foutenmodi van VLMs aan te pakken via een tweestaps-pijplijn, overtreft het model gesloten bronmodellen en opent het de weg voor het trainen van robuustere, instructie-gestuurde beeldbewerkingsmodellen op industriële schaal.