ScaleEdit-12M: Scaling Open-Source Image Editing Data Generation via Multi-Agent Framework

Deze paper introduceert ScaleEditor, een volledig open-source multi-agent framework dat de dataset ScaleEdit-12M genereert, waarmee kosteneffectieve en schaalbare training van multimodale modellen voor beeldbewerking mogelijk wordt gemaakt zonder afhankelijkheid van gesloten API's.

De kern

Stel je voor dat je een kunstenaar bent die foto's wil aanpassen. Je wilt een auto in een foto veranderen in een paard, de achtergrond van een zandstrand naar een stadsstraat brengen, of tekst op een bordje veranderen. Dit heet "beeldbewerking op basis van instructies".

Vroeger was dit heel moeilijk voor computers. Ze konden de instructies vaak niet goed begrijpen of maakten rare, onnatuurlijke foto's. Om dit te verbeteren, hebben onderzoekers een enorm "trainingsboek" nodig met duizenden voorbeelden van: Hier is een foto, hier is de opdracht, en hier is het perfecte resultaat.

Het probleem? De beste voorbeelden werden tot nu toe gemaakt door dure, gesloten computersystemen (zoals die van grote tech-bedrijven). Dat kost veel geld en is niet voor iedereen beschikbaar.

Hier komt ScaleEdit-12M en ScaleEditor om de hoek kijken. Laten we uitleggen wat ze hebben gedaan, met een paar leuke vergelijkingen.

1. Het Probleem: De Dure Kookschool

Stel je voor dat je wilt leren koken. De beste koks werken in dure restaurants met gespecialiseerde apparatuur (de "gesloten systemen"). Om te leren, moet je die restaurants bezoeken, maar dat kost een fortuin.
Aan de andere kant zijn er openbare keukens (open-source modellen), maar daar zijn de recepten vaak saai, de ingrediënten beperkt, en de resultaten soms niet lekker. De onderzoekers vroegen zich af: "Kunnen we een eigen, gratis 'super-keuken' bouwen die net zo goed is als die dure restaurants, maar dan met slimme robots?"

2. De Oplossing: Het Team van Slimme Robots (Multi-Agent Framework)

In plaats van één robot die alles probeert te doen, hebben ze een heel team van gespecialiseerde robots opgezet, genaamd ScaleEditor. Dit team werkt als een goed georganiseerd productielijn:

• De Verzamelaar (Bronverrijking):
  Eerst moet je ingrediënten verzamelen. De robots zoeken niet alleen in bestaande fotoalbums, maar gaan ook het internet op om de leukste, meest diverse foto's te vinden. Ze denken: "We hebben foto's van stranden nodig, maar ook van steden, dieren, en rare situaties." Ze maken zelfs nieuwe foto's die er echt uitzien, zodat ze genoeg materiaal hebben om mee te werken.
  Vergelijking: Het is alsof je niet alleen naar de supermarkt gaat, maar ook zelf een eigen tuin aanlegt en een fabriek opzet om verse groenten te telen.

• De Chef-koks (Adaptieve Multi-Agent Synthese):
  Nu hebben ze de foto's, maar wat moeten ze ermee doen? Hier komt het slimme deel. Een "Router" (een soort chef) kijkt naar elke foto en zegt: "Deze foto is perfect om een paraplu toe te voegen, maar niet om de kleur van de lucht te veranderen."
  Vervolgens sturen ze de foto naar de juiste specialist:

  • De Tekst-specialist past teksten op borden aan.
  • De Kleur-specialist verandert de kleur van kleding.
  • De Redeneer-specialist denkt na over logische veranderingen (bijv. "Als ik een ei breek, moet het geel en vloeibaar zijn").
    Vergelijking: Het is als een restaurant waar elke kok alleen zijn eigen specialiteit doet. De ene kok is een meester in het snijden, de andere in het bakken. Samen maken ze een perfect gerecht.

• De Kwaliteitscontroleurs (Task-Aware Quality Verification):
  Voordat een foto het "trainingsboek" in mag, wordt hij streng gecontroleerd. Een andere robot kijkt: "Zit de nieuwe paraplu er echt op? Is de schaduw natuurlijk? Begrijpt de foto wat er gevraagd werd?"
  Als het antwoord "nee" is, wordt de foto weggegooid. Alleen de perfecte foto's komen in het boek.
  Vergelijking: Het is alsof je een strikte keurmeester hebt die elke taart proeft. Als er een kruimel in zit, gaat de taart de prullenbak in. Alleen de perfecte taarten komen in de winkel.

3. Het Resultaat: Het Grootste Open Boek (ScaleEdit-12M)

Dit proces heeft geleid tot ScaleEdit-12M.

• Grootte: Het bevat 12 miljoen voorbeelden. Dat is gigantisch! Ter vergelijking: andere gratis boeken hadden vaak maar 1 of 2 miljoen.
• Diversiteit: Het dekt alles: van het veranderen van de kleding van een persoon tot het veranderen van het hele landschap, en zelfs het toevoegen van logische redeneringen.
• Kwaliteit: Omdat de robots zo streng zijn geweest, is de kwaliteit net zo goed als die van de dure, gesloten systemen, maar dan gratis en openbaar.

4. Wat levert dit op?

De onderzoekers hebben dit boek gebruikt om twee slimme computers (genaamd UniWorld-V1 en Bagel) te trainen.
Het resultaat? Deze computers werden veel beter in het begrijpen en uitvoeren van instructies.

• Ze konden nu veel natuurlijker foto's aanpassen.
• Ze begrepen complexe opdrachten beter (bijv. "Maak het beeld als een Amerikaanse strip").
• Ze presteerden net zo goed als de dure systemen van grote bedrijven.

Samenvatting in één zin

De onderzoekers hebben een slim team van gratis robots gebouwd dat samenwerkt om een enorm, hoogwaardig trainingsboek te maken, zodat elke computer in de wereld kan leren om foto's op een natuurlijke en creatieve manier aan te passen, zonder dat je daarvoor miljoenen euro's hoeft uit te geven.

Het bewijst dat je met slimme samenwerking (multi-agent) en open source technologie net zo goed kunt presteren als de dure, gesloten systemen van de grote tech-giganten.

Technische samenvatting

Probleemstelling

Opdrachtgebaseerde beeldbewerking (instruction-based image editing) is een kernvaardigheid geworden voor Unificatie Multimodale Modellen (UMM's). Hoewel gesloten, commerciële systemen (zoals GPT-4o-Image) uitstekende resultaten leveren, blijft het creëren van grote, diverse en hoogwaardige datasets voor open-source modellen een uitdaging. Bestaande open-source benaderingen hebben twee grote tekortkomingen:

1. Afhankelijkheid van gesloten API's: Veel datasets worden gegenereerd met dure, proprietaire modellen, wat schaalbaarheid en kostenefficiëntie beperkt.
2. Beperkte kwaliteit en diversiteit: Synthetische pipelines die gebruikmaken van vaste bewerkingen (zoals maskering of achtergrondvervanging) leiden vaak tot datasets met beperkte semantische rijkdom, artefacten en een gebrek aan wereldkennis.

De centrale vraag is: Is het mogelijk om grote, diverse en hoogwaardige datasets voor beeldbewerking te bouwen met volledig open-source en kosteneffectieve agentische toolkit?

Methodologie: Het ScaleEditor Framework

Om dit probleem op te lossen, stellen de auteurs ScaleEditor voor, een hiërarchisch multi-agent framework dat volledig gebaseerd is op open-source tools. Het proces bestaat uit drie hoofdcomponenten:

1. Uitbreiding van Bronafbeeldingen met Wereldkennis:

   • In plaats van alleen te vertrouwen op bestaande datasets (zoals COCO of OpenImages), gebruikt het framework webzoekopdrachten (tekst- en beeldgebaseerd) om realistische, lange-staart visuele concepten te vinden.
   • Daarnaast wordt een synthese-gedreven uitbreiding gebruikt: generatieve modellen (zoals Qwen-Image) creëren variaties van bestaande afbeeldingen met behoud van de kernsemantiek, maar met aangepaste elementen.
   • Dit resulteert in een gevarieerde bronpool van meer dan 10 miljoen unieke afbeeldingen.

2. Adaptieve Multi-Agent BewerkingsSynthese:

   • Een Task Router (aangedreven door Qwen2.5-VL-72B) analyseert elke afbeelding en bepaalt welke van de 23 vooraf gedefinieerde bewerkingsopdrachten (bijv. toevoegen, verwijderen, tekst aanpassen, stijl wijzigen) geschikt zijn.
   • Specifieke Instruction Agents genereren natuurlijke taal-instructies die zijn afgestemd op de specifieke taak.
   • Edit Agents (met modellen zoals Qwen-Image-Edit, FLUX.1, Step1X-Edit) voeren de daadwerkelijke bewerking uit.
   • Er worden speciale workflows ingevoerd voor tekstbewerking (OCR-integratie) en redenering (decoupling van complexe redeneringen in uitvoerbare commando's).

3. Taakbewuste Kwaliteitsverificatie:

   • Een verificatiemodule, eveneens gebaseerd op Qwen2.5-VL-72B, evalueert elk gegenereerd triplet (instructie, origineel, bewerkt) op drie dimensies:
     1. Instructievolging: Is de opdracht correct uitgevoerd?
     2. Bewerkingsconsistentie: Is de semantische en structurele coherentie behouden?
     3. Generatiekwaliteit: Zijn de visuele realisme en artefacten onder controle?
   • Alleen samples met een perfecte score op instructievolging en hoge scores op de andere twee dimensies worden behouden.

Belangrijkste Bijdragen

• ScaleEditor: Een volledig open-source, hiërarchisch multi-agent framework dat end-to-end grote datasets kan genereren zonder afhankelijkheid van dure commerciële API's.
• ScaleEdit-12M: De grootste open-source dataset voor instructiegebaseerde beeldbewerking tot nu toe. Deze bevat 12 miljoen zorgvuldig geverifieerde instructie-afbeelding-paren, verdeeld over 23 taakfamilies (lokaal en globaal) en diverse domeinen (natuur, stadslandschappen, mensgerichte scènes).
• Validatie van Open-Source Kwaliteit: Het paper demonstreert dat een volledig open-source pipeline, wanneer goed ontworpen, datasets kan produceren die qua kwaliteit en diversiteit concurreren met die van commerciële modellen.

Resultaten

De auteurs hebben twee representatieve UMM's (UniWorld-V1 en Bagel) gefinetuned op ScaleEdit-12M en geëvalueerd op diverse benchmarks:

• Algemene Bewerking:

  • Op de ImgEdit-benchmark verbeterde UniWorld-V1 met 10,4%.
  • Op de GEdit-benchmark verbeterde UniWorld-V1 met 35,1%.
  • De gefinetunde modellen presteerden consistent beter dan modellen die waren getraind op andere open-source datasets (zoals OmniEdit, AnyEdit) en zelfs beter dan sommige datasets gegenereerd door commerciële modellen.

• Kennis-gedreven Bewerking (Reasoning):

  • Op de RISE-benchmark (redenering) verbeterde UniWorld-V1 met een opmerkelijke 150,0%.
  • Op de KRIS-Bench verbeterde het model met 26,5%.
  • Dit toont aan dat de dataset effectief is in het overdragen van wereldkennis en redeneervermogen.

• Ablatiestudies:

  • Vergelijkingen op gelijke schaal (1M samples) tonen aan dat de kwaliteit van ScaleEdit superieur is aan bestaande datasets.
  • Het uitschakelen van de Task Router of de kwaliteitsfilter leidt tot significante prestatieverlies, wat het belang van deze componenten bevestigt.

Betekenis en Impact

Dit werk is een mijlpaal voor de open-source gemeenschap in het domein van multimodale AI. Het bewijst dat:

1. Kostenefficiëntie en Schaalbaarheid: Het is mogelijk om datasets van de schaal van 10+ miljoen te bouwen zonder de exorbitante kosten van commerciële API's.
2. Kwaliteit zonder Propriëtaire Modellen: Een goed ontworpen multi-agent systeem met open-source foundation modellen kan "commerciële kwaliteit" bereiken.
3. Toekomstperspectief: ScaleEdit-12M biedt een robuuste basis voor het trainen van de volgende generatie beeldbewerkingsmodellen, waardoor de kloof tussen open-source en gesloten systemen verder wordt gedicht.

De framework en de dataset zijn volledig open-source beschikbaar gesteld via GitHub en Hugging Face, wat de reproduceerbaarheid en verdere ontwikkeling in de gemeenschap stimuleert.