ScaleEdit-12M: Scaling Open-Source Image Editing Data Generation via Multi-Agent Framework

Die Arbeit stellt ScaleEditor vor, ein vollständig open-source Multi-Agent-Framework zur kosteneffizienten Generierung des bisher größten Bildbearbeitungsdatensatzes ScaleEdit-12M, der durch Feinabstimmung multimodaler Modelle zu signifikanten Leistungssteigerungen in allgemeinen und wissensbasierten Bearbeitungsaufgaben führt.

Das Wesentliche

Stell dir vor, du möchtest einen digitalen Maler programmieren, der nicht nur Bilder sieht, sondern sie auch auf deine Wünsche hin verändert. Du sagst: „Mach den Himmel blauer" oder „Tausche die Katze gegen einen Hund aus", und der Computer erledigt das. Das klingt toll, aber um so einen Maler zu trainieren, braucht man Millionen von Beispielen: Ein Originalbild, eine Anweisung und das perfekte Ergebnis.

Bisher war das ein großes Problem. Die besten Beispiele kamen von teuren, geschlossenen Systemen (wie den großen KI-Riesen von Firmen), die man nicht einfach kopieren kann. Die offenen, kostenlosen Alternativen waren oft wie ein schlecht sortiertes Werkzeugkasten: voller Fehler, zu wenig Vielfalt oder einfach nur langweilig.

Hier kommt die neue Arbeit „ScaleEdit-12M" ins Spiel. Sie ist wie der Bau eines riesigen, automatisierten Lehrstabs für digitale Maler, der komplett aus kostenlosen Werkzeugen besteht.

Die drei genialen Schritte (Das „ScaleEditor"-Rezept)

Die Forscher haben ein System namens ScaleEditor entwickelt. Man kann es sich wie eine hochmoderne, dreistufige Fabrik vorstellen:

1. Die Materialbeschaffung (Der „Welt-Entdecker")
Statt nur ein paar alte Fotos aus einem Schrank zu nehmen, schicken die Forscher ihre KI auf eine virtuelle Weltreise.

• Wie es funktioniert: Sie nutzen Suchmaschinen, um Bilder aus der echten Welt zu finden (wie ein Detektiv, der nach spezifischen Szenen sucht), und lassen andere KIs neue Bilder generieren, die wie echte Fotos aussehen.
• Das Ergebnis: Ein riesiger Fundus von über 10 Millionen einzigartigen Bildern, von Strandlandschaften bis zu städtischen Szenen. Es ist, als würde man den gesamten Inhalt des Internets in einen riesigen, organisierten Vorratsraum packen.

2. Die Werkstatt mit Spezialisten (Der „Multi-Agenten-Team")
Jetzt haben sie das Material, aber sie brauchen jemanden, der die Bilder bearbeitet und die Anweisungen schreibt. Früher gab es nur einen einzigen, starren Roboter, der immer das Gleiche tat.

• Die neue Idee: Sie haben ein Team aus 24 verschiedenen KI-Spezialisten (Agenten) zusammengestellt.
  • Ein Spezialist ist gut darin, Text auf Schildern zu ändern.
  • Ein anderer ist ein Meister darin, Materialien zu tauschen (z. B. Stein zu Glas).
  • Ein Dritter ist ein Logik-Experte, der komplexe Anweisungen versteht („Mach den Himmel so, als würde es gleich regnen").
• Der Router: Ein intelligenter „Vorgesetzter" (Router) schaut sich jedes Bild an und sagt: „Du, Text-Spezialist, komm mal her! Und du, Material-Experte, du bist dran!" So wird jedes Bild genau so bearbeitet, wie es am besten passt. Das ist wie ein Restaurant, in dem jeder Koch nur die Gerichte zubereitet, für die er der Beste ist.

3. Die Qualitätskontrolle (Der „Strenge Kritiker")
In einer normalen Fabrik würde man vielleicht einfach alles durchlassen. Hier nicht.

• Der Prüfer: Eine sehr starke KI (Qwen2.5-VL) schaut sich jedes Ergebnis an. Sie fragt sich: „Hat das Bild wirklich das getan, was gesagt wurde? Sieht es natürlich aus? Sind keine seltsamen Artefakte entstanden?"
• Die Regel: Nur die absolut perfekten Beispiele (die eine 3 von 3 Punkten bekommen) dürfen in den Datensatz. Alles andere wird aussortiert. Das ist wie ein strenger Koch, der nur die perfekten Gerichte auf die Speisekarte setzt und den Rest in den Müll wirft.

Das Ergebnis: ScaleEdit-12M

Am Ende haben sie ScaleEdit-12M geschaffen. Das ist der größte Datensatz seiner Art, der je von einer offenen Gemeinschaft erstellt wurde.

• Größe: 12 Millionen Bild-Anweisung-Paare.
• Vielfalt: Es deckt 23 verschiedene Arten von Bearbeitungen ab, von einfachen Farbänderungen bis hin zu komplexen logischen Aufgaben.

Warum ist das wichtig? (Der Test)

Um zu beweisen, dass ihre Methode funktioniert, haben sie zwei bekannte KI-Modelle (UniWorld-V1 und Bagel) mit diesen neuen Daten trainiert.

• Das Ergebnis: Die Modelle wurden deutlich besser. Auf manchen Tests verbesserten sie sich um bis zu 150 %!
• Der Vergleich: Die Modelle, die mit ihren kostenlosen Daten trainiert wurden, waren genauso gut (oder sogar besser) als Modelle, die mit teuren, kommerziellen Daten trainiert wurden.

Fazit in einem Satz

Die Forscher haben gezeigt, dass man mit einem cleveren Team aus KI-Agenten und strengen Qualitätsprüfern eine riesige, hochwertige „Schule" für Bildbearbeitung bauen kann – komplett kostenlos und ohne auf teure Firmen-APIs angewiesen zu sein. Es ist der Beweis, dass Open-Source-Intelligenz jetzt kommerzielle Qualität erreichen kann, wenn man die richtigen Werkzeuge und Prozesse nutzt.

Technische Zusammenfassung

1. Problemstellung

Bildbearbeitung auf Basis von Instruktionen (Instruction-based Image Editing) ist eine Kernfähigkeit moderner Unified Multimodal Models (UMMs). Bisherige Ansätze zur Erstellung großer, hochwertiger Datensätze für dieses Gebiet stießen jedoch auf erhebliche Hindernisse:

• Abhängigkeit von proprietären APIs: Hochwertige Datensätze wurden oft durch Abfragen geschlossener kommerzieller Modelle (z. B. GPT-4o-Image) generiert. Dies ist kostspielig und skaliert nicht wirtschaftlich.
• Qualitätsmängel bei Open-Source-Datensätzen: Bestehende Open-Source-Datensätze basieren häufig auf starren, vordefinierten synthetischen Pipelines (z. B. feste Masken oder einfache Stiltransfer-Regeln). Dies führt zu begrenzter Vielfalt, semantischen Fehlern, Artefakten und einer schlechten Ausrichtung zwischen Bild und Textanweisung.
• Fehlende Weltwissen-Integration: Die vorhandenen Daten decken oft nur enge Domänen ab und fehlt es an komplexen Szenarien, die logisches Schlussfolgern oder tiefes Weltwissen erfordern.

Die zentrale Forschungsfrage lautet daher: Ist es möglich, große, diverse und hochwertige Bildbearbeitungsdatensätze ausschließlich mit Open-Source-Tools und kosteneffizienten Agenten-Frameworks zu erstellen, die mit kommerziellen Lösungen konkurrieren können?

2. Methodik: Das ScaleEditor-Framework

Die Autoren stellen ScaleEditor vor, ein vollständig open-source, hierarchisches Multi-Agenten-Framework, das den gesamten Prozess der Datengenerierung von der Bildauswahl bis zur Qualitätsprüfung automatisiert. Der Prozess gliedert sich in drei Hauptkomponenten:

A. Erweiterung der Quellbilder (Source Image Expansion)

Um eine breite Abdeckung realer Szenarien zu gewährleisten, wird der Bildpool über Standard-Datensätze (COCO, OpenImages) hinaus erweitert:

• Wissensbasierte Erweiterung: Nutzung von Web-Suchmaschinen (bild- und textbasierte Suche), um langschwänzige Konzepte und reale Variationen zu erfassen.
• Synthese-basierte Erweiterung: Generierung semantisch kohärenter Varianten bestehender Bilder mittels Generativer Modelle (z. B. Qwen-Image), basierend auf detaillierten Beschreibungen (MetaCaptioner).
• Bereinigung: Entfernung von Duplikaten mittels perceptual hashing, was zu einem Pool von über 10 Millionen einzigartigen Bildern führt.

B. Adaptive Multi-Agenten-Synthese (Adaptive Multi-Agent Editing Synthesis)

Anstatt starre Regeln zu verwenden, wird ein dynamischer Workflow eingesetzt:

• Task Router: Ein spezialisierter Agent (Qwen2.5-VL-72B) analysiert jedes Bild und entscheidet, welche der 23 vordefinierten Bearbeitungsaufgaben (z. B. Hinzufügen, Entfernen, Textänderung, Stilwechsel) für das jeweilige Bild geeignet sind.
• Spezialisierte Agenten:
  • Instruction Agents: Generieren natürliche Sprachanweisungen, die spezifisch auf die Aufgabe und das Bild zugeschnitten sind. Für komplexe Aufgaben wird eine „Instruction Decoupling"-Strategie verwendet, bei der komplexe Denkprozesse in ausführbare Befehle übersetzt werden.
  • Edit Agents: Eine Sammlung von State-of-the-Art-Open-Source-Modellen (z. B. Qwen-Image-Edit, FLUX.1, Step1X-Edit) führt die eigentliche Bildbearbeitung durch.
  • Text-aware Workflows: Spezielle Pipelines nutzen OCR-Tools (PaddleOCR), um Text im Bild zu erkennen und präzise Textbearbeitungen durchzuführen.

C. Aufgabenbewusste Qualitätsverifikation (Task-Aware Quality Verification)

Um die Datenqualität sicherzustellen, wird ein mehrdimensionaler Filtermechanismus eingesetzt:

• Ein spezialisierter Verifikations-Agent (Qwen2.5-VL-72B) bewertet jedes generierte Triple (Anweisung, Originalbild, bearbeitetes Bild) in drei Dimensionen:
  1. Instruction Following: Wurde die Anweisung genau befolgt?
  2. Editing Consistency: Ist die semantische und strukturelle Kohärenz zum Original gewahrt?
  3. Generation Quality: Wie hoch ist die visuelle Qualität und wie gering sind Artefakte?
• Nur Samples mit perfekten oder sehr hohen Scores (Skala 1-3) werden im finalen Datensatz behalten.

3. Schlüsselbeiträge

1. ScaleEditor Framework: Ein vollständig open-source, skalierbares Multi-Agenten-System, das die Lücke zwischen kommerzieller Datenqualität und Open-Source-Kosteneffizienz schließt.
2. ScaleEdit-12M Datensatz: Der derzeit größte Open-Source-Bildbearbeitungsdatensatz mit 12 Millionen rigoros verifizierten Anweisung-Bild-Paaren. Er deckt 23 Aufgabentypen ab, von lokalen Änderungen (Farbe, Material) bis hin zu globalen Transformationen und wissensbasiertem Schlussfolgern.
3. Nachweis der Überlegenheit: Die Demonstration, dass ein rein Open-Source-Pipeline-ansatz Datensätze von kommerzieller Qualität erzeugen kann, die bei der Feinabstimmung (Fine-Tuning) von Modellen zu signifikanten Leistungssteigerungen führen.

4. Ergebnisse

Die Wirksamkeit von ScaleEdit wurde durch das Fine-Tuning zweier führender UMMs (UniWorld-V1 und Bagel) auf mehreren Benchmarks validiert:

• Allgemeine Bildbearbeitung:

  • UniWorld-V1: Steigerung um 10,4 % auf dem ImgEdit-Bench und 35,1 % auf dem GEdit-Bench im Vergleich zum Baseline-Modell.
  • Bagel: Steigerung um 7,8 % (ImgEdit) und 10,0 % (GEdit).
  • Die Modelle übertrafen dabei auch Modelle, die auf anderen Open-Source-Datensätzen (wie OmniEdit, AnyEdit) trainiert wurden, und erreichten teilweise die Leistung von Modellen, die mit kommerziell annotierten Daten trainiert wurden.

• Wissensbasierte Bearbeitung (Reasoning):

  • Auf Benchmarks wie RISE und KRIS-Bench, die logisches Denken und Weltwissen erfordern, zeigten sich enorme Verbesserungen.
  • UniWorld-V1: Steigerung um 150,0 % auf RISE und 26,5 % auf KRIS-Bench.
  • Dies belegt, dass der Datensatz nicht nur visuelle Manipulationen, sondern auch komplexe semantische Anforderungen effektiv abdeckt.

• Ablationsstudien:

  • Studien zeigten, dass sowohl der Task Router als auch der Qualitätsfilter entscheidend für die Leistungssteigerung sind.
  • Der Instruction Rewriter verbesserte die Leistung bei wissensintensiven Aufgaben signifikant.
  • Die Qualitätsbewertung durch Qwen2.5-VL-72B korrelierte stark mit menschlichen Bewertungen und GPT-4o, was die Zuverlässigkeit des Open-Source-Evaluators unterstreicht.

5. Bedeutung und Ausblick

Das Paper demonstriert einen Paradigmenwechsel in der Entwicklung von Multimodal-Modellen:

• Demokratisierung hochwertiger Daten: Es wird gezeigt, dass man nicht auf teure proprietäre APIs angewiesen ist, um Trainingsdaten von „Commercial-Grade"-Qualität zu erzeugen.
• Skalierbarkeit: Der Ansatz ist wirtschaftlich skalierbar und ermöglicht die Erstellung von Datensätzen im Millionenbereich (12M), was bisher nur kommerziellen Akteuren vorbehalten war.
• Zukunftspotenzial: ScaleEdit legt den Grundstein für robustere, vielseitigere und wissensbasierte Bildbearbeitungssysteme. Zukünftige Arbeiten könnten sich auf die Verfeinerung der visuellen Qualität durch spezialisierte Fine-Tuning-Modelle und die Erweiterung auf mehrstufige, konversationelle Bearbeitungsszenarien konzentrieren.

Zusammenfassend bietet ScaleEdit-12M eine neue Benchmark für Open-Source-Bildbearbeitung und beweist, dass intelligente Multi-Agenten-Systeme die Qualitätsgrenzen von Open-Source-Daten signifikant anheben können.