FireRed-Image-Edit-1.0 Technical Report

Der Bericht stellt FireRed-Image-Edit vor, ein diffusion-basiertes Transformer-Modell für instruktionsgesteuerte Bildbearbeitung, das durch eine optimierte Datenkurierung, einen mehrstufigen Trainingsprozess und neuartige Techniken zur Stabilisierung sowie durch die Einführung des umfassenden REDEdit-Bench-Tests benchmarks den State-of-the-Art in diesem Bereich erreicht.

Das Wesentliche

Stell dir vor, du hast einen magischen Bildhauer, der nicht nur aus Stein, sondern aus Licht und Pixeln arbeitet. Dieser Bildhauer heißt FireRed-Image-Edit.

Bisher waren solche magischen Werkzeuge entweder wie verschlossene Black-Boxen (nur große Firmen durften sie benutzen) oder wie riesige, unförmige Elefanten, die so viel Strom fraßen, dass sie kaum noch beweglich waren. Das Team von Xiaohongshu (einer chinesischen Social-Media-Plattform) hat sich gedacht: „Warum müssen wir Elefanten züchten, wenn wir auch einen schlauen, präzisen Handwerker bauen können?"

Hier ist die Geschichte von FireRed, einfach erklärt:

1. Das riesige Kochbuch (Die Daten)

Ein Bildhauer kann nur gut arbeiten, wenn er viele Beispiele gesehen hat. Die Forscher haben ein Kochbuch mit 1,6 Milliarden Rezepten zusammengestellt.

• Das Problem: Viele dieser Rezepte waren verdorben, doppelte Kopien oder einfach nur Müll.
• Die Lösung: Sie haben einen extrem strengen „Qualitäts-Filter" entwickelt. Stell dir das wie eine Super-Haushälterin vor, die jedes einzelne Rezept prüft. Sie wirft alles weg, was unscharf ist, Wasserzeichen hat oder künstlich aussieht.
• Das Ergebnis: Am Ende blieben über 100 Millionen hochwertige Rezepte übrig. Das Besondere: Das Kochbuch ist perfekt ausbalanciert. Es gibt genauso viele Rezepte für das Erstellen neuer Bilder (wie „Mache ein Foto von einer Katze") wie für das Ändern bestehender Bilder (wie „Mache aus der Katze einen Tiger").

2. Der schlaue Assistent (Das Training)

Stell dir vor, du möchtest einem Schüler beibringen, Bilder zu bearbeiten. Wenn du ihm 1000 Bilder gleichzeitig zeigst, die alle unterschiedlich groß sind, wird er verwirrt.

• Der „Eimer"-Trick: FireRed nutzt einen cleveren Trick namens „Bucket Sampler". Stell dir vor, du sortierst deine Bilder nicht nach Größe, sondern packst sie in Eimer, die genau passen. So muss der Computer nicht ständig Lücken mit weißem Platz füllen (was Zeit und Energie verschwendet).
• Der Durcheinander-Test: Um den Schüler wirklich schlau zu machen, werfen die Forscher die Bilder und die Anweisungen durcheinander. „Hier ist Bild A, hier ist Bild B, und die Anweisung sagt: 'Nimm Bild B'." Der Schüler lernt dadurch, dass die Reihenfolge egal ist, solange er den Inhalt versteht. Das macht ihn robuster gegen chaotische Befehle.

3. Der Lehrer, der nicht schreit (Die Optimierung)

Beim Lernen gibt es zwei Arten, Fehler zu korrigieren:

1. Der alte Weg: „Das ist falsch! Mach es nicht!" (Das führt oft dazu, dass der Schüler Angst hat, irgendetwas zu tun).
2. Der FireRed-Weg: „Das ist gut! Mach das noch öfter!" (Positive Verstärkung).
   FireRed nutzt eine Methode, die den Fokus darauf legt, die guten Ergebnisse zu belohnen, statt nur die schlechten zu bestrafen. Das macht den Lernprozess stabiler und verhindert, dass das Modell „verrückt" wird.

Zudem gibt es einen speziellen Trick für Text in Bildern. Wenn du einen Schild im Bild ändern willst, muss nicht nur der Text stimmen, sondern auch die Schriftart und die Position. FireRed hat einen „Layout-Prüfer" eingebaut, der sicherstellt, dass das Wort „Café" nicht plötzlich riesig und schief auf dem Bild steht, sondern genau dort sitzt, wo es hingehört.

4. Der neue Prüfstein (Der Benchmark)

Bisher gab es keine einheitliche Art, zu sagen, ob ein Bildbearbeitungs-Tool wirklich gut ist. Manche Tests waren zu einfach.

• REDEdit-Bench: Das Team hat einen neuen, fairen Prüfstein gebaut. Stell dir das wie eine Olympiade für Bildbearbeitung vor. Es gibt 15 verschiedene Disziplinen: Von „Mache das Foto schöner" bis „Ändere den Text auf dem Plakat" oder „Ziehe dem Model ein anderes Kleid an".
• FireRed hat bei dieser Olympiade nicht nur mitgemacht, sondern gegen die besten kommerziellen und Open-Source-Modelle gewonnen.

Warum ist das wichtig?

Früher musste man für solche Aufgaben riesige, teure Supercomputer nutzen, die nur große Firmen sich leisten konnten. FireRed zeigt, dass man durch kluge Organisation, saubere Daten und intelligente Tricks genauso gute (oder sogar bessere) Ergebnisse erzielen kann, ohne einen Elefanten zu füttern.

Zusammengefasst: FireRed ist wie ein hochqualifizierter, digitaler Handwerker, der mit einem riesigen, sauberen Werkzeugkasten und einem perfekten Lernplan arbeitet. Er versteht, was du willst, verändert nur das, was du ändern möchtest, und lässt den Rest des Bildes unberührt – alles ohne den riesigen Energieverbrauch der alten Riesenmodelle.

Und das Beste: Das Team hat die Baupläne (den Code) und das Werkzeug (das Modell) für alle kostenlos verfügbar gemacht, damit jeder damit kreativ sein kann.

Technische Zusammenfassung

1. Problemstellung

Der Bereich der textbasierten Bildgenerierung (Text-to-Image) hat sich rapide weiterentwickelt, doch das Ökosystem der Bildbearbeitung ist zunehmend polarisiert:

• Proprietäre Modelle: Kommerzielle Systeme (z. B. Nano Banana Pro, Seedream) bieten hohe Qualität, sind jedoch als "Blackbox" intransparent und nicht reproduzierbar.
• Open-Source-Limitationen: Die Open-Source-Community konzentriert sich oft auf das reine Skalieren der Modellgröße (bis zu 32 Milliarden Parameter), was zu untragbaren Rechenkosten für Training und Deployment führt.
• Daten- und Benchmark-Lücken: Es fehlen effiziente Methoden zur Erstellung hochwertiger Datensätze für die Bildbearbeitung sowie standardisierte Benchmarks, die reale Anwendungsfälle (wie Textbearbeitung oder ästhetische Verbesserungen) umfassend bewerten.

Das Ziel von FireRed-Image-Edit ist es, ein effizientes, end-to-end Framework zu schaffen, das durch systematische Optimierung von Datenkuratierung, Trainingsmethoden und Evaluierung State-of-the-Art (SOTA) Leistungen erreicht, ohne auf massive Parameterzahlen angewiesen zu sein.

2. Methodik

A. Datenkuratierung (Data Engineering)

Das Team hat einen umfassenden Trainingskorpus von 1,6 Milliarden Samples erstellt, der aus 900 Millionen Text-zu-Bild-Paaren und 700 Millionen Bild-zu-Bild-Bearbeitungspaaren besteht.

• Filterpipeline: Durch eine strenge zweistufige Filterung (Pre-Filter und Post-Filter) wurden über 100 Millionen hochwertige Samples ausgewählt. Dies beinhaltet Deduplizierung auf mehreren Ebenen (globale, Paar- und Fein-Metrik-Ebene), photometrische Filterung, Entfernung von Artefakten und AIGC-Erkennung.
• Datenproduktion Engine: Um Lücken in seltenen Bearbeitungsaufgaben (Long-Tail) zu schließen, wurde eine Engine entwickelt, die bearbeitete Paare durch drei Strategien synthetisiert:
  1. Instruktionsgesteuert: Nutzung von VLMs (Vision Language Models) zur Generierung von Anweisungen.
  2. Strukturiert gesteuert: Nutzung von Masken und Pose-Schätzungen (SAM, DWpose) für präzise Kontrolle.
  3. Modellfreie Templates: Nutzung von 3D-Templates und algorithmischen Filtern für deterministische Bearbeitungen.
• Captioning: Ein mehrstufiges Captioning-System generiert strukturierte Beschreibungen, präzise Anweisungen und nutzerähnliche, natürliche Sprache, um die Generalisierungsfähigkeit zu erhöhen.

B. Modellarchitektur und Training

Das Modell basiert auf einem Diffusion Transformer (DiT) mit Multi-Modalität (MM-DiT).

• Effizienz-Optimierung:
  • Multi-Condition Aware Bucket Sampler: Organisiert Daten nach Aufgabenart und Bildseitenverhältnis, um Padding-Overhead zu minimieren und die Batch-Verarbeitung bei variabler Anzahl von Eingabebildern zu optimieren.
  • Stochastische Instruktionsausrichtung: Zufälliges Dropout und Permutation von Referenzbildern während des Trainings, um das Modell zu zwingen, semantische Inhalte von räumlichen Ordnungen zu entkoppeln.
• Trainingsstrategie:
  • Phasen: Pre-Training (auf großen, gemischten Daten), Continued Pre-Training (CT), Supervised Fine-Tuning (SFT) und Reinforcement Learning (RLHF).
  • RLHF-Methoden:
    • Asymmetrische Gradientenoptimierung (DPO): Fokussiert sich stärker auf die Verstärkung positiver Beispiele (Positive Sample Reinforcement), um Stabilität zu gewährleisten.
    • DiffusionNFT: Online-Reinforcement-Learning mit Belohnungsfunktionen für Textbearbeitung (OCR-basiert mit Layout-Bewusstsein) und visuelle Qualität.
  • Konsistenzverlust (Consistency Loss): Ein dynamischer Verlustterm, der die Identität von Personen (z. B. Gesichter) während der Bearbeitung bewahrt, indem er den Verlust nur in frühen Rauschphasen (hoher Rauschpegel) aktiviert, wo die semantische Struktur festgelegt wird.

C. Evaluierung: REDEdit-Bench

Die Autoren stellen REDEdit-Bench vor, einen neuen Benchmark mit 1.673 bilingualen (Chinesisch/Englisch) Bearbeitungspaaren über 15 Kategorien.

• Er deckt Aufgaben ab, die in anderen Benchmarks fehlen, wie z. B. Beautification (Schönheitsverbesserung) und Low-Level Enhancement (Bildwiederherstellung).
• Die Evaluation nutzt sowohl menschliche Annotatoren als auch automatisierte VLM-Judges und OCR-Metriken für Textaufgaben.

3. Wichtige Beiträge

1. Skalierbarer Datensatz: Erstellung eines 100M+ großen, hochqualitativen Datensatzes mit einem ausgewogenen Verhältnis von Generierungs- und Bearbeitungsaufgaben.
2. Effiziente Trainingspipeline: Einführung von Techniken wie dem Bucket Sampler und stochastischer Instruktionsausrichtung, die die Daten- und Recheneffizienz drastisch steigern.
3. Stabilisierungstechniken: Entwicklung von Asymmetrischer Gradientenoptimierung für DPO und DiffusionNFT, um die Trainingsstabilität und die Einhaltung von Anweisungen zu verbessern.
4. Identitätserhaltung: Ein differenzierbarer Konsistenzverlust, der speziell für die Bewahrung von Gesichtsidentitäten in Bearbeitungsaufgaben entwickelt wurde.
5. Neuer Benchmark: REDEdit-Bench als umfassender Standard für die Bewertung von Bildbearbeitungsmodellen in realen Szenarien.

4. Ergebnisse

• Benchmark-Leistung: FireRed-Image-Edit erzielt auf REDEdit-Bench, ImgEdit und GEdit State-of-the-Art-Ergebnisse unter Open-Source-Modellen und ist mit proprietären Systemen (wie Nano Banana Pro oder Seedream 4.5) wettbewerbsfähig oder überlegen.
• Menschliche Bewertung: In blinden Vergleichen erreicht das Modell die höchsten Werte in den Kategorien Prompt-Following (Einhaltung der Anweisung) und Konsistenz (Erhaltung nicht bearbeiteter Bereiche).
• Spezifische Fähigkeiten: Das Modell zeigt überlegene Fähigkeiten bei:
  • Textbearbeitung: Hohe Genauigkeit bei OCR und Layout-Erhaltung.
  • Kreativer Bearbeitung: Umsetzbarkeit komplexer, abstrakter Anweisungen.
  • Virtual Try-On: Präzises Übertragen von Kleidung unter Beibehaltung der Pose und Accessoires.
  • Bildwiederherstellung: Effektive Entfernung von Rauschen und Unschärfe.

5. Bedeutung und Ausblick

FireRed-Image-Edit demonstriert, dass sorgfältiges Data Engineering und systemische Optimierungen (Effizienz, Stabilität, spezifische Loss-Funktionen) effektiver sein können als das reine Skalieren von Modellparametern.

• Es schließt die Lücke zwischen akademischer Forschung und industrieller Anwendbarkeit durch einen praxisnahen Benchmark.
• Die Veröffentlichung von Code, Modellen und dem Benchmark-Suite fördert die Reproduzierbarkeit und weitere Forschung in der Community.
• Das Modell bietet eine leistungsfähige, offene Alternative zu teuren proprietären Lösungen für komplexe Bildbearbeitungsaufgaben.

Zusammenfassend stellt FireRed-Image-Edit einen Meilenstein dar, der zeigt, wie durch ganzheitliche Optimierung des gesamten Lebenszyklus eines Modells (Daten, Training, Evaluation) hochleistungsfähige Bildbearbeitungssysteme entwickelt werden können.