DIAMOND: Directed Inference for Artifact Mitigation in Flow Matching Models

Technische Zusammenfassung: DIAMOND – Gerichtete Inferenz zur Artefaktminderung in Flow-Matching-Modellen

Problemstellung
Trotz der hohen Wiedergabetreue moderner Text-zu-Bild-Modelle, insbesondere jener, die auf Rectified-Flow-Architekturen (z. B. FLUX.2) und Diffusionsmodellen (z. B. SDXL) basieren, weisen generierte Bilder häufig strukturelle und anatomische Artefakte auf. Dazu gehören verzerrte Hände, zusätzliche Gliedmaßen, deformierte Gesichter oder fehlerhafter Text. Bestehende Minderungsstrategien leiden unter erheblichen Einschränkungen:

• Post-hoc-Verfeinerung: Methoden, die Bilder nach der Generierung korrigieren, scheitern oft daran, während des Kernprozesses einzugreifen.
• Invasive Modifikationen: Techniken, die ein Fine-Tuning des Modells oder LoRA-Gewichte erfordern, sind rechenintensiv, schwer skalierbar und verfügen oft über keine öffentlich zugänglichen Gewichte für moderne Architekturen.
• Heuristische Einschränkungen: Echtzeit-Erkennungsmethoden stützen sich oft auf heuristische Schwellenwerte oder zufällige Latent-Ersetzungen, was zu einer ungenauen Lokalisierung oder suboptimalen Korrekturen führt.

Methodik
Die Autoren schlagen DIAMOND (Directed Inference for Artifact Mitigation in Flow Matching Models) vor, ein trainingsfreies Zero-Shot-Framework, das Artefakte während der Inferenz-Trajektorie korrigiert, ohne die Modellgewichte zu verändern. Die Methode arbeitet nach dem Prinzip der Rekonstruktion einer Schätzung der sauberen Probe bei jedem Zeitschritt, um die Generierung von artefaktanfälligen latenten Zuständen wegzuführen.

1. Schätzung des sauberen Latents:
   Im Gegensatz zu Standardansätzen, die direkt auf verrauschten Latents ($x_t$) operieren, schätzt DIAMOND den sauberen Daten-Latent ($\hat{x}_{0,t}$) bei jedem Schritt.

   • Für Rectified Flow Modelle (Vorhersage der Geschwindigkeit $v_\theta$): $\hat{x}_{0,t} = x_t - t \cdot v_\theta(x_t, t)$.
   • Für Diffusionsmodelle (Vorhersage des Rauschens $\epsilon_\theta$): $\hat{x}_{0,t} = x_t - \sigma_t \cdot \epsilon_\theta(x_t, t)$.
     Dieser geschätzte Latent wird in den Pixelraum dekodiert ($\hat{I}_t = D(\hat{x}_{0,t})$), um sicherzustellen, dass der Artefakt-Detektor in seinem optimalen Bereich (saubere Daten) und nicht auf intermediären verrauschten Zuständen operiert.

2. Artefakt-Detektion und Verlustfunktion:
   Ein differenzierbarer, vortrainierter Artefakt-Detektor (AD) (z. B. von DiffDoctor) analysiert $\hat{I}_t$, um eine Artefakt-Wahrscheinlichkeitsmaske $M_t$ zu erzeugen. Ein Artefakt-Verlust ($L_a$) wird als mittlerer quadratischer Fehler zwischen dieser Maske und einer Null-Maske (die ein artefaktfreies Bild repräsentiert) berechnet:
   $$L_a = \frac{1}{HW} \sum_{i,j} (M_{i,j}^t)^2$$

3. Gradientenbasierte Trajektorien-Korrektur:
   Die Methode berechnet den Gradienten des Verlusts in Bezug auf den aktuellen Latent $x_t$ ($\nabla_{x_t} L_a$). Um die Stabilität zu gewährleisten und zu verhindern, dass die Größe des Korrekturschritts von der Größe der Artefaktregion dominiert wird, wird der Gradient normalisiert:
   $$\delta_t = \lambda_t \frac{\nabla_{x_t} L_a}{\|\nabla_{x_t} L_a\|^2 + \epsilon}$$
   Dieser Verschiebungsvektor $\delta_t$ wird vom Standard-Solver-Update-Schritt subtrahiert, was die Trajektorie effektiv von Artefakten wegsteuert.

4. Dynamische Zeitplanung ($\lambda_t$):
   Ein Potenzgesetz-Schema steuert die Intensität der Korrektur ($\lambda_t$). Basierend auf der Beobachtung, dass strukturelle Artefakte in frühen, durch Rauschen dominierten Stadien auftreten, während hochfrequente Details später verfeinert werden, wendet das Schema zu Beginn des Generierungsprozesses eine starke Korrektur an und lässt diese zum Ende hin abklingen.

5. Identitätserhaltung (Optional):
   Um zu verhindern, dass die Korrektur die globale Bildstruktur oder die Prompt-Adhärenz verändert, kann ein optionaler Regularisierungsterm ($L_{rec}$) angewendet werden. Dieser Term minimiert den mittleren absoluten Fehler (MAE) zwischen dem korrigierten Bild und dem Basisbild in nicht-artefaktbehafteten Regionen.

Wesentliche Beiträge

• Trainingsfreies Framework: DIAMOND ist die erste Zero-Shot-Methode, die geometrische Trajektorien-Steuerung direkt in den Inferenzprozess von Rectified-Flow- und Diffusionsmodellen integriert, ohne zusätzliches Training oder Modifikationen der Gewichte zu erfordern.
• On-the-Fly Schätzung: Die Methode führt einen neuartigen Mechanismus zur Schätzung sauberer Latents ($\hat{x}_{0,t}$) während der Inferenz ein, was eine zuverlässige Artefakt-Detektion auf intermediären Schritten ermöglicht, bei denen Standard-Detektoren typischerweise versagen.
• Generalisierung: Es wird gezeigt, dass der Ansatz effektiv sowohl für Rectified-Flow-Modelle (FLUX.1, FLUX.2) als auch für Standard-Diffusionsmodelle (SDXL) funktioniert.
• Gradienten-Normalisierung: Das Paper identifiziert und implementiert die Gradienten-Normalisierung, um die Update-Stärke von der räumlichen Größe des Artefakts zu entkoppeln, was eine konsistente Korrektur unabhängig vom Ausmaß des Artefakts gewährleistet.

Experimentelle Ergebnisse
Quantitative Evaluierungen wurden auf drei Datensätzen (Tiere, Wörter, Menschen) mit Modellen wie FLUX.1 [dev], FLUX.1 [schnell], FLUX.2 [dev] und SDXL durchgeführt.

• Artefaktreduktion: Auf dem „Words“-Datensatz mit FLUX.1 [dev] reduzierte DIAMOND die mittlere Artefakt-Frequenz von einer 100%-Baseline auf 9,85 % und übertraf damit signifikant Baselines wie DiffDoctor (46,97 %) und HPSv2 (56,82 %).
• Pixel-Verhältnis: Das Artefakt-Pixel-Verhältnis (APR) wurde auf nahezu Null reduziert (z. B. 0,009 % auf dem Words-Datensatz) im Vergleich zu den Baselines.
• Qualitätserhaltung: Die Methode behielt hohe CLIP-T Scores (Text-Bild-Adhärenz) und ImageReward-Scores (menschliche Präferenz) bei, was zeigt, dass die Artefaktentfernung weder die semantische Konsistenz noch die visuelle Qualität beeinträchtigte.
• Identitätserhaltung: Ablationsstudien zeigten, dass während das unregulierte DIAMOND Artefakte effektiv entfernt, das Hinzufügen des $L_{rec}$-Terms (mit $\alpha=0,1$) die Balance zwischen Artefaktunterdrückung und der Bewahrung der Identität des Basismodells optimiert.

Bedeutung und Ansprüche
Die Autoren behaupten, dass DIAMOND einen robusten Zero-Shot-Pfad zu hochgradig originalgetreuer, artefaktfreier Bildsynthese bietet. Durch das direkte Eingreifen während des Sampling-Prozesses mittels Trajektorien-Korrektur überwindet die Methode die Rechenkosten des Fine-Tunings und die Ungenauigkeiten von Post-hoc-Heuristiken. Das Paper betont, dass dieser Ansatz eine feingranulare räumliche Überwachung und präzise Korrektur lokalisierter Artefakte (wie Hände oder Text) ermöglicht, während die globale Struktur und die Prompt-Adhärenz des generierten Bildes erhalten bleiben. Die Methode wird als praktische Lösung für professionelle Anwendungen präsentiert, bei denen anatomische Korrektheit entscheidend ist, wie etwa im E-Commerce oder bei Marketing-Visuals.