Technische Zusammenfassung: Kandinsky 5.0 – Eine Familie von Foundation-Modellen für die Bild- und Videogenerierung

1. Problemstellung

Trotz rascher Fortschritte bei Diffusionsmodellen und Flow-Matching-Ansätzen für die Bildgenerierung bleibt die Videogenerierung eine kritische Herausforderung im Bereich der generativen KI. Die Hauptprobleme umfassen das exponentielle Wachstum der Rechenkomplexität bei der Verarbeitung zeitabhängiger 3D-Videodaten, Schwierigkeiten bei der Aufrechterhaltung zeitlicher Konsistenz und Bewegungsrealität sowie die Notwendigkeit komplexer, mehrstufiger Optimierungen sowohl für das Training als auch für die Inferenz. Während Modelle wie Sora und Veo hohe Qualität demonstriert haben, bleibt die Schaffung effizienter, kontrollierbarer und hochauflösender Videogenerierungssysteme, die der Forschungscommunity zugänglich sind, eine erhebliche Hürde. Kandinsky 5.0 zielt darauf ab, diese Herausforderungen zu bewältigen, indem es eine Familie von Foundation-Modellen bereitstellt, die hochauflösende Bilder und 10-Sekunden-Videos mit State-of-the-Art (SOTA)-Leistung und operationeller Effizienz synthetisieren können.

2. Methodik

2.1 Datenverarbeitungs-Pipeline

Das Trainingsframework basiert auf einem umfassenden, mehrstufigen Lebenszyklus der Datencuration, der Sammlung, Verarbeitung, Filterung und Clustering umfasst:

• Text-zu-Bild (T2I): Ein Datensatz mit über 500 Millionen Bildern durchläuft eine strenge Filterung (Auflösung, Deduplizierung, Wasserzeichenerkennung, Qualitätsbewertung via TOPIQ und Q-Align, Text-/Komplexitätsfilterung) sowie die Generierung synthetischer Bildunterschriften mittels multimodaler Modelle (InternVL2, Qwen2.5VL).
• Text-zu-Video (T2V): Über 250 Millionen Videoszenen werden segmentiert, dedupliziert und hinsichtlich struktureller Dynamik, technischer/ästhetischer Qualität (DOVER, Q-Align) und Inhalt gefiltert. Synthetische Bildunterschriften werden mit Tarsier2-7B generiert.
• Bildbearbeitung (I2I): Eine spezialisierte Pipeline konstruiert etwa 150 Millionen Bildpaare mit präzisen Anweisungen. Dies umfasst Ähnlichkeitsmatching (CLIP, DINO, Gesichtserkennung), geometrische Verifikation (LoFTR, RANSAC) und Qualitätsfilterung, um Beispiele für hochfidele Transformationen sicherzustellen.
• Kulturelle & SFT-Datensätze: Ein Datensatz für den Russischen Kulturcode (RCC) wird manuell für kulturelle Spezifität kuratiert. Ein hochwertiger Supervised Fine-Tuning (SFT)-Datensatz wird durch expertenbasierte manuelle Auswahl und Domänenklassifizierung (9 Domänen: Tiere, Architektur, Kunst usw.) erstellt, um Ästhetik und Anweisungsfolge zu verbessern.

2.2 Architektur: CrossDiT und NABLA

Die Kernarchitektur ist ein einheitlicher Diffusions-Transformer mit Cross-Attention (CrossDiT), der mit dem Flow-Matching-Paradigma trainiert wird.

• CrossDiT: Im Gegensatz zu früheren MMDiT-ähnlichen Architekturen, die Konkatenerationsoperationen erforderten, die das Training verlangsamen, nutzt CrossDiT einen Cross-Attention-Mechanismus für eine bessere Kompatibilität mit spärlicher Attention. Es integriert Text-Encoder (Qwen2.5-VL) und visuelle Encoder (FLUX.1-dev VAE für Bilder, HunyuanVideo VAE für Videos).
• NABLA (Neighborhood Adaptive Block-Level Attention): Um die Generierung von hochauflösenden (bis zu 1024px) und langandauernden (bis zu 10s) Videos zu bewältigen, führen die Autoren NABLA ein. Dieser spärliche Attention-Mechanismus konstruiert inhaltsbewusste Masken dynamisch durch blockweise Dimensionsreduktion und adaptive Verdünnung (CDF-Schwellenwert). Er reduziert die quadratische Komplexität der standardmäßigen räumlich-zeitlichen Attention und erzielt eine 2,7-fache Beschleunigung beim Training und der Inferenz bei gleichzeitiger Wahrung der Videoqualität.
• Token-Umsortierung: NABLA nutzt fraktales Abflachen, um räumliche Token zu gruppieren und Speicherzugriffsmuster zu optimieren.

2.3 Trainingspipeline

Der Trainingsprozess ist mehrstufig und auf verschiedene Modellgrößen zugeschnitten (Image Lite, Video Lite, Video Pro):

1. Pre-Training: Modelle werden auf großen T2I-, T2V- und I2V-Datensätzen über niedrige, mittlere und hohe Auflösungen hinweg vortrainiert. Videomodelle werden auf einer Mischung von Aufgaben (T2I, T2V, I2V) mit spezifischen Wahrscheinlichkeitsverteilungen trainiert.
2. Supervised Fine-Tuning (SFT): Eine „Model-Souping"-Technik wird angewendet. Daten werden in thematische Domänen und Subdomänen geclustert. Unabhängiges vollständiges Fine-Tuning wird für jede Subdomäne durchgeführt, und die resultierenden Checkpoints werden durch gewichtete Mittelung (gleiche oder wurzelproportionale Gewichte) aggregiert, um ein robustes Endmodell zu erstellen. Dies verhindert Overfitting und verbessert die Generalisierung.
3. Distillation: Für Videomodelle wird ein kombinierter Ansatz verwendet:
   • Classifier-Free Guidance (CFG) Distillation: Reduziert die Sampling-Schritte.
   • Trajectory Segmented Consistency Distillation (TSCD): Reduziert die Schritte weiter auf 16.
   • Adversariales Post-Training: Eine zweite Verfeinerungsstufe unter Verwendung eines Diskriminators (inspiriert von LADD) mit Hinge-Loss und stochastischer Störung (Re-Noise), um die visuelle Fidelity wiederherzustellen, die während der aggressiven Distillation verloren ging.
4. RL-basiertes Post-Training (nur Bilder): Für die Bildgenerierung wird ein Reward-Modell (basierend auf Qwen 2.5VL) trainiert, um generierte Bilder mit realen SFT-Bildern zu vergleichen. Der Generator wird dann mittels Direct Reward Fine-Tuning (DRaFT-K) feinabgestimmt, wobei die Präferenz des Reward-Modells maximiert und die KL-Divergenz zum SFT-Modell minimiert wird.

2.4 Optimierungen

• VAE-Beschleunigung: Optimierter HunyuanVideo VAE-Encoder durch Code-Refactoring und torch.compile, was eine 2,5-fache Beschleunigung ergibt.
• Inferenz-Optimierung: Einsatz von Flash/Sage Attention für Standardauflösungen und NABLA für HD-/Langvideos. Caching von Diffusionsschritten via MagCache bietet eine 46%ige Beschleunigung.
• Speichermanagement: Implementierung von HSDP (Hybrid Sharded Data Parallel), Sequence Parallel und Aktivierungs-Checkpointing mit Host-Offloading zur Reduzierung des GPU-Speicherbedarfs.

3. Hauptbeiträge

1. Umfassende Datenpipeline: Eine detaillierte Beschreibung der Datencuration für T2I, T2V, I2V und anweisungsbezogene Bearbeitung, einschließlich spezieller Behandlung russischer Kulturinhalte und hochwertiger SFT-Datensätze.
2. Mehrstufiges Trainingsframework: Eine einheitliche Pipeline, die Pre-Training, domänenspezifisches SFT (via Model Souping), Distillation und RL-basiertes Post-Training (für Bilder) umfasst, um Realismus und Ausrichtung zu verbessern.
3. CrossDiT- und NABLA-Architektur: Einführung eines Cross-Attention-Transformer-Rückgrats und des NABLA-spärlichen Attention-Mechanismus, der die quadratische Komplexität für hochauflösende Videos überwindet und eine 2,7-fach schnellere Trainings-/Inferenzgeschwindigkeit ermöglicht.
4. Optimierungstechniken: Implementierung von VAE-Beschleunigung, Quantisierung des Text-Encoders und speichereffizienten Trainingsstrategien (HSDP, Offloading), um hochfidele Generierung auf Consumer- und Professioneller Hardware zu ermöglichen.
5. Distillationsstrategie: Eine neuartige Kombination aus CFG-Distillation, TSCD und adversarialem Post-Training zur Reduzierung der Funktionsauswertungen (NFE) von 100 auf 16 bei gleichzeitiger Wahrung der visuellen Qualität.
6. Open-Source-Veröffentlichung: Vollständige Veröffentlichung von Code, Gewichten und Trainings-Checkpoints für alle Modelle (Image Lite, Video Lite, Video Pro sowie deren Flash-Varianten) über Hugging Face und GitHub.

4. Ergebnisse

• Menschliche Evaluation: Umfassende Side-by-Side (SBS)-Evaluationen wurden am MovieGen-Benchmark (über 1.000 Prompts) mit etwa 20 trainierten Annotatoren durchgeführt.
  • Video Lite vs. Sora/Wan: Kandinsky 5.0 Video Lite zeigte überlegene Visuelle Qualität und Bewegungsdynamik im Vergleich zu Sora- und Wan-Modellen, obwohl Wan-Modelle eine stärkere Anweisungsfolge (semantische Ausrichtung) aufwiesen.
  • Video Lite vs. Kandinsky 4.1: Deutliche Verbesserungen bei Bewegungsdynamik, Objektrealismus und Artefaktunterdrückung wurden beobachtet.
  • Video Pro vs. Veo 3/Wan 2.2: Kandinsky 5.0 Video Pro erzielte höhere Werte bei Visuelle Qualität und Bewegungsdynamik im Vergleich zu Veo 3 und Wan 2.2 A14B, obwohl Veo 3-Varianten bei der Anweisungsfolge besser abschnitten.
  • Image Lite: Übertraf FLUX.1 und Qwen-Image in der Visuellen Qualität, blieb bei der Anweisungsfolge jedoch konkurrenzfähig.
• Leistungskennzahlen:
  • Geschwindigkeit: Distillierte „Flash"-Modelle reduzieren die Generierungszeit erheblich (z. B. sinkt die 10-Sekunden-Generierung von Video Lite von ~224s auf ~61s auf einer H100).
  • Qualität: Quantitative Metriken (FVD, VBench, CLIP-Score) und menschliche Evaluationen bestätigen, dass das mehrstufige Training und der NABLA-Mechanismus trotz Rechenreduktionen hohe Qualität bewahren.

5. Bedeutung und Behauptungen

Die Arbeit positioniert Kandinsky 5.0 als bedeutenden Meilenstein in der Open-Source-Generativen KI mit dem Ziel, den Zugang zu hochwertigen Foundation-Modellen für Bilder und Videos zu demokratisieren.

• Zugänglichkeit: Durch die Veröffentlichung von Modellen mit unterschiedlichen Parameterzahlen (2B, 6B, 19B) und distillierten „Flash"-Varianten ermöglicht das Framework den Einsatz über verschiedene Hardwarebeschränkungen hinweg.
• Technischer Fortschritt: Die Integration von Flow Matching, CrossDiT und NABLA adressiert die Skalierbarkeits- und Effizienzengpässe, die der Videogenerierung inhärent sind, und bietet eine tragfähige Alternative zu proprietären Closed-Source-Systemen.
• Auswirkung auf die Community: Die Autoren hoffen, dass die Veröffentlichung von Open-Source-Code, Trainings-Checkpoints und eines detaillierten technischen Berichts die Entwicklung und Zugänglichkeit hochwertiger generativer Modelle für die Forschungscommunity erheblich vorantreiben wird.
• Ethische Haltung: Das Modell wird unter der MIT-Lizenz ohne integrierte Inhaltsfilterung veröffentlicht, um Innovation zu fördern; die Verantwortung für ethische Nutzung und Haftung liegt beim Endnutzer. Die Autoren erkennen inhärente Verzerrungen in den Trainingsdaten an und ermutigen zu spezifischen Prompts, um Stereotype zu mildern.

Der Bericht kommt zu dem Schluss, dass Kandinsky 5.0 zwar SOTA-Leistung bei visueller Qualität und Bewegungskonsistenz erreicht, Herausforderungen jedoch bei der Text-Visuelle-Ausrichtung (aufgrund von Encoder-Kontextgrenzen) und der Modellierung komplexer physikalischer Wechselwirkungen über lange Distanzen bestehen bleiben, die als Richtungen für zukünftige Arbeiten identifiziert wurden.