DASH: Dual-Branch Score Distillation for Guidance-Calibrated Compact Diffusion Models

Technische Zusammenfassung: DASH: Dual-Branch Score Distillation für guidance-kalibrierte kompakte Diffusionsmodelle

Problemstellung
Klassenbedingte Diffusionsmodelle, die Classifier-Free Guidance (CFG) nutzen, verlassen sich auf ein einzelnes Netzwerk, das sowohl die konditionale ($\epsilon_y$) als auch die unkonditionale Vorhersage ($\epsilon_\emptyset$) erzeugt. Der Guidance-Mechanismus verstärkt die Differenz $\Delta = \epsilon_y - \epsilon_\emptyset$, um die Generierung zu steuern. Die Komprimierung dieser Modelle durch Parameterreduktion führt jedoch zu einem kritischen strukturellen Versagen bestehender Destillationsziele.

Die Standard-Destillation überwacht nur die zusammengesetzte geführte Vorhersage ($\tilde{\epsilon}_S \approx \tilde{\epsilon}_T$) oder den konditionalen Zweig allein. Dies erzeugt ein unterdeterminiertes Optimierungsproblem: Mehrere Zerlegungen der Zweige des Studenten können die Verlustfunktion erfüllen, einschließlich einer degenerierten Lösung, bei der die Guidance-Differenz kollabiert ($\Delta_S \to 0$). In diesem Zustand konvergieren die konditionalen und unkonditionalen Vorhersagen, wodurch das Guidance-Gewicht $w$ bei der Inferenz unwirksam wird, selbst wenn der zusammengesetzte Trainingsverlust minimiert wurde. Darüber hinaus versagen bestehende Methoden darin, das vom Teacher-Modell gelernte per-Timestep-Trainingskurikulum (Importance Weighting) zu übertragen, was den Studenten zwingt, diesen Zeitplan innerhalb begrenzter Destillationsbudgets neu zu erlernen, was oft die optimale Trainings-Trajektorie korrumpiert.

Methodik: DASH-Framework
Das Paper schlägt DASH (Dual-Branch Score Distillation) vor, ein Framework, das darauf ausgelegt ist, Unterdeterminierung zu lösen und die Guidance-Kalibrierung durch zwei primäre Mechanismen zu bewahren:

1. Dual-Branch Independent Supervision (Unabhängige Zweig-Überwachung):
   Anstatt die zusammengesetzte Ausgabe abzugleichen, überwacht DASH beide Score-Zweige unabhängig mittels distinkter Verlustterme:

   • Imitation Loss ($L_{im}$): Gleicht den konditionalen Zweig an ($\epsilon^y_S \approx \epsilon^y_T$).
   • Unconditional Loss ($L_{un}$): Gleicht den unkonditionalen Zweig an ($\epsilon^\emptyset_S \approx \epsilon^\emptyset_T$).
   • Anchor Loss ($L_{an}$): Ein leichtgewichtiger Regularisierer, der den konditionalen Zweig am Ground-Truth-Rauschen ($\epsilon$) verankert, um Drift während des frühen Trainings zu verhindern.

   Durch die gleichzeitige Durchsetzung von Constraints für beide Zweige spezifiziert das Framework die Zielvorgaben für jede Probe eindeutig und eliminiert so den Lösungsraum, der einen Kollaps der Guidance-Differenz ermöglicht. Die Autoren definen ein Guidance-Gap-Verhältnis $\rho = E[\|\Delta_S\|] / E[\|\Delta_T\|]$, um die Kalibrierung zu überwachen, wobei $\rho \approx 1$ eine erfolgreiche Bewahrung anzeigt.

2. TIRT Transfer (Timestep-Importance Rebalanced Training Transfer):
   Das Teacher-Modell nutzt TIRT, eine Erweiterung des Min-SNR-Weighting, die pro-Timestep-Skalierungsfaktoren ($\lambda_t$) lernt, um das Training auf inhaltlich schwierige Regionen der mittleren Trajektorie zu konzentrieren. DASH führt den TIRT Transfer ein, der das konvergierte per-timestep-Wichtungs-Kurikulum des Teachers ($\hat{\omega}_T$) direkt als eingefrorenen Prior in den Studenten kopiert. Dies verhindert, dass der Student das Kurikulum mit Destillationsgradienten korrumpiert, die eher eine einfache Vorhersage-Angleichung als tatsächliche inhaltliche Schwierigkeit belohnen.

Wesentliche Beiträge

• Lösung der strukturellen Unterdeterminierung: Das Paper identifiziert und löst den degenerierten Kollaps der Guidance-Differenz in parameterkomprimierten Diffusionsmodellen. Es zeigt, dass unkonditionelle Überwachung nicht nur vorteilhaft, sondern essenziell ist und über 60 % des gesamten Destillationsgewinns ausmacht.
• Kurikulum-Transfer: Die Einführung des TIRT Transfer, der den Studenten mit dem gelernten Timestep-Weighting des Teachers als eingefrorenen Prior initialisiert und somit die Notwendigkeit eliminiert, dass der Student das Kurikulum neu lernt.
• Dual-Branch-Framework: Eine vereinheitlichte Destillations-Pipeline, die die konditionalen und unkonditionalen Zweige unabhängig einschränkt, was als empirisch essenziell für die Aufrechterhaltung der Guidance-Fideltät unter Kompression validiert wurde.

Experimentelle Ergebnisse
Die Experimente wurden auf CIFAR-10 und CIFAR-100 mit einem Teacher-Modell (35,8 Mio. Parameter) und einem komprimierten Studenten (6,1 Mio. Parameter, 5,9-fache Kompression) durchgeführt.

• Performance: Der DASH-Student erreicht einen FID von 8,87 (CIFAR-10) und 10,47 (CIFAR-100) bei 50-Schritt DDIM-Sampling. Dies liegt innerhalb von 4 FID-Punkten des Teachers (FID 5,47 / 6,80) und übertrifft das Training von Grund auf (FID 20,47 / 26,14) sowie Single-Constraint-Baselines signifikant.
• Guidance-Kalibrierung: DASH hält ein Guidance-Gap-Verhältnis $\rho$ von 0,91 (CIFAR-10) und 0,89 (CIFAR-100) aufrecht, mit einem Richtungskosinus $\cos(\Delta)$ nahe 0,94. Im Gegensatz dazu leiden Composite-Distillation-Baselines unter partiellem Kollaps ($\rho \approx 0,68$), und eine rein konditionale Überwachung führt zu nahezu totalem Kollaps ($\rho \approx 0,09$), was die Performance unter das Niveau des Trainings von Grund auf senkt.
• Ablationsstudien:
  • Das Entfernen von $L_{un}$ (Unconditional Loss) verursacht einen Abfall des FID um 7,77 Punkte bei CIFAR-10 und lässt $\rho$ auf 0,61 kollabieren, was dessen dominante Rolle bestätigt.
  • Das Entfernen des TIRT Transfer (Ersatz durch festes Min-SNR) führt zu einem FID-Abfall von 2,60 Punkten, was die Notwendigkeit der Übertragung des gelernten Kurikulums validiert.
  • Das Cross-Dataset-Leistungsverhältnis (1,18× für DASH vs. 1,51× für Baselines) bestätigt eine robuste Generalisierung über unterschiedliche Label-Komplexitäten hinweg.

Bedeutung und Behauptungen
Das Paper behauptet, dass DASH einen neuen Standard für parametereffiziente Diffusion setzt, indem es einen strukturellen Fehler in bestehenden Destillationszielen adressiert. Die Autoren stellen fest, dass:

1. Unkonditionelle Überwachung ist nicht verhandelbar: Sie kann nicht durch zusammengesetzte oder konditionale Ziele ersetzt werden; ohne sie wird CFG unter Kompression unwirksam.
2. Kurikulum-Transfer unterscheidet sich von Feature-Distillation: Die Übertragung des Trainings-Schemas (TIRT) als eingefrorener Prior ist ein neuartiger Beitrag, der die Korrumpierung des datenadaptiven Schwierigkeits-Weightings des Teachers verhindert.
3. Effizienz ohne Kompromisse: Das Framework ermöglicht eine signifikante Parameterreduktion (5,9×) bei gleichzeitiger Bewahrung des kalibrierten Guidance-Mechanismus, was eine qualitativ hochwertige Generierung in ressourcenbeschränkten Umgebungen ohne Erhöhung der Inferenzschritte erlaubt.

Die Arbeit positioniert sich an der Schnittstelle zwischen Parameterkompression und Branch-Level-Kalibrierung und bietet eine Lösung, die orthogonal zu Schritt-Reduktionsmethoden ist und mit diesen kombinierbar bleibt.