Technische Zusammenfassung: Diagnose und Korrektur von Konzeptauslassungen in multimodalen Diffusions-Transformern

Problemstellung

Multimodale Diffusions-Transformer (MM-DiT), wie FLUX und Stable Diffusion 3.5, haben erhebliche Fortschritte bei der Text-zu-Bild-Generierung (T2I) erzielt. Dennoch leiden sie häufig unter Konzeptauslassungen, einem Fehlermodus, bei dem spezifische Objekte, die im Prompt angefordert werden, vollständig in dem generierten Bild fehlen (Objektauslassung) oder deren visuelle Eigenschaften ignoriert werden (Attributvernachlässigung). Bestehende Lösungen erfordern oft zusätzliches Modelltraining oder verursachen hohe Rechenkosten während der Inferenz. Darüber hinaus hat sich die vorherige Interpretierbarkeitsforschung weitgehend auf visuelle Einbettungen konzentriert, wodurch die Rolle von Texteinbettungen bei der Erkennung und Korrektur dieser Auslassungen weitgehend unerforscht bleibt.

Methodik

1. Diagnose durch lineares Probing

Die Autoren hypothesieren, dass Text-Token-Einbettungen innerhalb von MM-DiT Informationen über das Vorhandensein oder Fehlen des entsprechenden Konzepts während des Generierungsprozesses enthalten. Um dies zu verifizieren, wenden sie lineares Probing an:

• Datensatzkonstruktion: Sie generieren Bilder unter Verwendung von Prompts, die zwei Objekte enthalten (basierend auf GenEval). Sie kennzeichnen die internen Repräsentationen basierend darauf, ob die Objekte im endgültigen Bild erfolgreich erscheinen.
• Auswahl der Repräsentation: Sie konzentrieren sich auf die Schlüsselvektoren ($k$) von Text-Token, da diese bekanntermaßen die Bildgenerierung in MM-DiT-Architekturen stark beeinflussen.
• Zeitliche Filterung: Sie beobachten, dass die Übereinstimmung zwischen internen Repräsentationen und endgültigen Generierungsergebnissen in frühen und späten Zeitschritten gering ist. Folglich beschränken sie ihre Analyse auf intermediäre Zeitschritte, bei denen die Übereinstimmung zwischen den vorhergesagten sauberen Bildern ($\hat{x}_0$) und den endgültigen Labels am höchsten ist (0,965).
• Ergebnisse: Lineare Klassifikatoren, die auf diesen intermediären Repräsentationen trainiert wurden, erreichen in bestimmten Aufmerksamkeitsköpfen, insbesondere in den mittleren Schichten des Modells, eine hohe Genauigkeit (bis zu 91,0 %). Dies bestätigt, dass spezifische Köpfe ein distinctes „Auslassungssignal" kodieren, das zwischen dem Vorhandensein und dem Fehlen eines Konzepts unterscheidet.

2. Intervention des Auslassungssignals (OSI)

Unter Ausnutzung des identifizierten Auslassungssignals schlagen die Autoren Omission Signal Intervention (OSI) vor, eine trainingsfreie Methode zur Laufzeit, um Konzeptauslassungen zu korrigieren:

• Richtungsextraktion: Sie berechnen einen Steuerungsrichtungsvektor ($\delta$), der die Differenz zwischen den mittleren Schlüsselvektoren ausgelassener Konzepte ($y=0$) und vorhandener Konzepte ($y=1$) darstellt.
• Interventionsmechanismus: Während der Inferenz intervenieren sie bei den Schlüsselvektoren spezifischer Konzept-Token, indem sie eine skalierte Version dieses Richtungsvektors addieren:
  $$k^{(t,l,h)}_c \leftarrow k^{(t,l,h)}_c + \alpha \sigma^{(l,h)} \theta^{(l,h)}$$
  Dabei ist $\theta$ die normalisierte Richtung, $\sigma$ die Standardabweichung der Projektionen und $\alpha$ ein Hyperparameter, der die Stärke steuert.
• Zielstrategie: Um unbeabsichtigte Störungen zu minimieren, wird die Intervention nur angewendet auf:
  1. Die Top-K-Aufmerksamkeitsköpfe mit der höchsten Probing-Genauigkeit.
  2. Spezifische Zeitintervalle (die Anfangsschritte des Generierungsprozesses, $t \in [t_{stop}, 1]$), in denen die Konzeptbildung primär stattfindet.

Hauptbeiträge

1. Empirische Verifizierung: Die Arbeit zeigt, dass Text-Token in MM-DiT auslassungsbezogene Informationen durch die gemeinsame Interaktion mit Bild-Token erfassen, spezifisch innerhalb bestimmter Aufmerksamkeitsköpfe in intermediären Zeitschritten.
2. OSI-Methode: Die Einführung der Omission Signal Intervention, die das interne „Auslassungssignal" verstärkt, um das Modell für fehlende Konzepte zu sensibilisieren und damit deren Generierung ohne Nachtraining zu katalysieren.
3. Umfassende Validierung: Die Methode wird über zwei Benchmark-Kategorien (Objektauslassung und Attributvernachlässigung) an zwei state-of-the-art-Modellen (FLUX.1-Dev und SD3.5-Medium) validiert und zeigt signifikante Verbesserungen gegenüber starken Baselines wie TACA und PLADIS.

Experimentelle Ergebnisse

• Objektauslassung: Auf dem GenEval-Datensatz (2–6 Objekte) und T2I-CompBench übertrifft OSI die Baselines deutlich. Beispielsweise erreicht OSI bei FLUX mit Prompts für 6 Objekte eine Genauigkeit von 0,40, verglichen mit 0,18 für das Basismodell und 0,20 für TACA/PLADIS.
• Attributvernachlässigung: OSI verbessert die Leistung bei Attribut-Bindungsaufgaben (Farbe, Form, Textur) bei beiden Modellen. Bemerkenswerterweise führt die Anwendung der Intervention auf Attribut-Token (zusätzlich zu Objekt-Token) zu weiteren Gewinnen, was darauf hindeutet, dass sich das Signal über Objekt-Token hinaus verallgemeinert.
• Ablationsstudien:
  • Richtung: Das Umkehren der Richtung oder die Verwendung zufälliger Vektoren verschlechtert die Leistung oder führt nur zu marginalen Gewinnen, was die semantische Ausrichtung der gelernten Richtung bestätigt.
  • Kopfauswahl: Das Intervenieren bei Köpfen mit niedriger Genauigkeit oder zufälligen Köpfen erreicht nicht die Leistung der Auswahl der Top-K-Köpfe.
  • Tokenspezifität: Das Intervenieren nur bei ausgelassenen Token erhöht deren Generierungswahrscheinlichkeit und Genauigkeit erheblich, wohingegen das Intervenieren bei bereits vorhandenen Token einen vernachlässigbaren Effekt hat.
  • Hyperparameter: Die Methode ist robust über einen Bereich von Skalierungskoeffizienten ($\alpha$) und Kopfanzahlen ($K$), wobei optimale Einstellungen die Ausrichtung und die Bildqualität (gemessen durch MANIQA) ausbalancieren.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass OSI eine neue Perspektive auf den Mechanismus der Text-zu-Bild-Generierung bietet, indem sie identifiziert, dass das Modell ein internes, detektierbares Bewusstsein für fehlende Konzepte besitzt. Durch die Verstärkung dieses Signals kann das Modell so gelenkt werden, dass es die fehlenden Elemente absichtlich „halluziniert".

Die Autoren positionieren OSI als eine trainingsfreie, rechnerisch effiziente Lösung, die Konzeptauslassungen ohne die Notwendigkeit von Fine-Tuning oder komplexer Constraint-Optimierung abmildert. Sie betonen, dass die Methode zwar die Kontrollierbarkeit verbessert, aber kein neues Wissen in das Modell einbringt, sondern vielmehr bestehende Repräsentationen lenkt. Die Arbeit legt nahe, dass das Verständnis und die Manipulation interner „Auslassungssignale" ein gangbarer Weg zur Verbesserung der Fidelity multimodaler Diffusionsmodelle ist.