Text Template Tokens Are Implicit Semantic Registers in Diffusion Transformers
Dieses Paper führt ein kausales Interpretierbarkeitsframework für Diffusion Transformer ein, das offenlegt, dass strukturelle Template-Token als implizite semantische Register fungieren, welche die Objektidentität durch einen indirekten Read-Back-Mechanismus aufrechterhalten, was das Design einer trainingsfreien Pruning-Strategie ermöglicht, die die Rechenkosten signifikant reduziert bei minimalem Leistungsverlust.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Technische Zusammenfassung: Text-Template-Token sind implizite semantische Register in Diffusion-Transformern
Problemstellung
Die moderne Text-zu-Bild-Generierung hat sich von U-Net-Architekturen hin zu Diffusion-Transformern (DiTs) verschoben, bei denen Text- und Bild-Token über Joint-Attention interagieren. Gleichzeitig hat sich die Textkonditionierung von isolierten Encodern (z. B. CLIP, T5) hin zu Large Language Models (LLMs) entwickelt, die Benutzerprompts in Chat-Templates mit System-, User-, Assistant- und Delimiter-Token serialisieren.
Während der semantische Inhalt des Benutzerprompts klar ist, bleibt die Rolle der strukturellen Template-Token (die formatbedingten Rückstände wie Delimiter) unzureichend verstanden. In Joint-Attention-DiTs konkurrieren alle Konditionierungstoken als Keys für den Bildstrom. Es ist eine offene Frage, ob diese strukturellen Token als inerte Formatierungsrückstände verbleiben, als transparente Konditionierung fungieren oder eine tiefere computergestützte Rolle übernehmen. Darüber hinaus besteht eine breitere Lücke im Verständnis der mechanistischen Organisation von DiTs: insbesondere, welche Schichten semantische Inhalte festlegen, welche Heads die Generierung kausal beeinflussen und wie die Text-Bild-Attention die Konditionierung über die Denoising-Trajektorie hinweg vermittelt.
Methodik
Die Autoren führen ein kausales Interpretierbarkeits-Framework ein, das darauf ausgelegt ist, nachzuvollziehen, wo Konditionierungsinformationen während des Denoising gelesen, geroutet und gespeichert werden. Dieses Framework kombiniert vier spezifische Techniken:
- Token-level Attention Decomposition: Analyse der Image-to-Text (I2T) Attention-Masse, um zu quantifizieren, wie viel Attention die Bild-Queries auf spezifische Text-Token-Spans (semantisch vs. strukturell) richten.
- Span-level Conditioning Interventions: Durchführung von Cross-Prompt-Swaps und Mittelung von strukturellen Token, um zu testen, ob sie prompt-spezifische Semantik tragen.
- Cross-trajectory Head Transplantation: Progressives Vertauschen von Attention-Projektionen () zwischen zwei verschiedenen Generierungs-Trajektorien (z. B. „Apfel“ vs. „Banane“), um zu identifizieren, welche Heads die Objektidentität kausal bestimmen.
- Layer-wise Causal Masking: Maskierung von Attention-Flüssen (z. B. Register Semantik oder Register Bild) in spezifischen Schichten, um die Richtung des Informationsflusses zu bestimmen.
Die Studie nutzt primär die Qwen-Image-Familie (ein dual-stream MMDiT) und evaluiert über mehrere Benchmarks (GenEval, DPG-Bench, Qwen-Image-Bench) sowie Sprachen (Englisch und Chinesisch).
Kernergebnisse
1. Strukturelle Token als dominante Attention-Sinks
Die Analyse zeigt, dass strukturelle Template-Token (z. B. Delimiter wie ...) [Hinweis: Der Originaltext bricht hier ab]
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.