Technische Samenvatting: TAG: Tangentiële Versterkende Geleiding voor Hallucinatie-resistente Sampling

1. Probleemstelling

Diffusiemodellen hebben state-of-the-art prestaties bereikt in beeldgeneratie, maar lijden vaak aan hallucinaties, gedefinieerd als semantische inconsistenties of schendingen van de data-distributie (bijvoorbeeld anatomische onmogelijkheden zoals extra vingers, of door elkaar gehaalde objecten). Recent onderzoek suggereert dat deze fouten voortkomen uit mode-interpolatie, waarbij sampling-trajecten door laag-dichtheidsvalleien tussen distincte modi van de data-distributie reizen, wat leidt tot attribut-mismatches en structurele inconsistenties.

Bestaande geleidingsmethoden op het moment van inferentie, zoals Classifier-Free Guidance (CFG) en diens varianten, vertrouwen doorgaans op residu-schaling tussen conditionele en unconditionele takken. Hoewel effectief, zijn deze methoden grotendeels geometrie-onbewust; ze passen een enkele scalair versterkingsfactor toe op het residu zonder rekening te houden met de lokale directionele structuur van de data-distributie. Dit kan onbedoeld het ontdenstijgings-traject vervormen, wat leidt tot drift buiten het manifold of oververzachting. Bovendien vereisen veel bestaande oplossingen externe signalen, architecturale modificaties of extra ontdenstijgings-evaluaties, wat aanzienlijke rekenkundige overhead toevoegt.

2. Methodologie: Tangentiële Versterkende Geleiding (TAG)

De auteurs stellen Tangentiële Versterkende Geleiding (TAG) voor, een trainingsvrije, architectuur-agnostische, plug-and-play geleidingsmethode die puur werkt op trajectsignalen. TAG is gebaseerd op de geometrische decompositie van de sampling-update-stap.

Kernconcept

Geput uit de identiteit van Tweedie en de stelling van de Gaussische annulus, stellen de auteurs vast dat het gebied met hoge waarschijnlijkheid van een vervuilde distributie ligt op een dunne bolle schaal (een ruw data-manifold, $M_k$). De sampling-update kan worden opgedeeld in:

1. Radiale (Normale) Component: Beweegt de toestand langs de straal, bepaald door het rooster voor ruis.
2. Tangentiële Component: Beweegt de toestand langs het manifold, waarbij de straal behouden blijft terwijl de semantische structuur wordt verfijnd.

De auteurs veronderstellen dat de tangentiële component rijke structurele en semantische informatie draagt, terwijl de normale component grotendeels ongestructureerde ruis is. Het versterken van de tangentiële component stuurt het traject naar gebieden met hogere dichtheid van het data-manifold, zonder de radiale voortgang te veranderen.

Algorithmus

Gegeven een basisoplosser-increment $\Delta_{k+1}$ (bijvoorbeeld van DDIM) op tijdstap $k+1$:

1. Projectie: De update wordt opgedeeld met behulp van projectoren op de radiale richting ($P_{M_{k+1}}$) en de orthogonale tangentiële richting ($P^\perp_{M_{k+1}}$) ten opzichte van de huidige toestand $x_{k+1}$.
   • $P_{M_{k+1}} = \hat{x}_{k+1}\hat{x}_{k+1}^\top$
   • $P^\perp_{M_{k+1}} = I - P_{M_{k+1}}$
2. Versterking: De tangentiële component wordt versterkt met een factor $\eta \ge 1$, terwijl de radiale component ongewijzigd blijft.
   • $x_k \leftarrow x_{k+1} + P_{M_{k+1}}\Delta_{k+1} + \eta P^\perp_{M_{k+1}}\Delta_{k+1}$

Theoretische Rechtvaardiging

Het artikel biedt een Taylor-analyse van de eerste orde die aantoont dat het versterken van de tangentiële component monotoon de winst in log-likelihood van de eerste orde verhoogt. Specifiek bewijst Stelling 4.1 dat het verhogen van $\eta$ het sampling-traject drijft naar gebieden met hogere modeldichtheid, waardoor artefacten buiten het manifold (hallucinaties) worden verminderd terwijl de radiale kalibratie die nodig is voor correct ontdenstijgen behouden blijft.

Uitbreiding naar CFG

Voor Classifier-Free Guidance adresseren de auteurs de incoherentie tussen conditionele en unconditionele voorspellingen. Zij stellen voor om de conditionele voorspelling af te stemmen op het tangentiële residu (het verschil tussen conditionele en unconditionele scores geprojecteerd op de tangentiële ruimte). Deze verzoening vermindert de mismatch die de generatiekwaliteit bij standaard CFG vaak verslechtert.

3. Belangrijkste Bijdragen

• Geometrisch Inzicht: Het artikel legt een concreet verband tussen de intrinsieke geometrie van de scorefunctie en de kwaliteit van de steekproeven, en bewijst dat het versterken van tangentiële componenten het sampling-traject naar het in-distributie-manifold stuurt.
• TAG-algoritme: Introductie van een theoretisch onderbouwde, rekenkundig lichtgewicht en architectuur-agnostisch algoritme dat dit geometrische principe realiseert. Het vereist geen hertraining, geen extra netwerkevaluaties en geen architecturale wijzigingen.
• Plug-and-Play Compatibiliteit: TAG is ontworpen om naadloos te integreren met bestaande oplossers en geleidingsmethoden (bijvoorbeeld PAG, SEG, SSG) als een nabewerkingsstap op de update-vector.

4. Experimentele Resultaten

De auteurs hebben TAG geëvalueerd op diverse Stable Diffusion-backbones (v1.5, v2.1, XL, 3) en moderne modellen (Qwen-Image, Wan2.2 video) met behulp van het COCO 2014-dataset en T2I-CompBench.

• Kwantitatieve Verbeteringen:
  • Unconditionele Generatie: TAG verbeterde consistent de FID (bijvoorbeeld SD v1.5: 58,41 $\to$ 46,20) en CMMD over alle backbones, zonder het aantal functiewaarderingen (NFEs) te verhogen.
  • Conditionele Generatie: TAG verbeterde de steekproeffideliteit en prompt-uitlijning (ImageReward, CLIP-Score) over SD v1.5, v2.1, XL en 3.
  • Vermindering van Hallucinaties: Op T2I-CompBench (Spatiale en Complexe subsets) verbeterde TAG de compositiese trouw-metrics, wat wijst op een vermindering van structurele hallucinaties (bijvoorbeeld onjuiste objectplaatsing of relaties) in plaats van slechts perceptuele stijlverschuivingen.
  • Videogeneratie: Toegepast op Wan2.2 verbeterde TAG de dynamische graad, beeldkwaliteit en temporele consistentie, en verminderde structurele artefacten in complexe scènes.
• Efficiëntie:
  • TAG voegt verwaarloosbare rekenkundige overhead toe (ongeveer +9,4% latentie) ten opzichte van baselines, aangezien het alleen lichtgewicht vectorprojecties omvat.
  • In tegenstelling hiermee verdubbelen methoden zoals PAG (Perturbed Attention Guidance) de latentie bijna (+112,8%) vanwege extra UNet-evaluaties.
• Compatibiliteit: Het stapelen van TAG bovenop bestaande geleidingsmethoden (PAG, SEG, SSG) leverde verdere verbeteringen op in FID en menselijke voorkeurscores, wat de orthogonaliteit ten opzichte van residu-gebaseerde geleiding aantoont.

5. Betekenis en Claims

Het artikel beweert dat TAG een geometrisch perspectief op hallucinaties biedt, waarbij deze worden geïdentificeerd als een falen om tijdens mode-interpolatie op het data-manifold te blijven. Door de tangentiële component van de update te isoleren en te versterken, corrigeert TAG het sampling-traject effectief naar gebieden met hoge dichtheid.

De auteurs benadrukken dat TAG een complementaire verfijning is in plaats van een vervanging voor bestaande oplossers. Het verbetert de steekproefkwaliteit en vermindert hallucinaties met minimale rekenkosten, waardoor het geschikt is voor integratie in bestaande pijplijnen. Het artikel merkt bescheiden op dat hoewel de theoretische analyse lokale winst in likelihood van de eerste orde vaststelt, het het gedrag van het omgekeerde traject over het gehele sampling-proces niet volledig karakteriseert. Toekomstig werk wordt voorgesteld om adaptieve schaling en schattingen van complexere lokale manifold-geometrie te onderzoeken.