Technische Samenvatting: Het Snelheidstekort: Initiële Energie-injectie voor Stroommatching

1. Probleemdefinitie: Het Snelheidstekort en Integratievertraging

Hoewel Stroommatching (Flow Matching, FM) theoretisch constante snelheid en rechte trajecten garandeert van een ruisverdeling ($p_0$) naar een dataverdeling ($p_1$), identificeren de auteurs een kritieke tekortkoming in de praktijk bij hoge dimensies, het Snelheidstekort.

• Het Fenomeen: In ruimten met hoge dimensie onderestimeren FM-modellen die zijn getraind met de standaard Mean Squared Error (MSE)-doelfunctie systematisch de grootte van het vereiste snelheidsvector. In plaats van een constante norm $\|x_1 - x_0\|$ te handhaven, vertoont de voorspelde snelheidsgrootte $\|v_\theta(x, t)\|$ een monotoon verval, dalend van de ruisnorm naar de datanorm.
• Theoretische Oorzaak: Dit tekort vloeit voort uit de eigenschappen van MSE-minimalisatie onder onafhankelijke datakoppeling. Vanwege de ambiguïteit van tussenliggende toestanden (waarbij een enkele toestand $x_t$ kan worden bereikt door oneindig veel paren van $(x_0, x_1)$), leert de optimale predictor de conditionele verwachting van de snelheid. Volgens de ongelijkheid van Jensen is het kwadraat van deze verwachting strikt kleiner dan de verwachting van het kwadraat, wat leidt tot een systematisch verlies aan "kinetische energie".
• Gevolg (Integratievertraging): Deze onderestimering zorgt ervoor dat gegenereerde samples de waarschijnlijkheidskloof niet volledig overbruggen binnen het tijdsinterval van één eenheid. De deeltjes blijven "stroomopwaarts" en falen in het convergeren naar het data-manifold. Dit manifesteert zich visueel als residuele artefacten, onvolledige objecten en vervormde lokale details.

2. Kerninzicht: Asymmetrische Energie-injectie

De auteurs ontdekken dat de impact van snelheidscontractie niet uniform is, maar zich dynamisch ontwikkelt over het traject, waardoor een cruciale asymmetrie ontstaat:

• Bij $t \to 0$ (Ruis-einde): Contractie is schadelijk (Signaaltekort). Het model onderschat het signaalconponent dat nodig is om transport van ruis naar data te initiëren. Dit leidt tot een catastrofale mislukking om het manifold te bereiken, wat structurele tekortkomingen veroorzaakt.
• Bij $t \to 1$ (Data-einde): Contractie is voordelig (Impliciet Denoisen). Het verval van snelheid fungeert als een natuurlijk denoismechanisme. Het verhogen van de schaal hier riskeert het gladstrijken van hoogfrequente details en het vernietigen van scherpe texturen.

De oplossing vereist daarom Initiële Energie-injectie: het compenseren van het tekort aan het begin, terwijl de natuurlijke contractie aan het einde wordt gerespecteerd.

3. Methodologie

Het artikel stelt twee complementaire methoden voor om het Snelheidstekort aan te pakken:

A. Grootte-bewuste Stroommatching (Magnitude-Aware Flow Matching, MAFM)

Een trainingsgebaseerde aanpak die de standaard FM-verliesfunctie uitbreidt met een expliciete grootte-supervisieterm.

• Mechanisme: Voegt een strafterm $\lambda(t) \cdot (\|v_\theta(x_t, t)\| - \|x_1 - x_0\|)^2$ toe aan de verliesfunctie.
• Schema: De weging $\lambda(t)$ is ontworpen om sterk te zijn bij $t \to 0$ (het afdwingen van groottebeperkingen tijdens signaaltekort) en te versoepelen bij $t \to 1$ (toestaan van voordelige denoising-contractie).

B. Schaal-schema Corrector (Scale Schedule Corrector, SSC)

Een trainingsvrije, "plug-and-play" interventie tijdens de inferentie.

• Mechanisme: Past een tijdsafhankelijke schalingsfactor $\gamma(t)$ toe op het snelheidsveld: $\hat{v}(x, t) = \gamma(t) \cdot v_\theta(x, t)$.
• Schema: Gebruikt een lineair schema waarbij $s_{start} > 1.0$ (doorgaans 1.1) om kinetische energie aan het begin in te brengen, afnemend naar $s_{end} = 1.0$ aan het einde.
• Implementatie: Vereist slechts één regel code-aanpassing in standaard oplosmethoden (bijv. Euler, Heun).

4. Experimentele Resultaten

De methoden zijn geëvalueerd op ImageNet-1k (256$\times$256 en 512$\times$512) en MS-COCO (Tekst-naar-Afbeelding) met behulp van SiT- en REPA-architecturen.

• Efficiëntie en Prestaties (ImageNet-1k 256$\times$256):
  • SSC verlaagde de FID van een generator met 50 stappen van 13,68 naar 7,58 (een verbetering van 44,6%).
  • Dit SSC-model met 50 stappen presteerde beter dan een baseline met 250 stappen (FID 8,65), wat een 5-voudige snelheidswinst vertegenwoordigt.
  • SSC presteerde consequent beter dan de trainingsgebaseerde MAFM in FID, wat suggereert dat het expliciet corrigeren van de integratievertraging tijdens de inferentie effectiever is dan proberen de bias tijdens het trainen te "ontleren".
• Generalisatie:
  • Hoge Resolutie: SSC verbeterde de FID met ongeveer 20-28% bij een resolutie van 512$\times$512.
  • Tekst-naar-Afbeelding: Toegepast op REPA-MMDiT op MS-COCO, verlaagde SSC de FID van 6,03 naar 4,71 (een verbetering van ongeveer 22%).
  • Architectuur-onafhankelijk: De methode verbeterde de prestaties over Transformer-gebaseerde (SiT, MMDiT) en CNN-gebaseerde (U-Net) modellen heen.
• Ablatiestudies:
  • Het injecteren van energie alleen aan het einde ($1.0 \to 1.1$) slaagde er niet in de structurele schade veroorzaakt door het initiële tekort te herstellen.
  • Constante injectie ($1.05 \to 1.05$) verbeterde de textuur (sFID) maar verslechterde de globale structuur (FID) door de laatste denoising-fase te verstoren.
  • Het asymmetrische schema ($1.1 \to 1.0$) bood de optimale afweging, waarbij de globale structuur werd gerepareerd terwijl de textuur behouden bleef.

5. Betekenis en Claims

Het artikel beweert dat het Snelheidstekort een fundamentele structurele bias is van de MSE-doelfunctie in Stroommatching met hoge dimensies, en niet slechts een trainingsartefact of capaciteitsprobleem.

• Theoretische Bijdrage: Het werk definieert het Snelheidstekort en de Integratievertraging formeel en bewijst dat snelheidscontractie structureel noodzakelijk is voor denoising aan het einde, maar schadelijk aan het begin.
• Praktische Impact: De voorgestelde Schaal-schema Corrector (SSC) biedt een "gratis lunch"-verbetering. Het maakt aanzienlijk snellere sampling mogelijk (5-voudige snelheidswinst) en generatie van hogere kwaliteit zonder hertraining of extra rekenkosten tijdens het trainen.
• Paradigmaverschuiving: De auteurs betogen dat generatie van hoge kwaliteit niet alleen nauwkeurige trajectrichtingen vereist, maar ook precisie in kinetisch energiebeheer. De bevindingen suggereren dat toekomstige samplingstrategieën in continue generatieve modellen rekening moeten houden met deze dynamische energie-injecties.

Het artikel concludeert dat hoewel de methoden afhankelijk zijn van aannames over orthogonaliteit in hoge dimensies (wat de toepasbaarheid beperkt tot ultra-laagdimensionale toy-datasets), ze een robuuste, generaliseerbare oplossing bieden voor state-of-the-art afbeeldings- en tekst-naar-afbeeldingsgeneratie.