Technische Samenvatting: TeleStyle V2

Probleemstelling

TeleStyle V2 pakt kritieke beperkingen aan die zijn waargenomen in de voorganger, TeleStyle V1, specifiek met betrekking tot de rigiditeit van input-domeinen en referentiebehandeling. Hoewel TeleStyle V1 succesvol de inhoud-behoudende stijltransfer uitvoerde, was het uitsluitend getraind op Realistic-and-Stylized (RnS) triplets (fotorealistische content-referenties en artistieke stijl-referenties). Deze trainingsdistributie leidde tot drie primaire faalmodi:

1. Onvermogen om gestileerde content aan te kunnen: Het model faalde wanneer de content-referentie een artistische of gestileerde afbeelding was.
2. Onvermogen om realistische stijlen aan te kunnen: Het model had moeite wanneer de stijl-referentie een fotorealistische afbeelding was in plaats van een artistieke.
3. Verwarring over de volgorde van referenties: In bepaalde gevallen negeerde het model de content-referentie volledig en genereerde het outputs die bijna identiek waren aan de stijl-referentie, ondanks het gebruik van MS-RoPE en afbeelding-indices in de input-template.

Bovendien veroorzaakte het proces van Supervised Fine-Tuning (SFT) dat nodig is voor stijltransfer een degradatie van de algemene tekstgestuurde beeldbewerkingsmogelijkheden en de inhoudelijke consistentie van het basismodel.

Methodologie

1. Zelf-distillatie voor Domein-expansie

Om de domeinkloof te overbruggen, introduceerden de auteurs een zelf-distillatie data-synthese strategie. Door gebruik te maken van de bestaande capaciteiten van TeleStyle V1, construeerden zij trainings-triplets die vier verschillende referentiecombinaties dekken:

• Realistic-and-Realistic (RnR): Een realistische afbeelding gebruiken als zowel content als doel (target), met een willekeurige realistische afbeelding als de stijl-referentie.
• Stylized-and-Stylized (SnS): Een enkele content-referentie gebruiken om twee verschillende gestileerde targets ($result_0, result_1$) te genereren via twee verschillende stijl-referenties. Deze worden vervolgens verwisseld om nieuwe triplets te vormen (bijv. $[result_1, style_0, result_0]$), waardoor trainingsdata ontstaat waarbij content, stijl en target allemaal gestileerd zijn.
• Stylized-and-Realistic (SnR): Een gestileerd resultaat terug converteren naar een realistische target. De auteurs merken op dat deze specifieke taak instabiel is en raden aan om voor deze conversie directe tekstprompts te gebruiken in plaats van de stijltransfer-modus.

Deze aanpak stelt TeleStyle V2 in staat om te generaliseren over alle combinaties van realistische en gestileerde inputs.

2. Distribution Matching Distillation (DMD)

Om de degradatie van de inhoudelijke consistentie te beperken en de algemene bewerkingsvaardigheden van het basismodel te behouden, integreerden de auteurs Distribution Matching Distillation (DMD).

• Mechanisme: DMD minimaliseert de reverse Kullback-Leibler (KL) divergentie tussen de echte datadistributie ($p_{real}$) en de gegenereerde datadistributie ($p_{fake}$).
• Voordelen: Deze techniek fungeert als een regularisator die voorkomt dat de basiscapaciteiten van het model "catastrofaal vergeten" (catastrophic forgetting). Het stelt TeleStyle V2 in staat om zowel inhoud-behoudende stijltransfer als algemene tekstgestuurde beeldbewerking in één enkele run uit te voeren. De auteurs rapporteren dat DMD de inferentiekosten met ongeveer 10 keer vermindert, terwijl de esthetische en structurele integriteit van de output behouden blijft of zelfs wordt verbeterd.

3. Prompt Verbetering voor Referentievolgorde-verwarring

De auteurs onderzochten Direct Preference Optimization (DPO) om het probleem van de verwarring over de volgorde van referenties op te lossen, maar vonden dit ineffectief, zelfs met grote datasets (400k paren). In plaats daarvan adopteerden zij een Prompt Enhancement strategie:

• Implementatie: Zij maken gebruik van het Qwen2.5-VL-7B model (dat reeds aanwezig is als de VLM-encoder in de Qwen-Image-Edit architectuur) om een korte tekstuele beschrijving van de objecten in de content-referentie te genereren.
• Effect: Deze automatisch gegenereerde "content prompt" wordt aan de input toegevoegd, wat een semantische hint geeft die het model hels bij de juiste associatie van de content-referentie met de target, waardoor de verwarring effectief wordt opgelost zonder complexe optimalisatietechnieken te vereisen.

Belangrijkste Bijdragen

1. Zelf-distillatie Mechanisme: Een nieuwe data-synthese aanpak die RnR, RnS, SnR en SnS trainings-triplets construeert, waardoor het model gemengde modaliteiten (realistisch en gestileerd) voor zowel content- als stijl-referenties kan afhandelen.
2. Integratie van DMD: Het aantonen dat Distribution Matching Distillation de algemene tekstgestuurde beeldbewerkingsmogelijkheden van de Qwen-Image-Edit serie effectief behoudt terwijl de door SFT geïntroduceerde problemen met inhoudelijke consistentie worden opgelost.
3. Prompt Enhancement Oplossing: Het identificeren dat het toevoegen van automatisch gegenereerde contentbeschrijvingen het probleem van de verwarring over de volgorde van referenties effectiever oplost dan DPO.

Resultaten en Evaluatie

Algemene Beeldbewerkingscapaciteit

Geëvalueerd op GEdit-Bench (met Qwen2.5-VL-72B als rechter), demonstreerde TeleStyleV2-QIE-2509-DMD prestaties die gelijkwaardig zijn aan, en in sommige gevallen superieur aan, de vanilla Qwen-Image-Edit-2509-DMD over 11 subtaken (inclusief achtergrondverandering, kleurverandering en onderwerpvervanging). Opvallend genoeg toonde het specifieke verbeteringen in stijlveranderings-taken, ondanks dat het niet expliciet getraind was op tekstgestuurde stijltransfer data.

Prestaties van Stijltransfer

• Vergelijking: TeleStyle V2 werd kwalitatief vergeleken met het state-of-the-art commerciële model gemini-3-pro-image-preview (verwezen als "nano banana pro").
• Bevindingen: TeleStyle V2 bereikte een vergelijkbare inhoudelijke consistentie en in de meeste gevallen een superieure stijl-gelijkenis met het commerciële model.
• Kwantitatieve Voorzichtigheid: De auteurs kozen ervoor om geen kwantitatieve winstpercentages (win-rate statistieken) tegen het commerciële model te publiceren, waarbij zij opmerkten dat het winstpercentage van TeleStyle V2 onverwacht hoog was, wat zij toeschrijven aan een mogelijke bias in hun testset. Zij beweren conservatief dat het model "op gelijke hoogte" presteert met de commerciële benchmark.

Betekenis en Claims

Het artikel positioneert TeleStyle V2 als een significante stap voorwaarts in open-source stijltransfer, waarbij de rigide beperkingen van eerdere modellen worden overstegen. Door zelf-distillatie te combineren met distribution matching, beweren de auteurs een model te hebben gecreëerd dat niet alleen een gespecialiseerde stijltransfer-tool is, maar ook een robuuste algemene tekstgestuurde beeldbewerker. Het werk demonstreert dat open-source modellen prestaties kunnen leveren die vergelijkbaar zijn met top-tier commerciële systemen (gemini-3-pro-image-preview) in inhoud-behoudende stijltransfer, terwijl ze de flexibiliteit van algemene beeldbewerking behouden. De succesvolle oplossing van de verwarring over de volgorde van referenties via eenvoudige prompt engineering in plaats van complexe alignment-algoritmen wordt benadrukt als een praktische en effectieve inzichten voor toekomstige modelontwikkeling.