Technische Samenvatting: Draw This First

Probleemstelling

Het veld van schetsgeneratie is divers, waarbij bestaande methoden de tekenvolgorde doorgaans behandelen als een intrinsieke output van het model (via autoregressie of diffusie) of als een niet-gerepresenteerde factor. Huidige benaderingen slagen er vaak niet in om de tekenvolgorde te presenteren als een vrij vormbare, taalgeconditioneerde variabele. Bov��iment veel systemen vertrouwen op kwalitatief minderwaardige "doodle"-corpora, en weinig kunnen vectorschetsen genereren die strikt voldoen aan door de gebruiker gespecificeerde instructies met betrekking tot de sequentie van streken. De uitdaging ligt in het creëren van een systeem dat geordende vectorstreken kan genereren vanuit tekst of afbeeldingen, waardoor de gebruiker de volgorde van de streken expliciet kan dicteren (bijv. "teken eerst de kop, dan het lichaam") zonder de geometrische getrouwheid van de schets in gevaar te brengen.

Methodologie

De auteurs stellen een nieuwe formulering voor die het typische proces van schetsgeneratie omdraait: in plaats van streken sequentieel te voorspellen, voorspelt het model een 2D-veld dat de volgorde bepaalt waarin de streken worden getekend. De pijplijn bestaat uit drie hoofdonderdelen:

1. Dataset en Annotatie

Het model wordt getraind op een gecommitteerde corpus van 47.318 hoogwaardige handgetekende kunstenaarstekeningen, wat de kwaliteit van bestaande doodle-datasets aanzienlijk overtreft.

• Hiërarchische Annotatie: Elke tekening is geannoteerd met een hiërarchie van twee niveaus van bounding boxes (regio en onderwerp).
• Volgorde-bijschriften: De auteurs synthetiseren volgorde-beschrijvende bijschriften die de sequentie van bezoeken aan benoemde regio's specificeren (bijv. "box1 links, dan box2, dan box1 rechts, opnieuw bezocht").
• Permutatiestrategie: Om het model te leren een willekeurige volgorde te volgen, wordt de doelvolgorde van de streken gepermuteerd terwijl de natuurlijke volgorde binnen regio's (ruwe omtrek naar details) behouden blijft. De bijschriften worden programmatisch gegenereerd om overeen te komen met de gepermuteerde volgorde, wat leidt tot volgorde-gesuperviseerde paren. Dit ontkoppelt de volgorde doelbewust van de geometrie tijdens de training.

2. Order-as-Color Intermediate Representation

Om training binnen een vooraf getrainde beeld-latente ruimte mogelijk te maken, construeren de auteurs een beeld-native intermediaire representatie met behulp van een order-as-color codec:

• Globale Boog ($a$): Vertegenwoordigt de totale voortgang van het tekenen van 0 tot 1.
• Binnen-de-streek Boog ($u$): Vertegenwoordigt de voortgang binnen een specifieke streek.
• Codering: De schets wordt gecodeerd in een HSV-afbeelding waarbij:
  • Tint ($H$): De globale boog codeert ($a \cdot 342/360$).
  • Verzadiging ($S$): De voorgrondmasker codeert ($1$).
  • Helderheid ($V$): De binnen-de-streek boog codeert ($1 - u/2$).
    Dit resulteert in een gerasterde "codec-afbeelding" waarbij de tekenvolgorde visueel is gecodeerd als een kleurverloop.

3. Modelarchitectuur

Het systeem maakt gebruik van een vooraf getrainde latent flow-matching transformer (gebaseerd op Qwen-Image-Edit-2509) en een aangepaste decoder:

• Generator (DiT): Een Diffusion Transformer aangepast met LoRA (Rank-64) die getraind is om de latente representatie van de codec-afbeelding te genereren vanuit tekst- of beeldcondities.
• Order-Native Decoder: Een gefinetunede VAE-decoder die de gegenereerde latente waarde leest en drie targets afgeeft:
  1. Globale Boogveld ($a'$): Het voorspelde volgordeveld.
  2. Voorgrondmasker ($m'$): Het streekmasker.
  3. Instantie-embeddings ($e'$): Achtdimensionale embeddings voor streeksegmentatie.
• Vectorisatie: De decoderoutputs worden verwerkt zonder een geleerde tracer. HDBSCAN clustert de embeddings om streken te segmenteren. Deze clusters worden gesorteerd op basis van het gemiddelde voorspelde boogveld. Binnen elk cluster extraheert een nearest-neighbor walk pixels, die vervolgens worden gladgestreken en vereenvoudigd met Ramer-Douglas-Peucker (RDP) om de uiteindelijke geordende vectorpolyline te produceren.

Belangrijkste Bijdragen

1. Inverted Formulering: Het artikel introduceert een methode waarbij het model een 2D-volgordeveld voorspelt in plaats van een sequentie van streken, waardoor de volgorde een controleerbare, taalgeconditioneerde variabele wordt.
2. Order-as-Color Codec: Een nieuw coderingsschema dat tekenvoortgang naar HSV-kleurkanalen mapt, wat het gebruik van vooraf getrainde beeld-diffusiemodellen voor sequentiële schetsgeneratie mogelijk maakt.
3. Hoogwaardige Dataset: De creatie van een 47k-afbeeldingen dataset van professionele kunstenaars-tekeningen met hiërarchische bounding box-annotaties en gesynthetiseerde volgorde-bijschriften.
4. Instructie-opvolging: Het vermogen om schetsen te genereren die de tekenvolgorde volgen via tekstinstructies, waarbij de naleving varieert op basis van de fijnmazigheid van de instructie (betrouwbaar op regioniveau, maar afnemend op onderdeel- en pass-niveau).

Resultaten

Het model werd geëvalueerd op hold-out data uit de trainingsset en externe datasets (Creative Birds, Creative Creatures, FS-COCO, QuickDraw).

• Volgorde-nauwkeurigheid:
  • Wanneer een volgorde-instructie wordt meegegeven, bereikt het model een Kendall $\tau$ van 0,449 op in-domain data en 0,373 op out-of-domain data, wat de geometrie-alleen baselines (0,096) aanzienlijk overtreft.
  • Het omkeren van de instructie keert de tekenvolgorde succesvol om (Kendall $\tau$ van $-0,267$), wat aantoont dat de tekst, en niet de afbeelding, de sequentie stuurt.
  • Naleving is sterk afhankelijk van de granulariteit van de instructie: instructies op regioniveau worden betrouwbaar gevolgd ($\tau \approx 0,84$), maar de naleving daalt naar 0,46 op onderdeelniveau en 0,44 op pass-niveau.
  • Controle wordt verder beperkt door de structuur van de bijschriften; een enkele afsluitende beperking wordt vaak volledig genegeerd (bijv. een benoemde regio die als eerste wordt getekend, wordt in 68,5% van de gevallen genegeerd wanneer deze aan een volledige beschrijving wordt toegevoegd), en het omkeren van instructies die conflicteren met de vermeldsorde in de beschrijving zorgt voor een significante daling in de naleving.
  • Het "decoder plafond" (gebruik van grondwaarheid latents) toont een potentiële Kendall $\tau$ van 0,91–0,94, wat aangeeft dat de bottleneck ligt in het vermogen van het generatieve model om de latent te voorspellen, en niet in het vectorisatieproces.
• Geometrische Behoud:
  • Interventies in de volgorde veranderen de geometrie niet. De match-ratio van de streken blijft hoog (0,89–0,95) en de mask IoU blijft stabiel ongeacht de volgorde-instructie.
  • Het model behoudt de open-vocabulaire tekenmogelijkheden van de vooraf getrainde prior, waarbij het Top-1 CLIP herkenningsscores van 0,70 behaalt op onbekende QuickDraw categorieën.
• Geobserveerde Beperkingen:
  • Granulariteit: De controle neemt aanzienlijk af naarmate de granulariteit van de instructie toeneemt. Hoewel de volgorde op regioniveau betrouwbaar wordt gevolgd, daalt de naleving op onderdeel- en pass-niveau naar $\approx 0,45$, en de overeenstemming binnen de eenheid is nagenoeg nul.
  • Fragmentatie: Het vectorisatieproces herstelt paden met 1,7–2,5$\times$ het werkelijke aantal streken, wat resulteert in gefragmenteerde streken.
  • Informatieverlies: Het doelobject negeert tijd, druk, kanteling en borstelbreedte, en geeft 1px ongegewogen middellijnen uit.
  • Geen Intrinsieke Prior: Vanwege de trainingsstrategie heeft het model geen verifieerbare menselijke globale volgorde-prior wanneer er geen instructie wordt gegeven; het vertrouwt op heuristieken of de vermeldsorde in het bijschrift.

Betekenis en Claims

Het artikel beweert een systeem te presenteren dat erin slaagt schetsen getrouw te de-renderen en de sterke tekst-naar-schets generatiecapaciteiten van het onderliggende vooraf getrainde model te behouden, terwijl het de nieuwe mogelijkheid toevoegt om expliciete tekstinstructies voor de tekenvolgorde op te volgen.

De auteurs benadrukken dat deze benadering de kloof overbrugt tussen raster-gebaseerde generatie en vectoroutput, wat "afspeelbare polyline paden" mogelijk maakt waarbij de sequentie een vrij vormbare taalvariabele is. Ze beweren dat het model instructies kan volgen die willekeurige volgordes specificeren, zelfs wanneer deze de geregistreerde kunstenaarsvolgorde tegenspreken, wat bewijst dat volgorde kan worden losgekoppeld van geometrie en kan worden gecontroleerd via natuurlijke taal. Ze blijven echter bescheiden over de beperkingen en erkennen dat de controle beperkt wordt door de grootte van de eenheid die gebruikt is bij de permutatie-training, dat de naleving afneemt bij fijnere granulariteiten (onderdeel/pass niveau), en dat afsluitende beperkingen in bijschriften vaak verloren gaan. Ze merken ook op dat de huidige output de rijke dynamiek van de oorspronkelijke input (druk, breedte) mist.