TexEditor: Structure-Preserving Text-Driven Texture Editing

Probleemstelling

Het doel van tekstgestuurde textuurbewerking is om de uiterlijke eigenschappen van objecten in een afbeelding te wijzigen (bijvoorbeeld het materiaal, de ruwheid of de kleur) op basis van natuurlijke taal instructies, terwijl de onderliggende geometrische structuur, ruimtelijke lay-out en semantische identiteit van het object behouden blijven.

Hoewel er recente vooruitgang is geboekt met generatieve modellen (zoals Diffusion-modellen), blijkt uit empirische analyse dat zelfs de state-of-the-art (SOTA) modellen, zoals Nano Banana Pro, vaak falen in het behoud van structurele consistentie. In plaats van alleen de textuur aan te passen, hebben deze modellen de neiging om het object zelf te herscheppen, wat leidt tot vervormingen, verlies van details of onbedoelde veranderingen in de vorm en randen van het object. Bestaande datasets en evaluatiemethoden zijn vaak beperkt tot synthetische, eenvoudige scènes en missen realistische complexiteit, waardoor ze deze structurele problemen niet adequaat detecteren of evalueren.

Methodologie: TexEditor

De auteurs introduceren TexEditor, een model dat specifiek is ontworpen om textuurbewerking te koppelen aan structurele behoud. De aanpak combineert een tweestaps trainingsstrategie met een nieuw dataset- en evaluatieframework.

1. Dataverzameling: TexBlender

Om het model een sterke "koude start" te geven met duidelijke structurele priors, hebben de auteurs TexBlender ontwikkeld. Dit is een hoogwaardige, gesimuleerde dataset gegenereerd met Blender en het 3D-Front dataset.

• Unieke kenmerken: In tegenstelling tot eerdere datasets die zich richten op geïsoleerde objecten, bevat TexBlender complexe, realistische interieurs.
• Generatieproces: De pipeline maakt gebruik van Blender om paren afbeeldingen te genereren waarbij alleen de textuur van geselecteerde objectgroepen verandert, terwijl de 3D-geometrie en camera-hoek exact gelijk blijven.
• Granulariteit: De textuurwijzigingen worden toegepast op groepen van 3D-objecten (bijv. een hele tafel inclusief poten) in plaats van individuele instanties, wat het model leert om zowel lokale als scène-brede bewerkingen te hanteren.
• Instructies: Natural language instructies worden gegenereerd door Qwen3-VL, verrijkt met visuele groundings via SAM3 (Segment Anything Model) om hallucinaties te voorkomen en de instructies nauwkeurig te koppelen aan de visuele veranderingen.

2. Trainingsstrategie: Twee Stappen

• Stap 1: Supervised Fine-Tuning (SFT): Het basismodel (gebaseerd op Qwen-Image-Edit-2509) wordt getraind op TexBlender. Dit leert het model de basisvaardigheden voor textuurbewerking en introduceert het concept van structureel behoud in een gecontroleerde omgeving.
• Stap 2: Reinforcement Learning (RL) met StructureNFT: Om de vaardigheden te generaliseren naar real-world scènes (gebaseerd op COCO-data), wordt een RL-fase toegepast.
  • StructureNFT: Dit is een RL-gebaseerde methode die een nieuwe beloningsfunctie (reward) introduceert. De beloning bestaat uit twee componenten:
    1. Instruction Adherence: Gemeten door een Large Multimodal Model (Gemini 3 Flash) om te controleren of de tekstuele instructie correct is uitgevoerd.
    2. Structure Preservation: Een structuurbehoudende loss die de geometrische consistentie tussen de invoer- en uitvoerafbeelding waarborgt.
  • Structuurmeting: In plaats van complexe wireframe-overlappingen die gevoelig zijn voor ruis, gebruiken de auteurs SSIM (Structural Similarity Index) op wireframe-representaties (geëxtraheerd via SAUGE/SAM3). Dit is robuuster tegen kleine pixelverschuivingen. Een empirische normalisatie wordt toegepast om de gevoeligheid van de score te verhogen.

3. Evaluatie: TexBench en TexEval

De auteurs erkennen dat bestaande benchmarks ontoereikend zijn en introduceren:

• TexBench: Een nieuwe benchmark voor textuurbewerking op echte wereldscènes (COCO-gebaseerd). Het bevat 825 handgecontroleerde voorbeelden van textuurvervanging en attribuutbewerking.
• TexEval: Een nieuwe evaluatiemetric die een combinatie is van instructievolging (MLLM-score) en structurele consistentie (SSIM). De auteurs tonen aan dat bestaande MLLM's (zoals Gemini) subtiele structurele veranderingen vaak missen, terwijl TexEval dit corrigeert door laag-niveau visuele signalen te integreren.

Belangrijkste Resultaten

• Superieure Prestaties: TexEditor overtreft consequent sterke baselines, waaronder Nano Banana Pro, Alchemist en de basis Qwen-2509, op zowel synthetische Blender-benchmarks als de nieuwe TexBench.
• Kwalitatieve Verbetering: In visuele vergelijkingen slaagt TexEditor erin om instructies nauwkeurig op te volgen (bijv. "verander de tafel in gepolijst walnouthout") zonder de vorm, randen of details van het object te vervormen, terwijl concurrenten vaak het object herscheppen.
• Ablatiestudies: De studies tonen aan dat elke component essentieel is:
  • TexBlender data is cruciaal voor de initiële structuurleer.
  • De combinatie van instructie- en structuur-loss in de RL-fase is noodzakelijk; alleen instructievolging leidt tot structurele degradatie, en alleen structuurbehoud leidt tot slechte instructievolging.
  • De gebruikte normalisatie voor de structuur-loss verbetert de prestaties aanzienlijk.
• Generalisatie: TexEditor presteert ook beter dan het basismodel op algemene beeldbewerkingsopdrachten in de ImgEdit-benchmark, wat aangeeft dat de geleerde structurele behoudsmechanismen generaliseren naar andere taken.

Significantie en Bijdragen

De paper biedt een significante bijdrage aan het gebied van computervisie en generatieve AI door:

1. Het probleem van structurele consistentie in textuurbewerking expliciet aan te pakken, wat een langdurige beperking was in bestaande systemen.
2. TexBlender en TexBench te introduceren als nieuwe, hoogwaardige resources die de kwaliteit en realisme van trainings- en evaluatiedata voor textuurbewerking verhogen.
3. Een nieuwe trainingsparadigma (StructureNFT) te presenteren dat RL gebruikt om structurele priors van synthetische data over te dragen naar real-world scènes zonder de modelarchitectuur te hoeven wijzigen.
4. TexEval te ontwikkelen als een meer betrouwbare evaluatiemetric die beter overeenkomt met menselijke perceptie dan bestaande automatische scores.

Kortom, TexEditor stelt een nieuwe standaard voor textuurbewerking waarbij de integriteit van het objectgeometrie centraal staat, wat essentieel is voor toepassingen zoals virtuele werelden, content creatie en augmented reality.