Technische Samenvatting: Locality-Preserving Sketch Token Fusion voor Hoogwaardige 3D-reconstructie vanuit Eén Perspectief

1. Probleemstelling

Het reconstrueren van hoogwaardige 3D-vormen op basis van een enkele vrije handtekening (sketch) is een uitdagende taak vanwege de inherente ambiguïteit van handgetekende streken en het verlies van fijnmazige geometrische details tijdens de feature-codering. Hoewel bestaande deep learning-benaderingen voor de 3D-modellering op basis van schetsen vooruitgang hebben geboekt, vertrouwen zij doorgaans op een encoder-decoder-paradigma dat 2D-schetskenmerken comprimeert tot compacte globale latente representaties via flattening- of pooling-operaties.

Deze compressiestrategie, hoewel effectief voor het vastleggen van grove vormsemantiek en viewpoint-informatie, leidt onvermijdelijk tot het verlies van ruimtelijk gelokaliseerde streekkenmerken. Gevolgelijk wordt de ruimtelijke correspondentie tussen beeldkenmerken en lokale schetsstructuren verzwakt, wat leidt tot het verlies van cruciale geometrische details zoals dunne uitsteeksels, lokale holtes en gedetailleerde contouren. Tijdens de decodering vindt de mesh-generatie vaak plaats via een enkel feed-forward proces dat vertex-deformatie regresseert vanuit een globale vector, zonder een expliciet mechanisme om adaptief toegang te krijgen tot lokale schetsbewijzen. Dit resulteert in gereconstrueerde modellen die weliswaar de algemene vorm behouden, maar lijden onder overmatig gladgestreken lokale regio's en er niet volledig in slagen de geometrische intentie van de oorspronkelijke schets te vangen.

2. Methodologie

De auteurs stellen Locality-Preserving Sketch Token Fusion (LP-STF) voor, een framework dat is ontworpen om lokale schetsinformatie te behouden en te exploiteren terwijl de globale vormbegrip behouden blijft. De architectuur bestaat uit vijf primaire componenten:

2.1 Feature Extractor en Token Transformer Block (TTB)

In plaats van kenmerken te aggregeren tot één enkele vector, wordt de invoerschets verwerkt door een lichtgewicht convolutionele encoder om een ruimtelijke feature map te produceren. Deze map wordt getransformeerd naar een vaste ruimtelijke resolutie ($7 \times 7$) om lokale schekstokens te genereren.

• Dual-Path Representatie: Het framework introduceert een Token Transformer Block die deze kenmerken transformeert naar complementaire globale en lokale representaties.
• Mechanisme: De feature map wordt geflattend naar een token-sequentie en verwerkt via multi-head self-attention en een MLP om langetermijn structurele relaties te vangen.
• Gated Fusion: Een leerbaar gated residual fusion-mechanisme ($F_{token} = X_t + \tan(\alpha) \cdot X_r$) balanceert adaptief de originele schetsinformatie met de getransformeerde kenmerken. Dit behoudt fijnmazige streekpatronen terwijl de onderscheidende geometrische patronen worden versterkt, wat resulteert in een locality-preserving token representatie.

2.2 Encoder-Decoder Module

De locality-preserving tokens worden gefactoriseerd in twee complementaire latente codes:

• Vormrepresentatie ($F_s$): Codeert intrinsieke geometrische kenmerken die minder gevoelig zijn voor variaties in het gezichtspunt (viewpoint).
• Viewpoint Representatie ($F_v$): Codeert expliciet de kijkconfiguratie van de invoerschets.
• Ontkoppeling (Disentanglement): Een contrastieve uitlijningsobjectief ($L_{con}$) wordt opgelegd om ervoor te zorgen dat $F_v$ de viewpoint-informatie nauwkeurig vastlegt door deze uit te lijnen met ground-truth view embeddings, terwijl het zich onderscheidt van andere kandidaten. De decoder aggregeert deze tot een globale vorm-latente ($Z_{global}$).

2.3 Local Token Cross-Attention (LTCA) Module

Om de kloof tussen de globale latente representatie en lokale geometrische details te overbruggen, ontwerpen de auteurs een Local Token Cross-Attention Module.

• Query-Driven Sampling: De globale vorm-latente ($Z_{global}$) dient als de query ($Q$), terwijl de locality-preserving schekstokens dienen als de key ($K$) en value ($V$).
• Adaptieve Retrieval: Door middel van geschaalde dot-product aandacht kan de globale representatie adaptief relevante lokale schekstokens ophalen ($Z_{local}$). Dit stelt het netwerk in staat om dynamisch de schetsregio's te identificeren die relevant zijn voor de huidige geometrische reconstructie (bijv. objectgrenzen of dunne structuren).
• Fusie: De opgehaalde lokale aanwijzingen worden gefuseerd met de globale representatie via residual addition ($Z_f = Z_{global} + Z_{local}$), wat een geometrie-bewuste representatie creëert die globale semantiek combineert met fijnmazige lokale bewijslast.

2.4 Mesh Generator en Training

De gefuseerde representatie wordt gedecodeerd door een Mesh Generator om een initiële mesh te produceren, die vervolgens wordt verfijnd door een mesh refinement module. Het framework wordt getraind met drie complementaire doelstellingen:

1. Silhouette Reconstruction ($L_s$): Een differentieerbare Intersection-over-Union (IoU) loss tussen de gerenderde silhouet van de voorspelde mesh en de doel-silhouet geëxtraheerd uit de schets.
2. Mesh Regularisatie ($L_r$): Bevat Laplacian smoothing ($L_{lap}$) en edge length regularisatie ($L_{edge}$) om geometrische plausibiliteit en oppervlaktegladheid te waarborgen.
3. View-Aware Contrastive Alignment ($L_{con}$): Zorgt ervoor dat de viewpoint-tak de viewpoint-afhankelijke kenmerken accuraat ontkoppelt van de intrinsieke vorminformatie.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Token Transformer Block voor Locality-Preserving Dual-Path Representatie: Een nieuwe encoderingsstrategie die excessieve globale compressie vermijdt door gezamenlijk globale vormsemantiek en ruimtelijk gestructureerde lokale tokens te leren, waardoor fijnmazige streekinformatie behouden blijft.
2. Local Token Cross-Attention Module voor Geometrie-Bewuste Uitlijning: Een adaptief mechanisme dat de decoder in staat stelt om selectief informatieve lokale schetsregio's op te halen tijdens de mesh-generatie, wat een nauwkeurigere correspondentie tussen 2D-streekstructuren en 3D-vertex-deformaties tot stand brengt.
3. Hoogwaardige en Robuuste Reconstructie: Het framework behaalt superieure prestaties op zowel synthetische als echte handgetekende schetsen, waarbij het met name de reconstructie van objecten met dunne structuren en complexe lokale geometrieën verbetert.

4. Experimentele Resultaten

De methode werd geëvalueerd op de ShapeNet-Synthetic en ShapeNet-Sketch datasets over 13 objectcategorieën (bijv. vliegtuigen, stoelen, auto's).

• Kwantitatieve Prestaties:
  • Op ShapeNet-Synthetic behaalde de voorgestelde methode de hoogste gemiddelde IoU-scores onder zowel de ground-truth viewpoint (0.628) als de voorspelde viewpoint (0.610) instellingen, waarmee het superieure prestaties leverde ten opzichte van state-of-the-art baselines zoals SS2M, Sketch2Model en Magic3DSketch.
  • Op ShapeNet-Sketch (echte handgetekende schetsen) demonstreerde de methode sterke generalisatie en behaalde zij de hoogste gemiddelde IoU (0.498 met GT view, 0.487 met voorspelde view) over de gehele dataset.
• Kwalitatieve Analyse:
  • Visuele vergelijkingen tonen aan dat LP-STF succesvol fijnmazige details herstelt die vaak verloren gaan bij baseline-methoden, zoals vliegtuigstaarten, rugleuningen van stoelen, vierkante banktopologieën en achtervleugels van auto's.
  • Ablatie-studies bevestigen dat het verwijderen van ofwel de Token Transformer Block (TTB) of de Local Token Cross-Attention (LTCA) module leidt tot een meetbare daling in IoU en een zichtbaar verlies van structurele getrouwheid in dunne of complexe regio's.

5. Betekenis en Claims

Het artikel beweert dat de primaire betekenis van dit werk ligt in het aanpakken van de fundamentele beperking van bestaande encoder-decoder-paradigma's: het verlies van ruimtelijk gelokaliseerde streekinformatie door globale kenmerkcompressie.

Door een dual-path representatie en een adaptief cross-attention mechanisme te introduceren, slaagt het framework erin de ruimtelijke correspondentie tussen 2D-schetsstructuren en 3D-geometrie te behouden. De auteurs stellen dat deze aanpak bijzonder gunstig is voor het herstellen van "dunne structuren, langwerpige componenten en onderscheidende lokale geometrische patronen" die moeilijk af te leiden zijn uit beperkte 2D-inputs. De resultaten suggereren dat het expliciet behouden en exploiteren van lokale schekstokens cruciaal is voor het bereiken van een getrouwe, hoogwaardige 3D-reconstructie vanuit single-view schetsen, waarmee de kloof tussen professionele ontwerpvereisten en toegankelijke, niet-expert schetsinterfaces wordt overbrugd.

Toekomstig werk, zoals door de auteurs opgemerkt, zal zich richten op het verkennen van effectievere hiërarchische token-representaties en het integreren van aanvullende aanwijzingen (zoals diepte of semantische informatie) om de reconstructie van geometrisch complexe objecten verder te beperken.