Technische Samenvatting: AsyncEvGS

Probleemstelling

Hoewel 3D Gaussian Splatting (3DGS) en Neural Radiance Fields (NeRF) fotorealistische nieuwe weergavesynthese bereiken, zijn ze sterk afhankelijk van hoogwaardige, scherpe invoerbeelden. Bij handheld 3D-opnames in de echte wereld komt ernstige bewegingsonscherpheid veel voor, waardoor standaardmethoden ineffectief worden en leiden tot geometrische vervormingen en onscherpe reconstructies. Bestaande computationele methoden voor het verhelpen van onscherpte worstelen met de slecht gestelde aard van het probleem.

Eventcamera's bieden een oplossing door hoge-temporale-resolutie, asynchrone bewegingsinformatie te leveren die robuust is tegen bewegingsonscherpte. Echter, huidige methoden voor 3D-reconstructie met ondersteuning van events staan voor twee kritieke barrières voor praktisch handheld-gebruik:

1. Lage Sensorresolutie: De meeste methoden vertrouwen op lage-resolutie eventsensoren (bijv. 346 × 260), wat de reconstructiegetrouwheid fundamenteel beperkt in vergelijking met moderne multi-megapixel RGB-camera's.
2. Strikte Synchronisatie-eisen: Oplossingen met hoge resolutie vereisen vaak een rigide, hardware-niveau temporale synchronisatie tussen RGB- en eventcamera's, waardoor ze incompatibel zijn met gangbare handheld-apparaten (bijv. smartphones) die dergelijke synchronisatiemogelijkheden missen.

Methodologie

De auteurs stellen AsyncEvGS voor, een framework ontworpen voor hoogwaardige 3D-reconstructie met behulp van een flexibel, asynchroon, hoge-resolutie RGB–Event-dualcamerasysteem. De pijplijn bestaat uit drie hoofdcomponenten:

1. Hardware-systeem

De auteurs introduceren een nieuw dual-camera-rig dat een hoge-resolutie (1280 × 720) Prophesee EVK-3 HD eventcamera koppelt aan een standaard RGB-camera (bijv. iPhone 13). Cruciaal is dat dit systeem zonder hardware-niveau temporale synchronisatie werkt, wat opnames "in het wild" op handelsapparaten mogelijk maakt.

2. Robuuste Initialisatie via Cross-Domain Poseschatting

Traditionele Structure-from-Motion (SfM)-tools zoals COLMAP falen bij het gezamenlijk registreren van bewegingsonscherpe RGB-frames en uit events afgeleide grijswaardebeelden vanwege domeinverschillen en onscherpte.

• Event-naar-Intensiteit Reconstructie: De ruwe eventstroom wordt omgezet in een reeks scherpe grijswaardebeelden met behulp van E2VID.
• VGGT Initialisatie: In plaats van te vertrouwen op COLMAP, maken de auteurs gebruik van de Visual Geometry Transformer (VGGT) om zowel de onscherpe RGB-frames als de scherpe, uit events gereconstrueerde grijswaardebeelden te verwerken. Dit levert een robuuste, dichte puntwolk en een accurate initialisatie van de camerapositie voor beide modaliteiten op, waarmee de faalmodi van traditionele SfM in scenario's met bewegingsonscherpte worden overwonnen.

3. Optimalisatieframework

De 3DGS-representatie wordt geoptimaliseerd met een multi-objectieve verliesfunctie die is ontworpen om de asynchrone aard van de data en de slecht gestelde aard van het verhelpen van onscherpte aan te pakken:

• Verlies voor het verhelpen van onscherpte ($L_{blur}$): Gebaseerd op Deblurring 3DGS, synthetiseert dit een onscherp beeld door $N$ scherpe naburige weergaven te middelen die worden gerenderd door een MLP en vergelijkt dit met het vastgelegde onscherpe RGB-invoerbeeld.
• Event Structuurverlies ($L_{struct}$): Om de slecht gestelde aard van klassieke eventverliezen aan te pakken (die alleen intensiteitsverschillen beperken), stellen de auteurs een structuur-gedreven verlies voor. Dit maakt gebruik van een structuur-extractor en een betrouwbaarheidskaart afgeleid van multi-schaal hoge-frequentie consistentie. Het verlies wordt berekend met de Structural Similarity (SSIM)-index tussen het gerenderde beeld en het uit events gereconstrueerde doelwit, gewogen op basis van betrouwbaarheid. Dit richt zich op structurele correctheid in plaats van absolute intensiteit, wat helderheidsinconsistenties en ruis mitigeert.
• Consistentieregularisatoren:
  • RGB-consistentie ($L_{reg-r}$): Voorkomt dat de module voor het verhelpen van onscherpte convergeert naar gedegenereerde oplossingen waarbij fouten in individuele weergaven elkaar opheffen. Het dwingt af dat het gerenderde beeld dicht blijft bij zowel de naburige scherpe frames als het waargenomen onscherpe invoerbeeld.
  • Event Kleurconsistentie ($L_{reg-e}$): Omdat eventweergaven geen kleur hebben, dient een grof 3DGS-model getraind op RGB-afbeeldingen als referentie. Deze regularisator zorgt ervoor dat de renderings van eventweergaven niet in kleur afwijken, waardoor RGB-kleurinformatie wordt gedistilleerd naar de eventweergaven.

Belangrijkste Bijdragen

1. Nieuw Hoge-Resolutie Asynchroon Systeem: De eerste praktische pijplijn voor hoogwaardige 3D-reconstructie met behulp van een flexibel 1280 × 720 RGB-Event-rig, waarmee de resolutielimieten van eerdere lage-resolutie eventsensoren en de synchronisatiebeperkingen van industriële opstellingen worden overwonnen.
2. Robuust Cross-Domain Algorithmisch Framework:
   • Een pijplijn voor poseschatting met VGGT om het domeinverschil tussen onscherpe RGB- en uit events afgeleide afbeeldingen aan te pakken, waardoor stabiele initialisatie mogelijk is waar COLMAP faalt.
   • Een op maat gemaakt optimalisatieframework met een nieuw Event Structuurverlies om robuust gebruik te maken van hoge-frequentie eventdetails en Consistentieregularisatoren om het verhelpen van onscherpte en kleurschatting te stabiliseren.
3. AsyncEv-Deblur Dataset: Een nieuwe hoge-resolutie RGB-Event dataset vastgelegd met het voorgestelde asynchrone systeem, met diverse scènes met ernstige bewegingsonscherpte en bijbehorende ground truth.

Experimentele Resultaten

De methode werd geëvalueerd op de nieuwe AsyncEv-Deblur dataset en de synthetische Ev-DeblurBlender dataset.

• Prestaties: De aanpak bereikt state-of-the-art prestaties op alle metrieken (PSNR, SSIM, LPIPS) en overtreft aanzienlijk RGB-only methoden (bijv. 3DGS, BAGS, DeblurringGS) en bestaande methoden met event-ondersteuning (bijv. LSENeRF aangepast aan het nieuwe formaat).
• Initialisatie: Ablatiestudies tonen aan dat VGGT-initialisatie succesvol 100% van de frames registreert in uitdagende scenario's met bewegingsonscherpte, terwijl COLMAP faalt om een significant deel van de onscherpe RGB-frames te registreren.
• Componentanalyse: Het verwijderen van het Event Structuurverlies ($L_{struct}$) of de consistentieregularisatoren leidt tot een aanzienlijke daling in prestaties, wat hun noodzaak bevestigt voor het herstellen van fijne details en het voorkomen van kleurverval.
• Vergelijking met 2D-pijplijnen: De end-to-end aanpak overtreft pijplijnen die eerst 2D-deblurring-netwerken toepassen gevolgd door standaard 3DGS aanzienlijk, wat de voordelen van gezamenlijke optimalisatie en multi-view consistentie benadrukt.

Betekenis

Het artikel beweert dat AsyncEvGS effectief de kloof overbrugt tussen hoge-resolutie 3D-opnames en de robuustheid die vereist is voor scenario's met bewegingsonscherpte. Door de behoefte aan hardware-synchronisatie te ontkoppelen en gebruik te maken van hoge-resolutie sensoren, maakt de methode event-ondersteunde 3D-reconstructie haalbaar voor gangbare handheld-apparaten zoals smartphones. Het werk toont aan dat het benutten van de complementaire sterkten van RGB (kleur) en Event (hoge-frequentie beweging) modaliteiten via een gespecialiseerd optimalisatieframework de reconstructie-robustheid en -getrouwheid onder ernstige bewegingsonscherpte aanzienlijk kan verbeteren.