FullCircle: Effortless 3D Reconstruction from Casual 360$^\circ$ Captures

Probleemstelling

Hoewel radiance fields (zoals NeRF en 3D Gaussian Splatting/3DGS) krachtige tools zijn geworden voor fotorealistische 3D-reconstructie, blijft het vastleggen van data in een "casual" (niet-professionele) setting een uitdaging.

• Beperkingen van perspectiefcamera's: Traditionele camera's hebben een smal gezichtsveld (FOV). Om een volledige 3D-scène te reconstrueren, zijn duizenden overlappende foto's nodig, wat tijdrovend is en complexe capture-protocollen vereist.
• Uitdagingen bij 360°-camera's: Hoewel 360°-camera's (met dubbele visiooglenzen) een veel breder gezichtsveld bieden en minder opnames vereisen, introduceren ze een specifiek probleem: de operator (de persoon die de camera vasthoudt) is altijd zichtbaar in de beelden.
• Huidige tekortkomingen: Bestaande methoden voor 360°-reconstructie vereisen vaak speciale capture-protocollen (bijv. de operator moet constant bewegen) of voorverwerking (zoals het "ontwarren" of undistorteren van de beelden). Als de operator stilstaat (wat vaak gebeurt bij casual vastlegging van details), falen robuuste reconstructiemethoden, wat leidt tot ernstige artefacten en een slechte kwaliteit van de reconstructie.

Methodologie: FullCircle

FullCircle is een complete pipeline die 3D-scènes direct reconstrueert uit ruwe 360°-beelden (dubbele visiooglenzen) zonder dat de operator handmatig hoeft te worden verwijderd of dat er speciale capture-regels zijn.

1. Data Capture en Input

• In plaats van gestikte equirectangulaire panorama's te gebruiken, gebruikt FullCircle de ruwe, ongestikte visiooglenzen-beelden (raw fisheye frames).
• Dit vermijdt artefacten die ontstaan door de stitching-proces van de camera-software en behoudt de maximale beeldinformatie.
• De randen van de visiooglenzen worden afgedekt met een masker om optische vervorming en chromatische aberratie te elimineren.

2. Schatting en Maskering van de Operator (Capturer Mask Estimation)
Dit is de kerninnovatie van de paper. Omdat de operator in elk frame zichtbaar is, wordt een twee-staps proces gebruikt om een nauwkeurig masker te genereren:

• Stap 1: Ruwe lokalisatie. Er worden virtuele pinhole-camera-weergaven gegenereerd. Met YOLOv8 wordt de persoon gedetecteerd en met SAMv2 (Segment Anything Model 2) wordt een ruw masker gegenereerd op de locatie van de persoon.
• Stap 2: Synthetische hercentrering. De omni-directionele beelden worden synthetisch "hercentrerd" op de gedetecteerde positie van de operator. Hierdoor bevindt de operator zich in het midden van een nieuwe synthetische visiooglenzen-weergave (een gebied met minimale vervorming).
• Stap 3: Verfijning. SAMv2 wordt opnieuw uitgevoerd op deze hercentrerede beelden met een prompt in het midden. Omdat de operator nu centraal staat en de vervorming minimaal is, levert dit een veel robuuster en consistent masker op dan directe segmentatie op de vervormde randen.
• De gegenereerde maskers worden teruggeprojecteerd naar de originele ruwe visiooglenzen-beelden en gebruikt om de operator te verwijderen tijdens het trainen.

3. Training van het Radiance Field

• De pipeline gebruikt 3D Gaussian Ray Tracing (3DGRT), een extensie van 3DGS die in staat is om niet-pinhole camera's (zoals visiooglenzen) direct te renderen zonder dat de beelden eerst "ontwarp" moeten worden.
• Camera-posities worden geschat met COLMAP op de ruwe visiooglenzen-beelden (met de operator-maskers toegepast om fouten te voorkomen).
• Het model wordt getraind op de ruwe, gemaskerde visiooglenzen-beelden, wat zorgt voor een hogere dekking en betere geometrie dan methoden die werken op ontwarde perspectiefbeelden.

Belangrijkste Bijdragen

1. Robuuste Casual 360° Pipeline: Een werkende pipeline die 3D-scènes kan reconstrueren vanuit handmatige, niet-gecontroleerde 360°-opnames, inclusief het automatisch verwijderen van de operator zonder handmatige ingreep.
2. Gebruik van Ruwe Visiooglenzen-data: Het bewijs dat het trainen op ruwe, ongestikte visiooglenzen-beelden (in plaats van ontwarde panorama's) leidt tot superieure reconstructie-kwaliteit en minder artefacten.
3. Nieuwe Dataset: De introductie van een multi-tiered dataset van 9 scènes (met verschillende moeilijkheidsgraden) opgenomen met een Insta360 X4. Deze dataset bevat ruwe dubbele visiooglenzen-beelden en een "golden test set" (opgenomen met een statief zonder operator) voor eerlijke evaluatie.
4. Efficiënte Segmentatie: Een strategie die bestaande foundation modellen (SAMv2) gebruikt zonder dure hertraining, door gebruik te maken van geometrische transformaties om de operator in een minder vervormd gebied te plaatsen.

Resultaten

De auteurs vergelijken FullCircle met diverse baselines, waaronder standaard 3DGS, robuuste 3DGS-methoden (voor perspectiefcamera's), en gespecialiseerde 360°-methodes.

• Vergelijking Visiooglenzen vs. Perspectief: Experimenten tonen aan dat het gebruik van dubbele visiooglenzen-beelden voor zowel kalibratie als reconstructie leidt tot stabielere geometrie en betere nieuwe weergaven (novel view synthesis), vooral buiten het trainingspad, vergeleken met het simuleren van perspectiefcamera's uit dezelfde data.
• Kwaliteit van Reconstructie: FullCircle overtreft aanzienlijk bestaande methoden (zoals 3DGRT, OmniLocalRF, en NOTG) op zowel PSNR, SSIM als LPIPS metrics.
  • Standaard 3DGRT faalt en reconstrueert de operator als ruis.
  • Bestaande robuuste methoden (zoals SLS-MLP) hebben last van artefacten door het ontwarren van beelden of falen wanneer de operator stilstaat.
  • FullCircle produceert schone, hoogwaardige reconstructies zelfs in uitdagende omgevingen met reflecties en complexe belichting.
• Ablatie Studies: Het tonen aan dat het synthetisch hercentreren van de operator cruciaal is voor de kwaliteit van het masker. Zonder deze stap mist SAMv2 de operator in vervormde gebieden, wat leidt tot reconstructiefouten.

Betekenis en Toekomstperspectief

FullCircle opent de deur naar schaalbare 3D-data-acquisitie. Door de drempel voor het vastleggen van 3D-scènes te verlagen (geen dure apparatuur, geen complexe protocollen, geen handmatige operator-verwijdering), kan er veel meer data worden gegenereerd.

• Dit is essentieel voor het trainen van toekomstige feed-forward reconstructiemodellen die direct 3D-scènes kunnen genereren uit 360°-video's.
• De paper benadrukt dat 360°-camera's, wanneer correct verwerkt, superieur zijn aan perspectiefcamera's voor casual datacollectie vanwege de bredere dekking en betere kalibratie.
• De openbaarmaking van de dataset en de pipeline stimuleert verder onderzoek in robuuste 360°-reconstructie.

Kortom, FullCircle lost het "operator-probleem" op in 360°-reconstructie en bewijst dat casual 360°-opnames een haalbare en superieure route zijn voor het creëren van grote 3D-datasets.