Technische Samenvatting: SurfFill - Aanvulling van LiDAR-puntenwolken via Gaussische Surfel Splatting

1. Probleemstelling

LiDAR-puntenwolken worden algemeen beschouwd als de gouden standaard voor actieve 3D-reconstructie vanwege hun hoge globale consistentie en precisie. Ze lijden echter aan systematische gaten, vooral bij dunne structuren, silhouetten en randen. De primaire oorzaak die is geïdentificeerd, is straaldivergentie: naarmate laserstralen reizen, breidt hun dwarsdoorsnede zich uit, waardoor een enkele straal zowel voorgrond- als achtergrondoppervlakken verlicht nabij geometrische discontinuïteiten. Dit resulteert in "gemengde pixels" (spuriële afstandsmetingen) die vervolgens door voorverwerkingsfilters worden verwijderd als uitbijters.

Consequent missen LiDAR-scans vaak fijne geometrische details. Hoewel op beelden gebaseerde reconstructiemethoden (bijv. Multi-view Stereo, Neural Radiance Fields, Gaussian Splatting) deze details kunnen afleiden uit gebied met veel kenmerken, falen ze vaak in gebieden met weinig kenmerken en missen ze de globale precisie van LiDAR. Bovendien zijn standaard methoden voor vormaanvulling (vaak gebaseerd op deep learning) doorgaans ontworpen voor kleine, objectgerichte scènes (duizenden punten) en hebben ze moeite om te generaliseren naar grootschalige, gebouw-grote LiDAR-datasets met miljoenen punten.

De kernuitdaging is om fotometrische reconstructie te integreren met LiDAR-gegevens om deze gaten op te vullen zonder uitbijters in te voeren of de nauwkeurigheid van goed gescande gebieden te compromitteren.

2. Methodologie: SurfFill

De auteurs stellen SurfFill voor, een op Gaussische surfels gebaseerd schema voor LiDAR-aanvulling. De pijplijn werkt via vier hoofdfasen:

2.1. Heuristiek voor Ambiguïteit en Kartering van Onzekerheid

Om te identificeren waar LiDAR-gegevens ontbreken, analyseert de methode de overgangsgebieden tussen goed gescande gebieden en gaten.

• 3D Ambiguïteitsheuristiek: De auteurs observeren dat terwijl gaten een dichtheid van nul hebben en goed gescande gebieden een hoge dichtheid, de overgangsgebieden (veroorzaakt door straaldivergentie en filtering) een karakteristieke lage maar niet-nul puntendichtheid vertonen. Ze berekenen een ambiguïteitsscore $p(x)$ voor elk punt op basis van het omgekeerde van de lokale k-naaste-buren (KNN)-dichtheid. Hoge ambiguïteitsscores wijzen op overgangsgebieden naast ontbrekende structuren.
• 2D Onzekerheidskaarten: Om het 3D-signaal aan te vullen, schat de methode monocular oppervlaktenormaal uit RGB-afbeeldingen. Grote gradiënten in deze normaal wijzen op geometrische grenzen waar LiDAR-gegevens waarschijnlijk onvolledig zijn. Dit genereert een onzekerheidskaart $U$ om de optimalisatie te sturen.

2.2. Voorverwerking en Initialisatie

• Niet-uniforme Downsampling: De invoer-LiDAR-puntenwolk wordt niet-uniform gedownsampt. Punten met hoge ambiguïteitsscores (overgangsgebieden) worden behouden met hoge dichtheid om te dienen als zaden voor reconstructie. Goed gescande gebieden worden agressief uitgedund om rekenkracht te besparen.
• Initialisatie van Gaussische Surfels: Een Gaussisch surfelmodel wordt geïnitieerd met de gedownsampte punten. De initiële schalen van de Gaussians worden ingesteld op basis van de lokale ambiguïteitsscore om fijnere reconstructie in ambiguïteitsgebieden te bevorderen.

2.3. Gefocuste Optimalisatie van Gaussische Surfels

Het optimalisatieproces is beperkt tot het aanvullen van ontbrekende gebieden in plaats van het opnieuw reconstrueren van de hele scène.

• Adaptieve Dichtheidscontrole (ADC): De standaard ADC-module is aangepast. In plaats van gemiddelde gradiënten in het schermruimte, wordt de maximale gradiënt gebruikt voor splitsen en klonen om beter om te gaan met schaarse RGB-gegevens. Een "was-densified"-vlag houdt nieuwe Gaussians bij.
• Sampling van Trainingsweergaven: Weergaven worden gesampled op basis van het aantal geprojecteerde punten met hoge ambiguïteit, met prioriteit voor afbeeldingen die de gebieden van belang bevatten.
• Verliesfuncties: De objectieve functie combineert standaard fotometrische verliezen met specifieke regularisatoren:
  • Gradiëntverlies ($L_g$): Bevordert randreconstructie.
  • Schaalregularisatie ($R_s$): Voorkomt dat Gaussians te groot worden, zodat fijne details behouden blijven.
  • Gemaskeerde Diepte/Normaalverliezen: Alleen toegepast op ambiguïteitsgebieden om te voorkomen dat fijne structuren in goed gescande gebieden worden gladgestreken.
  • Onzekerheidsmaskering: De onzekerheidskaart $U$ wordt gebruikt om het verlies te wegen, waardoor de optimalisatie wordt gericht op onzekere gebieden.

2.4. Filtering en Sampling

Na training wordt het Gaussische model gefilterd om geldige aanvullingspunten te extraheren:

• Verwijdering van Uitbijters: Gaussians met grote schalen (drijvers) of lage dekking worden verwijderd.
• Filtering op Ambiguïteit: Gaussians die niet zijn verdicht of een lage ambiguïteit hebben (wat aangeeft dat ze zich in goed gescande gebieden bevinden), worden verwijderd.
• Afstandsfiltering: Een kritieke stap waarbij Gaussians worden vergeleken met de originele LiDAR-scan. Punten dichter dan een drempelwaarde ($t_{min} = 0,01$ m) worden verwijderd om het dupliceren van accurate LiDAR-gegevens te voorkomen. Punten verder dan $t_{max}$ worden verwijderd als uitbijters.
• Sampling: Punten worden gesampled uit de gefilterde Gaussians, inclusief sampling tussen naburige Gaussians om gaten in dunne structuren te overbruggen.

2.5. Uitbreiding voor Groot Formaat

Om gebouw-grote scènes (tientallen miljoenen punten) te verwerken, hanteren de auteurs een divide-and-conquer-strategie. De scène wordt onderverdeeld in as-gealigneerde blokken, die elk onafhankelijk worden verwerkt met een subset van camera's en punten. Dit maakt parallelle verwerking op meerdere GPU's mogelijk en omzeilt geheugenbeperkingen van GPU's.

3. Belangrijkste Bijdragen

1. Analyse van LiDAR-artefacten: Identificatie van straaldivergentie als de worteloorzaak van systematische gaten en het voorstellen van een op dichtheid gebaseerde ambiguïteitsheuristiek om overgangsgebieden voor aanvulling te detecteren.
2. Gefocuste Gaussische Surfel Splatting: Integratie van de ambiguïteitsheuristiek in de optimalisatie van Gaussische surfels, met beperkte verdichting, schaalregularisatie en een filterpijplijn die specifiek is ontworpen voor LiDAR-aanvulling.
3. Verwerking op Groot Formaat: Toepassing van een blokkeringsstrategie om de aanvulling van LiDAR-datasets op gebouwschaal (bijv. 73 miljoen punten) binnen haalbare tijdframes mogelijk te maken.
4. Prestaties: Demonstratie van een methode die bestaande reconstructie- en vormaanvullingsmethoden overtreft in zowel synthetische als real-world scenario's.

4. Resultaten

De methode werd geëvalueerd op synthetische scènes (Attic, Kitchen, Museum) en real-world datasets (ScanNet++, Tanks&Temples en eigen opnames).

• Kwantitatieve Prestaties: SurfFill behaalde een gemiddelde Chamfer-afstand van 0,0055 m en een F1-score van 0,9176, wat aanzienlijk beter is dan baselines zoals 2DGS (0,0618 m Chamfer), 3DGS, Neuralangelo en COLMAP.
• Precisie versus Recall: Hoewel COLMAP een vergelijkbare recall behaalde (een vergelijkbaar aantal ontbrekende punten vinden), toonde SurfFill superieure precisie (0,986 vs. 0,789), wat aangeeft dat de gereconstrueerde punten ruimtelijk nauwkeuriger en minder ruisig zijn.
• Kwalitatieve Resultaten: De methode reconstrueerde met succes fijne details zoals hekpalen, stoelpoten en haken die ontbraken in de originele LiDAR-scans. Het introduceerde minimale ruis in goed gescande vlakke gebieden.
• Efficiëntie: De methode verwerkt gebouw-grote scènes in ongeveer 3 uur op een enkele GPU (of ~70 minuten met 6 GPU's), vergeleken met dagen voor sommige NeRF-gebaseerde methoden.
• Ablatiestudies: Het verwijderen van de filterstap verlaagde de F1-score met ongeveer 2,5%, wat het belang ervan benadrukt in het voorkomen van ruis in accurate gebieden. Schaalregularisatie en onzekerheidskaarten waren cruciaal voor het stabiliseren van reconstructie in getextureerde gebieden.

5. Betekenis en Beweringen

De paper beweert dat SurfFill effectief de kloof overbrugt tussen de hoge precisie van LiDAR en de hoge detailrijkdom van fotometrische reconstructie. Door gebruik te maken van de specifieke artefactpatronen van LiDAR (overgangsgebieden) om een gefocuste optimalisatie van Gaussische surfels te sturen, herstelt de methode ontbrekende geometrische structuren zonder de integriteit van de originele scan te compromitteren.

De auteurs benadrukken dat hun aanpak verschilt van directe vormaanvullingsmethoden (die falen op grote schaal) en standaard Gaussian Splatting (die de specifieke beperkingen voor het opvullen van LiDAR-gaten mist). De methode is bijzonder significant voor toepassingen die hoogwaardige, grootschalige 3D-modellen vereisen waarbij LiDAR-gegevens onvolledig zijn vanwege fysieke sensorbeperkingen.

Erkende Beperkingen:

• De methode is afhankelijk van de aanwezigheid van overgangsgebieden; als een structuur volledig zonder spoor is verwijderd, kan deze niet worden hersteld.
• De prestaties verslechteren bij aanzienlijke pose-ruis of in scènes met schaarse weergaveconfiguraties (bijv. de Bridge-scène).
• De methode richt zich niet specifiek op donkere of reflecterende oppervlakken, aangezien fotometrische methoden daar ook moeite mee hebben; het laat deze gebieden correct ongewijzigd in plaats van geometrie te hallucineren.
• Aangevulde punten missen de uniforme afstand van de originele LiDAR-voorverwerking en kunnen visueel ruisiger lijken, hoewel ze geometrisch accuraat zijn.