MUGSQA: Novel Multi-Uncertainty-Based Gaussian Splatting Quality Assessment Method, Dataset, and Benchmarks

Dit artikel introduceert MUGSQA, een nieuwe methode, dataset en benchmarks voor de kwaliteitsbeoordeling van 3D-reconstructies met Gaussian Splatting, waarbij rekening wordt gehouden met meerdere onzekerheden in de invoergegevens om de perceptuele kwaliteit nauwkeuriger te evalueren.

De kern

Stel je voor dat je een 3D-figuurtje wilt maken, zoals een pop of een auto, voor in een virtuele wereld. Vroeger duurde dat lang en zag het er vaak wat ruw uit. Maar nu is er een nieuwe techniek, genaamd Gaussian Splatting (laten we het "3D-verf" noemen). Deze techniek is razendsnel en maakt prachtige, scherpe beelden.

Het probleem? Omdat er nu zo veel verschillende manieren zijn om deze "3D-verf" te gebruiken, weten we niet welke methode het beste werkt. En nog belangrijker: we weten niet hoe goed ze werken als de input niet perfect is.

Hier komt dit onderzoek, MUGSQA, om de hoek kijken. Het is als een grote, eerlijke test voor deze nieuwe 3D-technieken. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Slechte Ingrediënten"-test

Stel je voor dat je een taart wilt bakken. Sommige bakkers gebruiken alleen de beste bloem en eieren (perfecte data), maar in het echte leven heb je soms minder bloem, of eieren die niet helemaal vers zijn, of je staat te koken in een donkere kamer (slechte verlichting).

In de 3D-wereld zijn dit de "onzekerheden":

• Te weinig foto's: Je hebt maar een paar foto's van het object in plaats van honderden.
• Slechte kwaliteit: De foto's zijn wazig of klein.
• Te ver weg: Je kijkt naar het object van veraf, in plaats van van dichtbij.
• Verkeerde start: Je begint met een ruwe schets in plaats van een perfect model.

De vraag is: Welke bakker (welke 3D-methode) maakt nog steeds een lekkere taart, zelfs als de ingrediënten niet perfect zijn?

2. De Oplossing: Een Reusachtige Keukentest (Het Dataset)

De onderzoekers hebben een enorme database gemaakt, genaamd MUGSQA.

• Ze hebben 55 verschillende 3D-objecten (van een vaas tot een robot) geselecteerd.
• Ze hebben deze objecten "verpest" op 54 verschillende manieren (bijvoorbeeld: "neem maar 9 foto's in plaats van 72" of "maak de foto's wazig").
• Vervolgens lieten ze 6 verschillende 3D-methode-bakkers proberen om deze objecten opnieuw te maken.

Het resultaat? Duizenden 3D-modellen die variëren van "prachtig" tot "vrijwel onherkenbaar".

3. De Jury: Mensen kijken echt rond (Subjectieve Test)

Bij de meeste tests kijken mensen alleen naar één statisch plaatje. Maar in de echte wereld draai je om een object heen en loop je eromheen.

• De innovatie: De onderzoekers lieten 2.452 mensen (via internet) naar de 3D-objecten kijken.
• De truc: Ze lieten de mensen niet alleen van één kant kijken, maar ze draaiden eromheen en liepen er zelfs van dichtbij naar veraf bij. Dit is alsof je een schilderij niet alleen van voren bekijkt, maar ook van opzij en van bovenaf, om te zien of het beeld nog steeds mooi blijft.
• Het resultaat: Meer dan 226.000 beoordelingen. Mensen gaven een cijfer van 0 tot 100: "Hoe mooi ziet dit eruit?"

4. De Resultaten: Wie wint de wedstrijd?

De onderzoekers hebben twee dingen gedaan met deze data:

A. De Bakkers vergelijken (Robuustheid)
Ze keken welke 3D-methode het minst last had van de "slechte ingrediënten".

• De winnaars: Methoden zoals Mip-Splatting en 3DGS bleken het meest stabiel. Zelfs als je ze met slechte foto's of van veraf liet werken, maakten ze nog steeds acceptabele resultaten.
• De verliezers: Sommige methoden, die goed zijn voor hele grote landschappen, faalden volledig bij het reconstrueren van losse objecten. Het was alsof je een truckchauffeur vraagt om een raceauto te besturen; het werkt niet goed in die situatie.

B. De Scorebord-check (Kwaliteitstests)
Vervolgens keken ze naar de oude manieren om 3D-kwaliteit te meten (de "rekenmachine-tests").

• Het nieuws: De oude rekenmachines faalden. Ze konden vaak niet goed zien wat mensen mooi vonden. Soms gaven ze een hoge score aan een wazig beeld en een lage score aan een scherp beeld.
• De les: We hebben nieuwe, slimme rekenmachines nodig die specifiek zijn ontworpen voor deze nieuwe "3D-verf" techniek. De oude regels gelden hier niet meer.

Samenvatting in één zin

Dit paper is als het organiseren van een groot, eerlijk kokend-wedstrijd waar je kijkt welke koks het beste kunnen koken met slechte ingrediënten, en je ontdekt dat de oude smaaktesten (de meetinstrumenten) eigenlijk niet meer werken voor deze nieuwe gerechten.

Waarom is dit belangrijk?
Omdat we nu eindelijk weten welke technologie we kunnen vertrouwen als we 3D-objecten maken voor games, virtual reality of digitale archieven, zelfs als we niet de perfecte camera's of foto's hebben. En we weten dat we nieuwe manieren moeten bedenken om de kwaliteit te meten.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "MUGSQA: NOVEL MULTI-UNCERTAINTY-BASED GAUSSIAN SPLATTING QUALITY ASSESSMENT METHOD, DATASET, AND BENCHMARKS" in het Nederlands.

Probleemstelling

Hoewel Gaussian Splatting (GS) een veelbelovende techniek is geworden voor 3D-reconstructie vanwege de hoge renderingkwaliteit en snelheid, blijft het beoordelen van de perceptuele kwaliteit van gereconstrueerde objecten een uitdaging. Bestaande kwaliteitsbeoordelingsmethoden en datasets hebben twee fundamentele tekortkomingen:

1. Onvoldoende focus op invoeronzekerheden: Bestaande datasets richten zich voornamelijk op compressie-artefacten, terwijl in de praktijk veel vaker vervormingen ontstaan door onzekerheden in de invoerdata (zoals een beperkt aantal weergaven, lage resolutie, variabele afstanden en onnauwkeurige initiële point clouds).
2. Verouderde beoordelingsmethodes: Bestaande Subjective Quality Assessment (SQA) methodes tonen 3D-objecten vaak vanuit een vaste hoek of op één afstand. Dit weerspiegelt niet het dynamische kijkgedrag van gebruikers in interactieve of immersive scenario's, waar objecten vanuit verschillende afstanden en hoeken worden bekeken.
3. Gebrek aan benchmarks: Er ontbreken gestandaardiseerde benchmarks om zowel de robuustheid van reconstructiemethoden onder deze onzekerheden als de prestaties van bestaande objectieve kwaliteitsmetrieken te evalueren.

Methodologie

De auteurs introduceren een geïntegreerde aanpak bestaande uit een nieuwe dataset, een uniek SQA-protocol en twee benchmarks.

1. Datapreparatie en MUGSQA Dataset:

• Bronmodellen: Er zijn 55 complexe 3D-mesh-modellen (OBJ-formaat) geselecteerd als ground truth. Het gebruik van synthetische modellen in plaats van 2D-captures elimineert interferentie van meerdere objecten en zorgt voor gecontroleerde vervormingsanalyse.
• Simulatie van Onzekerheden: Tijdens het renderen van de invoerdata (in Blender) worden vier soorten onzekerheden systematisch gevarieerd, wat resulteert in 54 unieke combinaties:
  • Resolutie: 1080x1080, 720x720, 480x480.
  • Aantal weergaven: 72 (dicht), 36 (standaard), 9 (spaars).
  • Afstand tot object: 5m (ver), 2m (gemiddeld), 1m (dichtbij).
  • Initialisatie point cloud: Willekeurig gesamplede punten van het oppervlak of de volledige scène (ideaal vs. ruis).
• Reconstructie: Er worden 6 verschillende GS-methoden gebruikt (o.a. 3DGS, LightGaussian, Mip-Splatting, Scaffold-GS, EAGLES, Octree-GS) om de modellen te reconstrueren.
• Datasetomvang: De dataset bevat in totaal 2.414 gereconstrueerde modellen (1.970 uit de hoofdset + 444 uit de additionele set) in PLY-formaat, vergezeld van video's en afbeeldingen.

2. Unificatie Multi-Afstand SQA Methode:

• Om het menselijk kijkgedrag beter na te bootsen, wordt een uniek SQA-protocol voorgesteld waarbij waarnemers objecten dynamisch bekijken.
• In plaats van een statische weergave, worden video's gegenereerd waarin de kijkafstand ($d$) varieert als functie van de rotatiehoek ($\theta$) volgens een driehoeksgolf-functie (variërend tussen 1,2m, 1,5m en 1,8m).
• Dit resulteert in video's van 180 frames (30 FPS) die drie volledige rotatiecycli omvatten.

3. Subjectief Experiment:

• Een crowdsourced experiment via MTurk met 2.452 deelnemers.
• Deelnemers beoordelen de kwaliteit van "vervormde" video's ten opzichte van een referentievideo op een schaal van 0-100.
• Na strenge filtering (training scores, verdeling van scores, Golden Units) zijn er 226.800 geldige scores verzameld, wat resulteert in betrouwbare Mean Opinion Scores (MOS).

Belangrijkste Bijdragen

1. MUGSQA Dataset: Een grote, schaalbare dataset voor 3D-Gaussian Splatting die rekening houdt met meerdere invoeronzekerheden en diverse reconstructiemethoden.
2. Unificatie Multi-Afstand SQA: Een nieuwe methode voor subjectieve kwaliteitsbeoordeling die dynamisch kijken nabootst, in plaats van statische weergaven.
3. Twee Nieuwe Benchmarks:
   • Een benchmark om de robuustheid van GS-reconstructiemethoden te evalueren onder diverse onzekerheden.
   • Een benchmark om de prestaties van bestaande objectieve kwaliteitsmetrieken (IQA) voor GS-objecten te testen.
4. Open Source: De dataset en code zijn beschikbaar gesteld om de standaardisering van GSQA te bevorderen.

Resultaten

1. Robuustheid van Reconstructiemethoden:

• De auteurs definiëren een "Robuustheidsscore" ($R_{overall}$) die stabiliteit, consistentie en prestatie combineert.
• Mip-Splatting behaalde de hoogste algehele robuustheid.
• 3DGS, EAGLES en LightGaussian presteerden ook sterk.
• Methoden die specifiek zijn ontworpen voor grote scènes (zoals Octree-GS en Scaffold-GS) presteerden minder goed bij de reconstructie van individuele objecten, wat suggereert dat schaaloptimalisaties en trainingstrategieën cruciaal zijn voor objectreconstructie.

2. Prestaties van Objectieve Metrieken:

• Er werden 16 bestaande Image Quality Assessment (IQA) metrieken getest (zowel Full-Reference als No-Reference).
• Resultaat: De meeste traditionele 2D-metrieken (zoals PSNR, SSIM, en zelfs LPIPS) presteerden slecht in het voorspellen van de menselijke beoordeling van GS-objecten. De correlatiecoëfficiënten (PLCC, SROCC) waren laag.
• Oorzaken: Factoren zoals纯色 achtergronden, de aard van de GS-distorsie, en het feit dat pre-getrainde DNN's niet zijn afgestemd op Gaussische splats, leiden tot deze lage correlaties.
• Uitzondering: De DBCNN (een deep learning-based No-Reference metriek) presteerde goed na fijnafstemming, wat aantoont dat deep learning essentieel is voor nauwkeurige kwaliteitsbeoordeling in dit domein.
• Conclusie: Bestaande 2D-metrieken zijn ontoereikend; er zijn nieuwe, specifiek voor GS ontworpen metrieken nodig.

Betekenis en Impact

Dit paper vult een kritieke lacune in het onderzoeksveld van 3D-reconstructie. Door de introductie van MUGSQA en de bijbehorende benchmarks:

• Wordt een gestandaardiseerde manier geboden om verschillende GS-methoden eerlijk te vergelijken onder realistische, onzekere omstandigheden.
• Wordt duidelijk gemaakt dat huidige objectieve kwaliteitsmetrieken falen voor deze nieuwe 3D-modus, wat een dringende oproep is voor de ontwikkeling van nieuwe, GS-specifieke metrieken.
• Bevordert het de ontwikkeling van robuustere reconstructiealgoritmen die beter bestand zijn tegen variaties in invoerdata, wat essentieel is voor praktische toepassingen in AR/VR en digitale tweelingen.