LoGoColor: Local-Global 3D Colorization for 360° Scenes

LoGoColor introduceert een lokaal-globale aanpak die de kleurdiversiteit in complexe 360°-scènes behoudt door de scène te partitioneren en een fijngefineerd multi-view diffusiemodel te gebruiken om strikte consistentie tussen en binnen subscènes te garanderen, waardoor de gemiddelde en saaie resultaten van bestaande methoden worden vermeden.

De kern

Stel je voor dat je een 3D-ruimte bouwt, zoals een virtueel wereldje voor Virtual Reality. Vaak beginnen deze projecten met alleen maar grijze foto's (zoals van een nachtzichtcamera of een röntgenfoto). De computer kan hieruit heel goed de vorm en diepte van de wereld halen, maar het resultaat is een saaie, grijze sculptuur. Om het echt mooi te maken, moet je het inkleuren.

Het probleem is dat eerdere methoden voor het inkleuren van zo'n 3D-wereld vaak leidden tot een "grijze modder" van kleuren. Waarom? Omdat ze te veel vertrouwden op een slimme, maar soms verwarde, 2D-kleuren-machine.

Hier is hoe LoGoColor dit oplost, vertaald in een simpel verhaal:

1. Het Probleem: De "Gemiddelde" Kleur

Stel je voor dat je een groep vrienden vraagt om een foto van een boom te kleuren.

• De oude methode: Je geeft elke vriend een foto, laat ze kleuren, en plakt daarna alle 50 foto's op elkaar. Omdat vriend A de boom groen vindt en vriend B geel, wordt het resultaat op de plek waar ze samenkomen een saaie, modderige olijfgroen. De computer "middelt" alle kleuren weg. Het resultaat is eentonig en saai, vooral in complexe 360-graden scènes met veel details.

2. De Oplossing: LoGoColor (Lokaal & Globaal)

LoGoColor zegt: "Nee, we gaan niet alles in één grote pot gooien. We gaan slim werken." Ze gebruiken een Lokaal-Globaal strategie.

Stap 1: De Wereld in Kamers Verdelen (Lokaal)

In plaats van de hele 3D-wereld in één keer te kleuren, knippen ze de wereld op in kleinere stukjes, net als kamers in een groot huis.

• De Analogie: Stel je een enorme bibliotheek voor. In plaats van één persoon te vragen om alle boeken in de hele bibliotheek te beschrijven, geef je elke kamer een eigen "schilder".
• De computer kiest slimme "basisfoto's" voor elke kamer. Deze schilder (een AI) kleurt die ene foto heel gedetailleerd en levendig in, zonder dat hij zich druk hoeft te maken om de rest van de wereld. Hierdoor blijven de kleuren fris en divers.

Stap 2: De Coördinator (Globaal)

Nu hebben we een paar prachtige, kleurrijke kamers, maar ze praten niet met elkaar. De deur in kamer A is misschien rood, terwijl de deur in kamer B (die eigenlijk dezelfde deur is) blauw is. Dat ziet er raar uit.

• De Analogie: Hier komt de "Hoofdcoördinator" (een speciaal getrainde AI) om de hoek kijken. Deze coördinator kijkt naar alle gekleurde kamers en zegt: "Hé, wacht even, die deur is overal dezelfde. Laten we de kleuren op elkaar afstemmen."
• De coördinator zorgt ervoor dat de kleuren consistent zijn over de hele wereld, zonder dat ze weer gemiddeld worden tot een saaie kleur. Ze vinden een balans: "Ja, de boom is groen, maar die specifieke vrucht is rood, en dat moet overal zo blijven."

Stap 3: Het Resultaat

Uiteindelijk heb je een 3D-wereld die eruitziet als een echte, levendige plek.

• Vroeger: Een saaie, grijze wereld waar kleine details (zoals een blauw etiket op een plant of een felgekleurd bordje) verdwenen waren in een modderige massa.
• Nu: Je ziet de details scherp. De vruchten in de tuin zijn echt rood, het bordje is blauw, en als je rondkijkt (360 graden), kloppen de kleuren overal.

Waarom is dit belangrijk?

Dit is een doorbraak voor toepassingen zoals VR en AR. Als je een virtuele wereld wilt bezoeken, wil je geen saaie grijze wereld zien, maar een wereld die eruitziet als de echte wereld, met alle kleuren en details. LoGoColor zorgt ervoor dat de computer niet "slap" wordt door te veel te middelen, maar juist "wakker" en creatief blijft, terwijl het toch precies blijft kloppen.

Kort samengevat: LoGoColor is als een team van schilders die eerst elk hun eigen stuk van het schilderij perfect en kleurrijk maken, en daarna een slimme manager die zorgt dat de randjes perfect aansluiten, zonder dat de mooie kleuren weer saai worden.

Technische samenvatting

Probleemstelling

De huidige staat van de techniek in 3D-reconstructie, aangedreven door methoden zoals Neural Radiance Fields (NeRF) en 3D Gaussian Splatting (3DGS), maakt het mogelijk om hoogwaardige geometrie te reconstrueren uit enkelvoudige kanaalbeelden (zoals thermische beelden, infrarood of röntgenstraling). Een groot nadeel van deze methoden is dat de resulterende 3D-modellen doorgaans ongekleurd zijn, wat de visualisatie en toepasbaarheid in VR/AR beperkt.

Bestaande methoden voor 3D-kleuring proberen dit probleem op te lossen door 2D-beeldkleuringsmodellen te distilleren. Echter, deze benaderingen lijden onder een fundamenteel probleem: inconsistentie tussen verschillende weergaven. Omdat 2D-modellen per afbeelding werken, leveren ze vaak tegenstrijdige kleuren op voor hetzelfde object vanuit verschillende hoeken. Om consistentie te bereiken, middelen bestaande methoden deze output tijdens het trainingsproces. Dit "middelen-effect" (averaging) leidt tot monotoon, vereenvoudigd en vaak onrealistisch gekleurde resultaten, vooral in complexe 360°-scènes met veel verschillende objecten en details.

Methodologie: LoGoColor

De auteurs stellen LoGoColor voor, een pipeline die de "Local-Global" aanpak gebruikt om kleurdiversiteit te behouden terwijl strikte multi-view consistentie wordt gewaarborgd, zonder te vertrouwen op het middelen van 2D-modellen.

Het proces verloopt in de volgende stappen:

1. Enkelkanaals 3D-Reconstructie:
   Eerst wordt de geometrie van de scène gereconstrueerd uit de inputbeelden (enkelkanaals) met behulp van 3D Gaussian Splatting (3DGS). In plaats van kleurcoëfficiënten, worden hierbij enkel luminantie-coëfficiënten geoptimaliseerd om een nauwkeurig geometrisch fundament te leggen.

2. Op basis van Weergave Subscène Decompositie (View-based Subscene Decomposition):
   De volledige 360°-scène wordt opgedeeld in kleinere subscènes. Dit gebeurt via een gretige algoritme dat camera-posities (base views) selecteert die:

   • Een maximale dekking van de scène garanderen.
   • Een minimale overlap tussen de subscènes hebben.
     Dit minimaliseert de complexiteit en helpt bij het beheersen van inconsistenties.

3. Fine-tuning van een Multi-view Diffusiemodel:
   De auteurs fine-tunen een diffusiemodel (gebaseerd op SD-Turbo en pix2pix-Turbo) dat is aangepast voor multi-view referenties. Dit model kan de kleur van een referentiebeeld toepassen op een enkelkanaals invoerbeeld, terwijl het de structuur behoudt. Cruciaal is dat het model multi-view referentie gebruikt via een "reference mixing layer", waardoor het rekening houdt met kleuren uit meerdere hoeken tegelijk.

4. Global Consistency Calibration (Inter-subscène consistentie):
   Elke subscène krijgt een "base view" die eerst wordt gekleurd met een standaard 2D-kleuringsmodel. Omdat deze onafhankelijk zijn gekleurd, zijn ze globaal inconsistent. Om dit op te lossen, worden deze base views door het fine-getunte multi-view diffusiemodel gehaald. Het model genereert een consistentere versie door de kleurinformatie van alle andere base views te gebruiken als referentie. Dit creëert een set van globaal consistente referentiebeelden.

5. Local Color Propagation (Intra-subscène consistentie):
   De globaal gekalibreerde base views dienen als kleurreferentie voor het kleuren van alle overige trainingsweergaven binnen elke subscène. Het diffusiemodel past de kleuren toe op de trainingsweergaven door te refereren aan de gekalibreerde base views. Dit zorgt voor consistentie binnen de subscène én tussen de subscènes.

6. Finalisatie:
   De gegenereerde, volledig consistente gekleurde beelden worden gebruikt als "pseudo-ground truth" om de kleurcomponenten van de 3D-Gaussianen te optimaliseren, terwijl de geometrie (x, q, s, α) bevroren blijft.

Belangrijkste Bijdragen

• Oplossing voor het "Averaging"-probleem: LoGoColor vermijdt het middelen van 2D-modeloutput, wat leidt tot monotoon resultaat. In plaats daarvan wordt een nieuwe set van consistent gekleurde trainingsweergaven gegenereerd.
• Local-Global Architectuur: Een innovatieve opdeling van de scène in subscènes met expliciete behandeling van zowel inter-subscène (globaal) als intra-subscène (lokaal) consistentie.
• Multi-view Diffusiemodel: Een aangepast diffusiemodel dat multi-view referenties gebruikt om kleurconsistentie te garanderen zonder de geometrische structuur te verliezen.
• Robuustheid voor Enkelkanaals Data: De methode werkt niet alleen voor grijstinten, maar is ook toepasbaar op andere enkelkanaals modaliteiten zoals Near-Infrared (NIR) en thermische beelden.

Resultaten

De methode is getest op diverse datasets, waaronder LLFF (forward-facing), Mip-NeRF 360, Tanks and Temples en DL3DV.

• Kwalitatieve Resultaten: LoGoColor produceert veel rijkere en gedetailleerdere kleuren dan bestaande methoden (zoals ColorNeRF, ChromaDistill). Het slaagt erin om kleine objecten (zoals fruit, borden, bladeren) correct en consistent te kleuren, terwijl concurrenten vaak deze details "wegmiddelen" tot een egaal kleurvlak.
• Kwantitatieve Resultaten:
  • Kleurdiversiteit: De methode scoort significant hoger op nColorfulness (genormaliseerde kleurrijkheid), wat aantoont dat de kleuren diverser zijn en niet door een dominante tint worden overschaduwd.
  • Consistentie: De methode behoudt een hoge mate van korte- en langetermijnconsistentie (SC en LC), vergelijkbaar met of beter dan de beste bestaande methoden.
  • Plausibiliteit: De FID-scores (Fréchet Inception Distance) tonen aan dat de gegenereerde beelden visueel plausibel zijn.
• Ablatie Studies: Experimenten bevestigen dat zowel de global calibration stap als het gebruik van multi-view referenties essentieel zijn voor de prestaties. De keuze van 4 subscènes (K=4) bleek de optimale balans tussen kleurdiversiteit en rekentijd.

Betekenis

LoGoColor is een doorbraak voor de visualisatie van 3D-scènes die zijn gereconstrueerd uit niet-visuele of enkelkanaals data (zoals in de medische beeldvorming, nachtzicht of robotica). Door het probleem van kleurconsistentie op te lossen zonder kleurdiversiteit op te offeren, maakt deze methode 3D-reconstructies veel bruikbaarder voor toepassingen in Virtual Reality (VR) en Augmented Reality (AR), waar realisme en detail cruciaal zijn. Het bewijst dat het mogelijk is om complexe 360°-scènes te kleuren met een rijk palet aan kleuren, zelfs wanneer de inputdata geen kleurinformatie bevat.