MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting

Dit paper introduceert MoE-GS, een unificerend framework voor dynamische 3D Gaussian Splatting dat gebruikmaakt van een volume-bewuste pixelrouter om meerdere deskundigen te combineren voor superieure nieuwe weergavesynthese, terwijl tegelijkertijd efficiëntie wordt verbeterd via multi-expert rendering en distillatie.

De kern

Stel je voor dat je een film wilt maken van een levendige markt: mensen lopen, fruit wordt gesneden, vlammen dansen. Om dit in 3D te reconstrueren voor een virtuele bril, heb je een heel slim computerprogramma nodig.

Vroeger hadden we één "superheld" die probeerde alles te doen. Maar zoals in het echte leven: niemand is goed in alles. Soms is de superheld geweldig in het vastleggen van een rustige wandeling, maar faalt hij als er plotseling iemand hard wegrent of als er vuurwerk afgevuurd wordt.

Dit is precies het probleem dat de onderzoekers van MoE-GS hebben opgelost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Alles-in-één" Superheld faalt

Stel je voor dat je één enkele schilder hebt die elke scène moet schilderen.

• Als de scène rustig is (bijv. een stil landschap), is hij fantastisch.
• Maar als er chaos is (bijv. een dansende menigte), wordt zijn werk rommelig en onnauwkeurig.

De onderzoekers ontdekten dat verschillende bestaande methoden (de "schilders") elk hun eigen sterkte hebben. De ene is goed in snelle bewegingen, de andere in gladde, vloeiende bewegingen, en weer een andere in complexe, chaotische bewegingen. Maar geen enkele methode kon alle situaties perfect aan.

2. De Oplossing: Een "Meesterschaps-Team" (Mixture of Experts)

In plaats van één schilder, bouwen ze een team van specialisten. Dit noemen ze Mixture of Experts (MoE).

• Expert A is de meester in snelle bewegingen.
• Expert B is de meester in gladde, vloeiende bewegingen.
• Expert C is de meester in complexe, chaotische bewegingen.

In plaats dat het team samen één schilderij maakt, kiezen ze per stukje van het schilderij welk expert het beste is.

3. De Regisseur: De "Slimme Router"

Nu komt de magische uitvinding: de Volume-aware Pixel Router.
Stel je voor dat deze router een slimme regisseur is die op de set staat. Hij kijkt niet alleen naar het beeld, maar ook naar de diepte en de beweging in de ruimte (de "volume").

• Hoe werkt het?
  De regisseur kijkt naar een klein stukje van het beeld (een pixel).
  • Ziet hij iemand die hard wegrent? Dan roept hij: "Expert A, jij doet dit stukje!"
  • Ziet hij een rustig, golvend doek? Dan roept hij: "Expert B, jij bent hier de beste!"
  • Ziet hij een explosie van vuur? Dan zegt hij: "Expert C, pak het over!"

Het bijzondere is dat deze regisseur heel snel schakelt. Soms binnen één seconde wisselt hij van expert, en soms zelfs binnen één beeld. Hij zorgt ervoor dat het eindresultaat naadloos overgaat, alsof het door één persoon is gemaakt, terwijl het eigenlijk een samenvoeging is van de beste delen van drie verschillende experts.

4. Het Grote Nadeel en de Oplossing: "Te veel werk"

Het probleem met een team van experts is dat het veel rekenkracht kost. Je moet immers drie verschillende programma's tegelijk laten draaien. Dat is alsof je drie mensen betaalt om één taak te doen; het wordt duur en traag.

De onderzoekers hebben twee slimme trucs bedacht om dit op te lossen:

• Truc 1: De "Gemeenschappelijke Bus" (Single-Pass Rendering)
  In plaats dat elke expert zijn eigen bus neemt naar de werkplek (wat veel brandstof kost), laten ze alle experts in één grote bus stappen. Ze reizen samen en werken efficiënter. Dit versnelt het proces enorm.

• Truc 2: De "Leerling" (Distillatie)
  Dit is misschien wel de coolste truc. Stel je voor dat je een meesterkok hebt die samenwerkt met twee andere chefs. Na een tijdje heeft de meesterkok zo veel geleerd van de samenwerking, dat hij zelf ook de technieken van de anderen beheerst.
  De onderzoekers laten het team (MoE) werken, en dan "leren" ze de individuele experts (de leerlingen) om het werk van het hele team na te bootsen.

  • Resultaat: Uiteindelijk kun je de meesterkok (het team) wegsturen en alleen de leerling houden. De leerling is nu bijna net zo goed als het hele team, maar werkt veel sneller en kost minder energie.

Waarom is dit belangrijk?

Vroeger moesten we kiezen tussen "snel maar kwalitatief minder goed" of "langzaam en perfect". Met MoE-GS krijgen we het beste van beide werelden:

1. Hoge kwaliteit: Omdat het systeem weet welke specialist het beste is voor elke situatie.
2. Snelheid: Dankzij de slimme regisseur en de leerling-truc.

Kortom: Ze hebben een systeem bedacht dat zichzelf aanpast aan de chaos van de echte wereld, net als een ervaren regisseur die weet wie hij moet sturen om het perfecte shot te krijgen, zonder dat het de hele studio platlegt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "MoE-GS: Mixture of Experts for Dynamic Gaussian Splatting", gepubliceerd bij ICLR 2026, in het Nederlands.

Probleemstelling

De reconstructie van dynamische scènes uit real-world data is een fundamentele uitdaging voor toepassingen zoals ruimtelijk computing en AGI. Hoewel 3D Gaussian Splatting (3DGS) real-time rendering mogelijk maakt voor statische scènes, presteren bestaande methoden voor dynamische scènes inconsistent.

De auteurs identificeren drie kritieke beperkingen in de huidige staat der kunst (SOTA):

1. Scène-niveau variatie: Geen enkele methode presteert consistent het beste over alle verschillende scènes.
2. Ruimtelijke inconsistentie: Binnen één scène presteren verschillende methoden beter in verschillende ruimtelijke gebieden (bijv. één model werkt goed voor statische achtergronden, een ander voor snelle beweging).
3. Temporele fluctuaties: De beste presterende methode verandert dynamisch per frame binnen dezelfde scène.

Deze variatie ontstaat omdat elke bestaande dynamische GS-methode een specifieke inductieve bias heeft (bijv. polynoomtrajecten, interpolatie, of hex-plaatsdeformatie) die slechts geschikt is voor een bepaald type beweging. Real-world scènes bevatten echter een mix van deze bewegingspatronen, waardoor geen enkel enkelvoudig model optimaal kan zijn.

Methodologie: MoE-GS

Om deze beperkingen te overwinnen, stellen de auteurs MoE-GS (Mixture of Experts for Dynamic Gaussian Splatting) voor. Dit is het eerste raamwerk dat de "Mixture of Experts" (MoE) architectuur toepast op dynamische Gaussian Splatting. In tegenstelling tot MoE in grote taalmodellen (die gericht is op het verminderen van FLOPs), is MoE-GS ontworpen om de representatiecapaciteit te vergroten en de reconstructiekwaliteit te verbeteren door heterogene deformatie-priors te combineren.

Het raamwerk bestaat uit twee hoofdfasen:

1. De Experts

Het systeem integreert meerdere bestaande dynamische GS-modellen als "experts", elk met een unieke deformatiestrategie:

• HexPlane-based (bijv. 4DGaussians): Goed voor gladde, geregulariseerde trajecten.
• Per-Gaussian volumetric (bijv. E-D3DGS): Goed voor snelle, coherente stromen.
• Polynomial trajectory (bijv. STG): Goed voor globaal gladde, laag-kromming beweging.
• Interpolation-based (bijv. Ex4DGS): Goed voor lokaal diverse en onregelmatige trajecten.

2. De Volume-aware Pixel Router

Het kerninnovatiepunt is de Volume-aware Pixel Router. In plaats van gewichten toe te wijzen puur op pixelniveau (wat de 3D-structuur negeert) of puur op Gaussian-niveau (wat moeilijk te optimaliseren is), projecteert deze router de beslissingen van de Gaussians naar de pixelruimte via differentieerbare weight splatting.

• Werkingsprincipe: Elke 3D-Gaussian heeft leerbare gewichten die tijds- en kijkrichtingsafhankelijke variaties coderen. Deze gewichten worden via de rasterizer "gesplat" naar het 2D-beeld.
• Resultaat: Een per-pixel gewicht dat adaptief de output van de experts mengt, waarbij rekening wordt gehouden met de onderliggende 3D-geometrie. Dit zorgt voor ruimtelijke en temporeel coherente resultaten.

3. Training Strategie

Om stabiliteit te garanderen, wordt een twee-staps training gebruikt:

1. Stage 1: Elke expert wordt onafhankelijk getraind tot convergentie.
2. Stage 2: De expert-parameters worden bevroren en alleen de Router wordt getraind om de experts optimaal te mengen.

Efficiëntie-verbeteringen

Omdat het gebruik van meerdere experts de rekentijd en het geheugenverbruik verhoogt, introduceren de auteurs twee strategieën om dit te mitigeren:

1. Single-Pass Multi-Expert Rendering: In plaats van elke expert apart te rasteriseren (wat leidt tot herhaalde projectieberekeningen), worden alle Gaussians van alle experts gebundeld in één batch. De rasterizer berekent de zichtbaarheid en projectie slechts één keer, waarna de expert-specifieke kleuren worden gescheiden tijdens de alpha-blending.
2. Gate-Aware Gaussian Pruning: Gaussians die een verwaarloosbare bijdrage leveren aan de uiteindelijke afbeelding (gebaseerd op de gradienten van de gating weights) worden progressief verwijderd. Dit verkleint het model zonder visuele kwaliteit te verliezen.
3. Distillatie: Voor zeer lichte implementaties wordt een kennisdistillatie-strategie gebruikt. Een enkel expert-model wordt getraind met "pseudo-ground truth" gegenereerd door het volledige MoE-model. Hierdoor kan een enkel model bijna de prestaties van het volledige ensemble bereiken zonder de architectuur te veranderen.

Resultaten

De auteurs evalueren MoE-GS op de N3V en Technicolor datasets, evenals op monocular datasets (HyperNeRF).

• Kwaliteit: MoE-GS presteert consequent beter dan de bestaande SOTA-methoden (zoals 4DGaussians, E-D3DGS, STG, Ex4DGS) op alle datasets. Het bereikt een hogere PSNR, SSIM en lagere LPIPS scores.
• Generalisatie: Het model toont sterke generalisatie over diverse scènes en bewegingstypen, wat bevestigt dat het adaptief de juiste expert kan selecteren.
• Efficiëntie: Met de "Single-Pass" en "Pruning" technieken wordt de FPS aanzienlijk verbeterd en het geheugenverbruik verlaagd, terwijl de PSNR hoog blijft.
• Geometrische consistentie: Analyse van de "Multi-view Depth Consistency" toont aan dat de gefuseerde 3D-structuur van MoE-GS geometrisch consistenter is dan die van individuele methoden.
• Ablatie: Experimenten tonen aan dat de "Volume-aware Pixel Router" superieur is aan zowel puur pixel- als puur volume-based routers. Ook blijkt dat MoE-GS effectief blijft zelfs als de experts met een beperkt trainingsbudget (bijv. 20% van de tijd) worden getraind.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Eerste MoE-toepassing in Dynamic GS: Het introduceert een uniek raamwerk dat meerdere dynamische modellen combineert via een MoE-architectuur.
2. Volume-aware Pixel Router: Een innovatieve router die 3D-geometrische context behoudt tijdens het mengen van experts in 2D-pixelruimte, wat leidt tot stabielere optimalisatie.
3. Efficiënte Implementatie: Het biedt praktische oplossingen (Single-Pass rendering, Pruning, Distillatie) om de rekentijd van multi-expert systemen beheersbaar te houden.
4. Scalabiliteit: Het bewijst dat het combineren van complementaire deformatie-priors leidt tot robuustere en hogere kwaliteit reconstructies dan enige enkele methode, wat een nieuwe richting opent voor dynamische scène-reconstructie.

Kortom, MoE-GS lost het probleem van de "one-size-fits-all" beperking in dynamische Gaussian Splatting op door een adaptief, expert-gedreven systeem te creëren dat de sterktes van diverse benaderingen combineert voor superieure 4D-reconstructie.