Incoherent Deformation, Not Capacity: Diagnosing and Mitigating Overfitting in Dynamic Gaussian Splatting

1. Enunciato del Problema

I metodi di Dynamic 3D Gaussian Splatting (3DGS) (ad esempio 4DGS, Deformable-3DGS) raggiungono ricostruzioni di alta qualità sulle viste di addestramento, ma soffrono di un grave overfitting quando generalizzano a viste nuove.

• Il Divario: Sul benchmark D-NeRF, esiste un significativo divario medio train-test PSNR di 6.18 dB, che sale a 11 dB su singole scene.
• L'Ipotesi: Lavori precedenti (ad esempio MonoDyGauBench) hanno suggerito che il meccanismo di Adaptive Density Control (ADC), che aggiunge dinamicamente i Gaussiani, sia una fonte di fragilità. L'assunzione prevalente era che l'overfitting fosse principalmente una questione di capacità: troppi Gaussiani portano alla memorizzazione dei dati di addestramento.
• L'Obiettivo: Gli autori mirano a diagnosticare la causa radice di questo overfitting e a proporre strategie di mitigazione che non sacrifichino la qualità della ricostruzione.

2. Metodologia e Approccio Diagnostico

Il paper impiega uno studio di ablazione sistematico e introduce nuove tecniche di regolarizzazione per disaccoppiare la "capacità" (numero di Gaussiani) dalla "coerenza" (levigatezza della deformazione).

A. Ablazione Diagnostica del Controllo di Densità Adattiva (ADC)

Gli autori hanno disabilitato o modificato sistematicamente singole sotto-operazioni della pipeline ADC (Split, Clone, Prune, Frequency, Threshold, Schedule) sul benchmark D-NeRF (8 scene).

• Risultato 1 (Lo Split è il Collo di Bottiglia): Disabilitare l'operazione Split riduce il conteggio dei Gaussiani da 44K a ~3K e collassa il divario train-test da 6.18 dB a 1.15 dB. Tuttavia, ciò causa anche un crollo catastrofico del PSNR di test (10 dB).
  • Conclusione: Lo Split non è la "causa" dell'overfitting in senso risolvibile; è il collo di bottiglia operativo che crea la capacità di lavoro. I processi successivi (cloning, deformazione) trasformano questa capacità in memorizzazione. Disabilitare lo split distrugge la capacità del modello di rappresentare la scena.
• Correlazione Capacità-Divario: Esiste una forte correlazione log-lineare ($r \approx 0.99$) tra il conteggio finale dei Gaussiani e il divario di overfitting attraverso varie configurazioni. Questo suggerisce inizialmente una spiegazione basata sulla capacità.

B. L'Ipotesi di Coerenza

Gli autori sfidano l'ipotesi basata solo sulla capacità introducendo una penalità di levigatezza locale sul campo di deformazione per-Gaussiano.

• Regolarizzazione dell'Energia Elastica (EER): Introducono un termine di perdita che penalizza la deformazione tra un Gaussiano e i suoi $k$-vicini più prossimi (k-NN) nello spazio canonico.
  • Formula: $L_{EER} = \lambda \sum \frac{\|u(x_i, t) - u(x_j, t)\|^2}{\|x_i - x_j\|^2}$.
  • Insight Chiave: Il denominatore (distanza canonica) è cruciale. Normalizza la penalità per misurare la deformazione relativa (strain) piuttosto che il movimento assoluto. Senza questa normalizzazione, il prior è inefficace.
• Meccanismo: L'EER forza il campo di deformazione ad essere localmente liscio, impedendo ai singoli Gaussiani di "vagare" per memorizzare il rumore in specifiche viste di addestramento.

C. Controlli Complementari

Per gestire gli effetti collaterali dell'EER (che tende ad aumentare il conteggio dei Gaussiani), gli autori introducono due regolarizzatori aggiuntivi:

1. GAD (Loss-Rate-Aware Densification): Una soglia adattiva per l'ADC che aumenta la soglia di split quando la perdita di addestramento si stabilizza e la nuvola è grande. Questo previene la creazione di nuovi Gaussiani che memorizzerebbero solo il rumore residuo.
2. PTDrop (Jitter-Weighted Dropout): Un metodo di dropout stocastico in cui i Gaussiani con traiettorie di movimento incoerenti (alto jitter) vengono eliminati più frequentemente.

3. Contributi Chiave

1. Diagnosi dell'Overfitting: Il paper identifica che l'overfitting nel 3DGS dinamico è guidato dalla deformazione incoerente (campi di movimento caotici), non semplicemente dal conteggio dei parametri (numero di Gaussiani).
2. Disaccoppiamento Capacità e Coerenza: Gli autori dimostrano che è possibile ridurre significativamente l'overfitting mentre si aumenta il numero di Gaussiani, a condizione che il campo di deformazione sia vincolato a essere liscio.
3. Il Prior EER: Introduzione di un prior di strain k-NN con normalizzazione della distanza canonica. Dimostrano tramite ablazione che questa normalizzazione è l'elemento portante, rendendo il prior efficace indipendentemente dall'architettura di deformazione specifica (ad esempio HexPlane vs MLP).
4. Stack di Mitigazione Pratico: Una configurazione raccomandata (GAD + EER) che riduce significativamente il divario di generalizzazione con una perdita minima di qualità.

4. Risultati

Gli esperimenti sono stati condotti sul benchmark D-NeRF (8 scene) e validati su HyperNeRF (video del mondo reale) e Deformable-3DGS (architettura diversa).

• Prestazioni EER:
  • Riduce il divario train-test del 40.8% (da 6.18 dB a 3.66 dB).
  • Paradossalmente aumenta le dimensioni della nuvola di Gaussiani del 85% (da 44K a 82K).
  • Riduzione dello strain per-Gaussiano misurata direttamente: 99.72%.
• Strategia Combinata (GAD + EER):
  • Riduce il divario del 48.2% (a 3.20 dB).
  • Mantiene un alto PSNR di test con un costo di soli −0.86 dB rispetto alla baseline.
  • Il conteggio finale dei Gaussiani è ridotto a ~38K (grazie a GAD che contrasta la crescita di EER).
• Stack Completo (GAD + EER + PTDrop + GrowthCap):
  • Raggiunge una riduzione del divario del 57.4% (2.63 dB) ma a un costo di qualità superiore (−1.70 dB).
• Generalizzazione:
  • Cross-Architettura: Il metodo funziona su Deformable-3DGS (basato su MLP) dopo il re-tuning della scala della perdita.
  • Mondo Reale: Applicato a video monoculare reale di HyperNeRF con gli stessi iperparametri usati per i dati sintetici, riducendo il divario medio del 14.9% con un costo di qualità vicino allo zero.
• Ablazione sulla Normalizzazione: Rimuovere la normalizzazione della distanza canonica rende il prior essenzialmente inattivo (+2.2% di riduzione del divario contro ~40% con normalizzazione), dimostrando che la normalizzazione è critica.

5. Significato

• Cambiamento di Paradigma: Il paper confuta l'intuizione comune secondo cui "meno parametri = meno overfitting" nel 3DGS dinamico. Al contrario, sostiene che la coerenza strutturale del campo di deformazione sia il fattore primario.
• Soluzione Azionabile: Fornisce una soluzione concreta, plug-and-play (GAD + EER) che può essere integrata nelle pipeline esistenti di Dynamic Gaussian Splatting senza modifiche architetturali.
• Robustezza: I risultati valgono per diverse architetture di deformazione (HexPlane, MLP) e domini di dati (sintetico vs mondo reale), suggerendo una proprietà fondamentale di come le scene dinamiche sono rappresentate nel 3DGS.
• Efficienza: Identificando che l'operazione "Split" è il gateway alla capacità di overfitting, il paper indirizza la ricerca futura verso il vincolo di come si muovono i Gaussiani piuttosto che semplicemente limitare quanti ne esistono.

In sintesi, il paper conclude che la deformazione incoerente è la causa radice dell'overfitting, e mitigarla attraverso prior di levigatezza locale (EER) combinati con densificazione adattiva (GAD) è la via più efficace per un Dynamic 3D Gaussian Splatting generalizzabile.