Technische Samenvatting: Spectrale Energiecentroïde voor Impliciete Neuronale Representaties

Probleemstelling

Impliciete Neuronale Representaties (INR's) maken gebruik van multilayer perceptrons (MLP's) om continue signalen te modelleren, en bieden compacte en differentieerbare representaties voor taken zoals scène-modellering en beeldreconstructie. Echter vertonen standaard MLP's een "spectrale bias", een neiging om laagfrequente componenten van een signaal sneller te leren dan hoogfrequente. Deze bias belemmert het vastleggen van fijne details, wat het gebruik van hoogfrequente invoer-mappingen (embeddings) vereist die worden gecontroleerd door specifieke hyperparameters (bijv. $\omega_s$ in Siren, $\sigma$ in Fourier).

De kernuitdaging die is geïdentificeerd, is de moeilijkheid om optimale frequentieparameters voor embedding te selecteren. Hoewel eerdere werken (zoals FreSh) probeerden dit te automatiseren door het spectrum van de output van het ongetrainde model af te stemmen op het doelbeeld, houden deze heuristieken geen rekening met de aanzienlijke invloed van de modelarchitectuur, met name de diepte. Bestaande methoden gaan er vaak van uit dat spectrale bias statisch is over verschillende modelgroottes, wat leidt tot suboptimale configuraties waarbij diepere modellen ondergeconfigureerd zijn (ze ontvangen frequenties die te laag zijn voor hun capaciteit) en kleinere modellen overgeconfigureerd zijn. Bovendien maakt de multidimensionale aard van volledige frequentiespectra het moeilijk om ze direct te gebruiken voor vergelijking of optimalisatie.

Methodologie

Om deze beperkingen aan te pakken, introduceren de auteurs de Spectrale Energiecentroïde (SEC), een scalair maatstaf die is ontworpen om zowel de frequentie-inhoud van doelbeelden als de spectrale bias van INR-modellen te kwantificeren.

1. Spectrale Energiecentroïde (SEC)

De SEC is afgeleid van de Discrete Fourier-transformatie (DFT) van een beeld. Het proces omvat:

• Berekening van het Energiespectrum: Berekenen van het kwadraat van de magnitude van Fourier-coëfficiënten en het aggregeren ervan op basis van radiale frequentie $r$ om een energiespectrum $E(A, r)$ te vormen.
• Normalisatie: Normaliseren van het energiespectrum om een kansverdeling $\tilde{E}(A)$ te creëren.
• Centroidberekening: Berekenen van het gewogen gemiddelde van frequenties onder deze verdeling:
  $$SEC(A) = \sum_{r=1}^{R} r \cdot \tilde{E}(A, r)$$
  Dit levert een enkele scalair waarde op die de "gemiddelde frequentie" voorstelt, gewogen naar signaalmacht. De auteurs gebruiken deze maatstaf om zowel doelbeelden als de outputs van ongetrainde modellen te karakteriseren (om hun spectrale bias te benaderen).

2. SEC-Conf (Gegevensgedreven Configuratie)

De auteurs stellen SEC-conf voor, een strategie voor hyperparameterselectie die gebruikmaakt van een kleine kalibratieset.

• Kalibratie: Een set beelden wordt gebruikt om de optimale frequentieparameters voor embedding te vinden via een grid search. Deze paren van (Image SEC, Optimal Parameter) vormen een opzoektabel.
• Selectie: Voor een nieuw doelbeeld wordt de SEC berekend. De optimale parameter wordt opgehaald door de dichtstbijzijnde buur in de kalibratieset te vinden op basis van de SEC-waarde.
• Redenering: Deze benadering gaat ervan uit dat beelden met vergelijkbare SEC-scores vergelijkbare optimale configuraties delen voor een gegeven architectuur, waardoor effectief de relatie tussen spectrale eigenschappen en modelgedrag wordt geleerd.

3. Frequentie-aanpassing

Om eerlijke vergelijkingen mogelijk te maken over diverse INR-architecturen (zoals Siren, Fourier, Finer, Wire), stellen de auteurs Frequentie-aanpassing voor. Deze methode stemt de spectrale bias van een doelmodel af op een referentiemodel door de doelparameter $F$ te vinden die het verschil in SEC-waarden minimaliseert:
$$Fit_{Ref}(F) = \arg \min_F |SEC(Model_F) - SEC(Ref_{F_{ref}})|$$
Dit stelt onderzoekers in staat architecturale effecten te isoleren van tuning-effecten door ervoor te zorgen dat modellen beginnen met vergelijkbare spectrale biases.

Belangrijkste Bijdragen

1. Kwantificering van Spectrale Bias: Het artikel maakt gebruik van SEC om een sterke, tot nu toe over het hoofd geziene afhankelijkheid tussen modeldiepte en spectrale bias aan het licht te brengen. Experimenten tonen aan dat naarmate de modeldiepte toeneemt, de inherente spectrale bias van het model verschuift naar hogere frequenties, waardoor hogere embedding-parameters nodig zijn om optimale prestaties te behouden.
2. SEC-conf Strategie: Een robuuste, gegevensgedreven methode voor configuratie van de embedding-laag die betere prestaties levert dan bestaande heuristieken (zoals FreSh) door rekening te houden met de modelgrootte. Het toont superieure trefferspercentages aan bij het identificeren van optimale configuraties, met name voor grotere modellen.
3. SEC als Complexiteitsproxy: De auteurs valideren SEC als een betrouwbare proxy voor signaalkomplexiteit, waarbij een sterke negatieve correlatie wordt aangetoond tussen SEC-waarden en reconstructiekwaliteit (PSNR). Hogere SEC-waarden (die complexe texturen en fijne details aangeven) corresponderen met lagere reconstructieprestaties.
4. Cross-Architectuur Afstemming: Een raamwerk voor het afstemmen van spectrale biases over verschillende architecturen, waarbij wordt aangetoond dat oudere of standaardmodellen de prestaties van nieuwere modellen (zoals Finer) kunnen evenaren wanneer hun spectrale biases correct zijn afgestemd.

Experimentele Resultaten

De auteurs evalueerden hun aanpak op een benchmark van 100 beelden uit de LIU4K-v2-dataset over vier architecturen (Siren, Fourier, Finer, Wire) en drie modelschalen (Klein, Middel, Groot).

• Prestatiewinsten: SEC-conf presteerde consequent beter dan basislijndefinieringen en de FreSh-heuristiek. Bijvoorbeeld, in de Groot (L) Siren-configuratie behaalde SEC-conf een PSNR van 34,49, vergeleken met 34,07 voor FreSh en 32,06 voor de standaard.
• Architecturale Inzichten:
  • Diepte versus Breedte: SEC neemt aanzienlijk toe met modeldiepte, wat verklaart waarom FreSh (dat frequenties verlaagt voor diepere modellen) faalt. Omgekeerd heeft modelbreedte een verwaarloosbaar effect op spectrale bias voor de meeste architecturen, wat suggereert dat schalen van breedte voorspelbaarder is.
  • Wire-buitengewoon: De Wire-architectuur vertoonde extreem hoge SEC-waarden over alle maten, wat correleerde met slechte prestaties, wat suggereert dat hun standaard hoogfrequente bias schadelijk is.
• Nauwkeurigheid: SEC-conf toonde aanzienlijk hogere nauwkeurigheid in het voorspellen van optimale parameters in vergelijking met FreSh, met name voor grotere modellen waar de aanname van statische bias bij FreSh leidt tot aanzienlijke fouten.
• Afstemming: Toen Siren- en Fourier-modellen frequentie-aangepast waren aan de Finer-architectuur, behaalden ze prestatiepariteit met Finer in grootschalige instellingen, wat bewijst dat het voordeel van Finer deels te wijten was aan zijn agressievere standaard spectrale bias in plaats van inherente architecturale superioriteit.

Betekenis en Beweringen

Het artikel beweert dat SEC een "helderder lens" biedt voor het analyseren van INR-gedrag, verder gaand dan de beperkingen van heuristieken die architecturale diepte negeren. Door het complexe frequentiespectrum te reduceren tot een enkele, interpreteerbare scalair, faciliteert SEC een dieper begrip van de relatie tussen signaalkomplexiteit, modelcapaciteit en reconstructiekwaliteit.

De auteurs benadrukken dat hoewel SEC-conf afhankelijk is van een offline kalibratieset (in tegenstelling tot de datavrije FreSh), deze trade-off noodzakelijk is om de generaliseerbare relatie tussen spectrale eigenschappen en modelgedrag over variërende architecturen en dieptes vast te leggen. De primaire waarde van dit werk ligt niet alleen in de specifieke configuratiestrategie, maar in het vestigen van SEC als een fundamenteel hulpmiddel voor toekomstig onderzoek naar spectrale bias en INR-ontwerp.

Erkende Beperkingen:

• SEC is een een-dimensionale samenvatting; verschillende spectrale vormen kunnen naar dezelfde centroïde mappen.
• SEC-conf vereist een voorafgaande kostenpost om een kalibratieset te genereren, terwijl FreSh werkt op een enkel beeld zonder voorafgaande data.
• De methode gaat ervan uit dat vergelijkbare SEC-scores vergelijkbare optimale configuraties impliceren, wat een benadering is.