Technische Samenvatting: Spectrale Gating via Gedempte Oscillaties voor Adaptieve Impliciete Neurale Representaties

1. Probleemstelling

Impliciete Neurale Representaties (INR's) coderen continue signalen (afbeeldingen, audio, vormen) in de gewichten van coördinatengebaseerde neurale netwerken. Een fundamentele uitdaging in dit domein is het spectrale dilemma:

• Periodieke activaties (bijv. SIREN) bezitten een oneindige bandbreedte, wat het mogelijk maakt om hoogfrequente details te representeren. Echter, ze fungeren als all-pass filters zonder intrinsieke regularisatie, waardoor ze gevoelig zijn voor het memoriseren van ruis en lijden onder instabiele convergentie (overshooting).
• Ruimtelijk compacte activaties (bijv. Gauss) bieden inherente regularisatie en gladheid, maar lijden aan een sterke laagfrequente bias, wat hun vermogen beperkt om fijne of oscillerende inhoud te vangen.
• Bestaande pogingen om deze trade-off op te lossen (bijv. WIRE, FINER, Fourier Reparametrisatie) introduceren vaak computationele overhead, vereisen taakspecifieke hyperparameter-afstemming, of missen een formeel mechanisme om bandbreedte robuust tegen ruis aan te passen.

De auteurs stellen dat geen enkele bestaande methode een mechanisme biedt om de spectrale bandbreedte van het netwerk dynamisch tijdens de training aan te passen om coherent signaal versus willekeurige ruis te onderscheiden zonder expliciete regularisatie.

2. Methodologie: Forced Damped Harmonic Oscillator (FDHO)

De voorgestelde methode modelleert de activatie van elke neuron als de stationaire respons van een sinusoïdaal gedreven gedempte harmonische oscillator.

Definitie van Activatie

Gegeven leerbare parameters $\theta = (\omega, \omega_n, \xi, \varphi)$, waarbij $\omega$ de drievragende frequentie is, $\omega_n$ de natuurlijke frequentie, en $\xi$ de dempingsfactor, is de activatiefunctie $\sigma: \mathbb{R} \to \mathbb{R}$ gedefinieerd als:
$$\sigma(z; \theta) = A(\omega, \omega_n, \xi) \sin(\omega z + \varphi)$$
De amplitude $A$ is afgeleid van de overdrachtsfunctie van een tweede-orde lineair systeem:
$$A(\omega, \omega_n, \xi) = \frac{\omega_n^2}{\sqrt{(\omega_n^2 - \omega^2)^2 + (2\xi\omega_n\omega)^2}}$$
Cruciaal is dat de amplitude geen vrije parameter is, maar fysiek gekoppeld is aan de frequenties en demping. Het netwerk optimaliseert de oscillatorparameters $\theta$ gezamenlijk met de standaardgewichten $(W, b)$.

Spectrale Gating Mechanisme

De kern van de theoretische bijdrage is de afleiding van impliciete spectrale regularisatie door de gradiëntdynamica van de dempingsfactor $\xi$.

• De Gradiëntdecompositie: De gradiënt van de reconstructieverliesfunctie $\mathcal{L}$ met betrekking tot $\xi$ ontleedt in twee concurrerende termen:
  1. Zelfinteractieterm ($T_{self}$): Altijd negatief, wat $\xi$ stimuleert om toe te nemen (het verbreden van de bandbreedte te verkleinen). Dit fungeert als een regulariserende kracht.
  2. Signaalterm ($T_{signal}$): Proportioneel aan de correlatie tussen het doelsignaal en de draaggolfrequentie. Deze is alleen positief wanneer het doel signaal coherente energie bevat bij de draaggolf frequentie, wat $\xi$ stimuleert om af te nemen (de bandbreedte te vergroten).
• De Gating Conditie: De spectrale gate opent (laat hoogfrequente inhoud toe) indien en slechts indien de signaalcorrelatie een drempelwaarde overschrijdt die bepaald wordt door de zelfinteractie.
  • Coherent Signaal: De gate opent, waardoor het netwerk de frequentie kan fitten.
  • Willekeurige Ruis: De correlatie is nabij nul; de zelf-term domineert, waardoor de gate gesloten blijft en het memoriseren van ruis wordt voorkomen.
  • Mismatched Frequentie: De gate blijft gesloten vanwege orthogonaliteit.

Coarse-to-Fine Leercurriculum

De methode wordt geïnitialiseerd met parameters die het systeem in de "stop-band" plaatsen (lage amplitude, hoge demping). Naarmate de training vordert en het verlieslandschap rijkere frequentie-inhoud vereist, breidt de bandbreedte zich natuurlijk uit. Dit creëert een coarse-to-fine leercurriculum zonder expliciete scheduling: het netwerk vangt eerst laagfrequente structuren op en laat hoogfrequente details toe zodra deze gerechtvaardigd worden door de reconstructie-objective.

Multi-Layer Compositie

In diepe netwerken produceert het cascade-effect van deze lagen een frequentie-gemoduleerd signaal. De effectieve modulatie-index op laag $\ell$ is $\beta_\ell = \omega_\ell w_\ell \prod_{k=1}^{\ell-1} A_k$. Omdat amplitudes $A_k$ leerbaar zijn en afhangen van demping, krijgt het netwerk expliciete controle over zijn harmonische bandbreedte op elke diepte, wat de door Bessel-functies gestuurde harmonieken uitbreidt van SIREN naar een leerbaar regime.

3. Belangrijkste Bijdragen

1. Fysiek-Gegrondelde Activatie: Een nieuwe activatiefunctie afgeleid van de stationaire respons van een gedempte harmonische oscillator, die een fysieke koppeling tussen amplitude en frequentie introduceert.
2. Impliciete Spectrale Gating: Een theoretisch bewijs (Corollary 1) dat de gradiëntdynamica van de dempingsfactor van nature onderscheid maakt tussen coherent signaal en willekeurige ruis, waarbij ruis wordt afgewezen zonder expliciete verliesstraffen of architecturale wijzigingen.
3. Adaptieve Bandbreedte: Een mechanisme waarbij het netwerk autonoom zijn spectrale selectiviteit tijdens de training aanpast, waardoor de noodzaak voor taakspecifieke hyperparameter-afstemming wordt geëlimineerd.
4. Verenigd Framework: Een enkele architectuur en parameterset die competitief presteert over diverse taken (signaal-fitting, denoising, inpainting, super-resolutie, CT-reconstructie) zonder modificatie.

4. Experimentele Resultaten

De auteurs evalueerden FDHO tegen acht gevestigde INR's (SIREN, Gauss, WIRE, FINER, BACON, MFN, Fourier Features, FR) over meerdere taken.

• Signaal- & Audio-fitting: FDHO behaalde de hoogste uiteindelijke PSNR over alle geteste 1D-signalen en audiofragmenten (Bach, Counting). In tegenstelling tot SIREN, dat vaak een grote kloof vertoonde tussen piek- en eindprestaties (wat duidt op instabiliteit/overshooting), demonstreerde FDHO een stabiele convergentie.
• Afbeelding-fitting: FDHO behaalde state-of-the-art of competitieve resultaten op vijf diverse afbeeldingen, waarbij het vaak SIREN en FINER met significante marges versloeg (bijv. tot 10 dB op de "Bikers" afbeelding). Het elimineerde het "overshoot-then-decay" gedrag dat typisch is voor SIREN.
• Denoising: In afbeelding-denoising taken (zonder expliciete denoising losses), presteerde FDHO aanzienlijk beter dan alle baselines. Het slaagde erin om signaal van ruis te scheiden puur door zijn inductieve bias, terwijl SIREN en anderen degradeerden naar het niveau van de laagfrequente-biased methoden.
• CT-Reconstructie: FDHO leidde in CT-scan reconstructie vanuit ruizige, ijle projecties, waarbij het bijna 3 dB hogere PSNR behaalde dan de op één na beste methode (MFN), wat de robuustheid tegen zowel ruis als ill-posedness aantoont.
• Inpainting & Super-Resolutie: FDHO bleef competitief, waarbij het SIREN evenaarde of overtrof bij inpainting en topresultaten behaalde in super-resolutie, hoewel het iets lagere prestaties vertoonde op zeer regelmatige, repetitieve texturen waar variabele-periodieke methoden (FINER) excelleren.
• SDF Fitting: FDHO presteerde competitief op 3D vorm-reconstructie, met name op complexe geometrieën waar het SIREN overtrof.

Computationele Kosten: FDHO introduceert een verwaarloosbare parameter-overhead (0,007% toename over SIREN) en een gematigde toename in trainingstijd (~1,4x SIREN), voornamelijk door de dual-optimizer setup en learning rate scheduling, maar blijft binnen het bereik van bestaande complexe INR's.

5. Betekenis en Claims

Het artikel beweert dat FDHO het spectrale dilemma oplost door spectrale controle direct in de differentieerbare structuur van de activatie in te bedden. De primaire betekenis ligt in de robuustheid en aanpasbaarheid van de methode:

• Ruisrejectie: De methode biedt een formeel mechanisme voor ruisrejectie dat niet vertrouwt op vaste spectrale plafonds of expliciete regularisatietermen.
• Stabiliteit: Door amplitude te koppelen aan frequentie via een fysieke overdrachtsfunctie, vermijdt de methode de degeneratieve oplossingen en parameterdrift die worden waargenomen bij "adaptieve SIREN" varianten waar parameters ontkoppeld zijn.
• Generalisatie: De aanpak vereist geen taakspecifieke afstemming van hyperparameters, maar bereikt toch state-of-the-art of competitieve resultaten over een breed spectrum van inverse problemen en signaaltypen.

De auteurs concluderen dat de interactie tussen activatieontwerp en trainingsdynamica centraal staat voor de prestaties van INR's, en dat het afleiden van activaties uit fysieke systemen met bewijsbare spectrale gating eigenschappen een principieel pad vooruit biedt. Zij erkennen dat hoewel de methode uitblinkt in ruizige en ill-posed settings, het mogelijk minder voordeel biedt in scenario's met schone, ruimtelijk incomplete observaties of zeer regelmatige texturen waar de spectrale gate minder kritisch is. Toekomstig werk omvat het uitbreiden van de formulering naar per-neuron parameters en het verder formaliseren van multi-layer gradiëntdynamica.