Technische Samenvatting: FiRe (Frequency Reparameterization)

1. Probleemstelling

Periodieke Impliciete Neurale Representaties (INRs), zoals SIREN en FINER, zijn ontworpen om continue signalen te coderen door standaard ReLU-activaties te vervangen door sinusvormige functies. Deze architecturen lijden echter aan spectrale bias, een fenomeen waarbij gradiëntafdaling van nature eerst de laagfrequente componenten van een signaal aanpast, terwijl hoogfrequente details (fijne texturen, scherpe randen) langzamer worden hersteld.

De kernbeperking van bestaande periodieke INRs is dat ze een enkelvoudige globale frequentievermenigvuldiger ($\omega_0$) aan elke neuron toewijzen. Deze aanpakalloceert het representatiebudget inefficiënt, omdat verschillende delen van een signaal (bijv. een scherpe rand versus een gladde achtergrond) verschillende lokale frequenties vereisen. Hoewel methoden zoals FINER proberen de frequentie input-afhankelijk te maken door de pre-activatie magnitudes terug te voeren naar de frequentie-envelope, vertrouwen zij nog steeds op vaste globale parameters of specifieke activatiestructuren. De uitdaging is om de per-neuron frequentie leerbaar en input-afhankelijk te maken zonder simpelweg de globale frequentievermenigvuldiger te verhogen (wat de functieklasse verandert) of overmatige parameters toe te voegen.

2. Methodologie: FiRe (Frequency Reparameterization)

FiRe introduceert een mechanisme om de frequentie van periodieke INRs te herparameteriseren door een begrensde, input-afhankelijke frequentieschaal aan elke neuron toe te wijzen.

Kernmechanisme

In plaats van de frequentie in de hoofdgewichtsmatrix te vouwen, voegt FiRe een low-rank gating pad in die de pre-activatie vermenigvuldigt vóór de activatiefunctie.
Voor een standaard SIREN-activatie $h = \sin(\omega_0(Wx + b))$ modificeert FiRe dit naar:
$$h = \sin(\omega_0 \cdot s(x) \odot (Wx + b))$$
Waarbij $s(x) \in (0, 2)$ een geleerde gate is, geïmplementeerd als een low-rank bottleneck:
$$s(x) = 2 \sigma(U_{\uparrow} U_{\downarrow} x + b_{\uparrow})$$
Hier zijn $U_{\uparrow}$ en $U_{\downarrow}$ low-rank matrices, en $\sigma$ is de logistische sigmoid. Deze structuur zorgt ervoor dat de frequentie begrensd en stabiel blijft.

Initialisatie en Controles

• Initialisatie: De gate wordt geïnitialiseerd zodat $U_{\uparrow} = 0$ en $b_{\uparrow} = 1$, wat resulteert in een constante gate-waarde $s_i \approx 1.46$ aan het begin. Dit zorgt ervoor dat FiRe start als een standaard periodiek netwerk met een geschaalde frequentie.
• Frequentie-equalisatie ($w_{scale}$): Om te garanderen dat de prestatiewinsten niet louter voortkomen uit een hogere globale frequentie, gebruiken de auteurs een gewicht-rescaling controle. De gewichten van het baseline-netwerk worden geschaald met $1/1.46$, zodat de gerealiseerde per-neuron frequentie van de baseline exact overeenkomt met die van FiRe bij initialisatie.
• Parameter-matching: Baselines worden verbreed om het aantal parameters van FiRe te evenaren (een overhead van 1,4%–7,7% afhankelijk van de rank), waardoor wordt gegarandeerd dat de winsten niet voortkomen uit verhoogde capaciteit.

Theoretisch Mechanisme: NTK Decompositie

Het artikel biedt een theoretische verklaring gebaseerd op de Neural Tangent Kernel (NTK).

• Additieve Decompositie: Omdat de parameters van het gate-pad ($\theta_g$) en de carrier/signaal-pad parameters ($\theta_c$) disjunct zijn, decomponeert de empirische NTK ($K$) exact in een additieve som:
  $$K = K_c + K_g$$
• Impliciete Preconditionering: Het gate-pad draagt een positief-semi-definiet blok ($K_g$) bij aan de kernel. Hoewel de gate functioneel constant is bij initialisatie, is de gradiënt met betrekking tot de eigen parameters ervan niet nul. Dit voegt nieuwe tangentiële richtingen toe aan het optimalisatielandschap zonder de forward map te veranderen.
• Spectrale Effecten: Volgens de stelling van Weyl verhoogt het toevoegen van $K_g$ de eigenwaarden van de totale kernel. Dit verhoogt de effectieve rang van de tangentiële ruimte (met 23–44% in experimenten) en verbetert de conditionering van het optimalisatieprobleem bij initialisatie.
• Convergentie Implicatie: In het "lazy" NTK-regime staat een kernel met hogere eigenwaarden en een hogere effectieve rang toe dat de residuele fout sneller afneemt langs meer eigendirecties. Dit verklaart waarom FiRe de vroege training-convergentie versnelt, specifiek voor hoogfrequente componenten die overeenkomen met de langzamer vervallende eigenmodes.

3. Belangrijkste Resultaten

De auteurs evalueerden FiRe op 2D beeld-fitting taken met de DIV2K en Kodak datasets over diverse resoluties (256², 512², 1024²) en ranks.

• Convergentieversnelling: FiRe presteert significant beter dan parameter-gematchte baselines in de vroege stadia van training (typische korte budgetten voor INR-fitting).
  • Bij 256² resolutie bereikten FiRe-SIREN en FiRe-FINER +0,5 tot +0,7 dB PSNR-winsten ten opzichte van baselines bij 2000 epochs.
  • Het voordeel is het meest uitgesproken bij lage ranks (1–4) en neemt af naarmate de rank toeneemt (bijv. rank 8), wat suggereert dat het voordeel voortkomt uit een coherente preconditioneringsmodus in plaats van pure capaciteit.
• Resolutie-afhankelijkheid: De prestatiewinst krimpt naarmate de beeldresolutie toeneemt. Dit wordt toegeschreven aan het feit dat hogere resoluties verder van convergentie verwijderd zijn bij een vast budget; de "voorsprong" die FiRe biedt, wordt een kleiner deel van de totale benodigde optimalisatie.
• Spectrale Lokalisatie: De winsten zijn geconcentreerd in de hoogfrequente band. Spectrale analyse laat zien dat FiRe de hoogfrequente power van de grondwaarheid nauwkeuriger volgt dan de baseline, terwijl laag/middel-frequenties even goed worden gefit door beide.
• Geen Asymptotisch Voordeel: Cruciaal is dat naarmate de training vordert naar volledige convergentie (bijv. 8000 epochs), de parameter-gematchte baseline uiteindelijk de overhand krijgt ten opzichte van FiRe. Dit bevestigt dat FiRe de functieklasse of de uiteindelijke oplossing niet verandert, maar fungeert als een preconditioner voor de optimalisatie-trajectorie.
• Stabiliteit: De gerealiseerde frequentie van FiRe blijft gedurende de training gematcht aan de baseline, wat bevestigt dat de winsten voortkomen uit reparameterisatie en niet uit een verborgen frequentieverschuiving.

4. Betekenis en Claims

Het artikel positioneert FiRe als een methode om de optimalisatie te versnellen in plaats van de representatieve capaciteit van het netwerk uit te breiden.

• Isolatie van het Mechanisme: De auteurs benadrukken dat eerdere schijnbare winsten in de INR-literatuur mogelijk werden vertroebeld door ongecontroleerde toenames in globale frequentie of parameteraantallen. Door strikt te controleren voor deze factoren, isoleren zij het optimalisatie-geometrie effect van de gate.
• Impliciete Preconditionering: FiRe wordt geïdentificeerd als een impliciete preconditioner die de conditionering van de NTK bij initialisatie verbetert. Dit biedt een theoretische brug tussen reparameterisatie en snellere convergentie in het hoogfrequente regime.
• Praktisch Nut: De methode is het meest waardevol in scenario's waarin INRs worden getraind met een vast, kort budget (gebruikelijk in de praktijk) in plaats van tot volledige convergentie. In deze settings levert FiRe hogere kwaliteit reconstructies van fijne details en texturen op.
• Bescheidenheid: De auteurs stellen expliciet dat FiRe geen voordeel biedt bij volledige convergentie en dat de NTK-gebaseerde verklaring rust op de "lazy regime" benadering, die verzwakt naarmate de training vordert. De methode is momenteel beperkt tot 2D beeld-fitting, en de uitbreiding naar 3D (SDF's, NeRF) blijft een open vraag.

Samenvattend demonstreert FiRe dat het reparameteriseren van de frequentie van periodieke neuronen via een low-rank gate de conditionering van het optimalisatielandschap aanzienlijk kan verbeteren, wat leidt tot snellere convergentie en betere hoogfrequente reconstructie, mits de vergelijking wordt gemaakt met strikt frequentie- en parameter-gematchte baselines.