Technische Samenvatting: Wat Cohort-INR's Encoderen en Waar Ze Bevriest Moeten Worden

Probleemstelling

Implicit Neural Representations (INR's) zijn coördinaatgebaseerde multi-layer perceptrons (MLP's) die continue functionele benaderingen van signalen leren. Een primaire beperking van standaard INR's is dat elk netwerk een enkel signaal vanaf nul past, met kenmerken die fijn zijn afgestemd op de morfologie van dat specifieke signaal. Dit resulteert in hoge optimalisatiekosten per signaal. Recent werk, met name STRAINER, probeert dit te mitigeren door een "cohort" van INR's te trainen die vroege encoderlagen delen terwijl ze per signaal decoders behouden. De gedeelde encoder wordt vervolgens gebruikt als initialisatie voor nieuwe signalen.

Er blijven echter twee kritieke vragen onbeantwoord met betrekking tot dit transfer learning-paradigma:

1. Welke lagen van de gedeelde encoder dragen daadwerkelijk overdraagbare representaties?
2. Wat coderen die specifieke lagen?

Huidige STRAINER-protocollen updaten elke laag tijdens het aanpassen op testtijd, wat de isolatie van overdraagbaarheid per laag verhindert. Bovendien is het, hoewel transfer learning in visie en taal vaak overdraagbare kenmerken lokaliseert in tussenliggende lagen, onduidelijk of dit ook geldt voor INR's, vooral gezien het feit dat dominante backbones zoals SIREN en Fourier-feature MLP's (FFMLP) coördinaatposities via fundamenteel verschillende mechanismen coderen.

Methodologie

De auteurs stellen een tweeledige diagnostische aanpak voor om cohort-getrainde INR's te analyseren op drie datasets (CelebA-HQ, OASIS-MRI, Kodak) met twee backbones (SIREN en FFMLP).

1. Lokaliseren van Overdraagbare Representaties via Gewogen Stabiele Rang

Om te identificeren welke lagen het beste overdragen, introduceren de auteurs een testtijd-bevries-sweep-protocol. In plaats van alle lagen bij te werken, bevriezen ze de encoder tot een specifieke diepte $\tau$ en initialiseren ze de overige lagen en de decoderkop opnieuw. Ze evalueren de prestaties (PSNR) van nieuwe signalen over alle mogelijke bevriesdieptes.

Om de optimale bevriesdiepte a priori te voorspellen, maken ze gebruik van de gewogen stabiele rang ($sr(W_\ell)$) van de getrainde encoderlagen. In tegenstelling tot activatierang, die afhankelijk is van de specifieke inputverdeling, is gewogen stabiele rang een intrinsieke eigenschap van de geleerde gewichten, die de effectieve dimensionaliteit meet van de deelruimte die wordt opgespannen door de gewichtsmatrix. De hypothese is dat de laag met de hoogste gewogen stabiele rang de "coördinaatembedding"-laag vertegenwoordigt, die de meest herbruikbare structurele informatie over het cohort leert.

2. Karakteriseren van Gecodeerde Representaties via Sparse Autoencoders (SAE's)

Om te bepalen wat de overdraagbare lagen coderen, passen de auteurs Sparse Autoencoders (SAE's) toe op de verborgen activaties van de getrainde encoders. SAE's ontleden dichte activaties in een overcompleet woordenboek van spaarzame "atomen".

• Architectuur: Een TopK SAE met $n=4096$ atomen en spaarzaamheid $k=32$ wordt aangepast aan de activaties van elke verborgen laag.
• Diagnostiek:
  • Atomenkaarten: Het visualiseren van de ruimtelijke vuurpatronen van atomen over het coördinatendomein.
  • Enkel-atoom ablaties: Het systematisch verwijderen van individuele atomen (nulstellen van hun bijdrage) om het causale effect op de uiteindelijke signaalreconstructie te meten (daling in PSNR).

Belangrijkste Resultaten

1. Optimale Bevriesdiepte Coincideert met Piekgewogen Stabiele Rang

De experimenten onthullen dat de optimale bevriesdiepte $\tau^\star$ consistent samenvalt met de laag die de piekgewogen stabiele rang vertoont in de cohort-getrainde encoder.

• SIREN: De optimale bevriesdiepte is $\tau^\star = 1$. De eerste trainbare laag ($W_1$) fungeert als een emergente positionele embedding, waarbij de hoogste gewogen rang wordt bereikt.
• FFMLP: De optimale bevriesdiepte is $\tau^\star = 0. Omdat FFMLP een vaste Fourier-projectie gebruikt vóór de eerste trainbare laag, vindt de embedding extern plaats, en werkt de eerste trainbare laag ($W_0$) op deze hoog-rang input.
• Prestaties: Bevriezen op deze specifieke diepte komt overeen met of verbetert significant de standaard STRAINER-recept (die alle lagen bijwerkt). Opmerkelijk is dat op de hoog-resolutie Kodak-dataset het bevriesprotocol gemiddelde winsten oplevert van +3,1 dB voor SIREN en +1,3 dB voor FFMLP, omdat het voorkomt dat het model het beperkte optimalisatiebudget op testtijd verspilt aan het opnieuw leren van de coördinaatembedding.

2. Kwalitatief Verschillende Woordenboeken: Lokalisatie versus Memorisatie

Ondanks het behalen van vergelijkbare kwaliteit bij het passen van het cohort, leren SIREN en FFMLP fundamenteel verschillende interne representaties:

• SIREN (Gelokaliseerd): De SAE-atomen zijn ruimtelijk gelokaliseerd en betegelen het coördinaatvlak. Elk atoom vuurt in een afgebakend gebied, onafhankelijk van de specifieke cohortinhoud. Dit suggereert dat SIREN een inhoudsonafhankelijke positionele code leert.
• FFMLP (Beeldoverspannend/Gememoriseerd): De atomen zijn beeldoverspannend en diffuus. Ze volgen de contouren van gememoriseerde cohortsignalen (bijvoorbeeld gelaatstrekken in CelebA, hersenanatomie in OASIS). Het woordenboek concentreert zich op een paar atomen met hoge magnitude die grote delen van het beeld bestrijken.

3. Causale Validatie via Ablatie

Enkel-atoom ablaties bevestigen de causale rol van deze woordenboeken:

• SIREN: Het ableren van een enkel atoom veroorzaakt PSNR-dalingen (2–3 dB) die strikt beperkt zijn tot het ruimtelijke gebied waar dat atoom vuurt. Andere atomen compenseren voor de rest van het beeld.
• FFMLP: Het ableren van een enkel atoom veroorzaakt globale degradatie, met PSNR-dalingen van tot 10,6 dB over het hele beeld. Dit geeft aan dat FFMLP vertrouwen heeft op een paar "super-atomen" om de globale signaalstructuur te reconstrueren, wat in feite neerkomt op het memoriseren van de cohortinhoud.

Betekenis en Claims

Het artikel claimt de eerste mechanistische verantwoording te bieden van wat er overdraagt in cohort-getrainde INR's.

• Diagnostisch Hulpmiddel: De gewogen stabiele rang-metriek biedt een berekenbare, doelgegevensvrije methode om de optimale overdraagbare laagdiepte te identificeren, waardoor de noodzaak voor hyperparameter-sweeps wordt geëlimineerd.
• Interpreteerbaarheid: Door INR-activaties te ontleden in spaarzame atomen, veranderen de auteurs "black box"-activaties in inspecteerbare woordenboekatomen, waardoor wordt onthuld dat SIREN herbruikbare positionele structuur codeert terwijl FFMLP gememoriseerde inhoud codeert.
• Architectueel Inzicht: De bevindingen suggereren dat de architecturale keuze (SIREN versus FFMLP) bepaalt of het netwerk generaliseerbare structurele priors leert of overpast op gememoriseerde cohortsignalen.
• Toekomstige Richting: Deze hulpmiddelen openen een weg naar het karakteriseren van INR-coderingen en het ontwerpen van architecturen specifiek voor generalisatie in plaats van memorisatie.

De auteurs merken beperkingen op, waaronder dat de analyse momenteel beperkt is tot SIREN- en FFMLP-backbones en nog niet de semantische betekenis van individuele atomen (bijvoorbeeld randen, kleuren) karakteriseert of het sturen van reconstructies verder verkent dan enkel-atoom ablaties.