🤖 machine learning

What Cohort INRs Encode and Where to Freeze Them

Dieser Beitrag untersucht kohortengetrainierte Implizite Neuronale Repräsentationen (INRs), indem er identifiziert, dass die optimale Schicht zum Einfrieren dem höchsten stabilen Gewichtsrang entspricht, und enthüllt durch eine Analyse mit spärlichen Autoencodern, dass SIREN und Fourier-Feature-MLPs grundlegend unterschiedliche Repräsentationen kodieren – lokalisierte Koordinatentegel versus bildübergreifende Konturen – und damit das erste mechanistische Verständnis von übertragbaren Repräsentationen in INRs liefern.

Ursprüngliche Autoren: Vasiliki Sideri-Lampretsa, Sophie Starck, Robbie Holland, Julian McGinnis, Daniel Rueckert

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vasiliki Sideri-Lampretsa, Sophie Starck, Robbie Holland, Julian McGinnis, Daniel Rueckert

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „universellen Übersetzers"

Stellen Sie sich ein Team von Expertenkünstlern vor (genannt INRs oder Implicit Neural Representations). Jeder Künstler wird engagiert, um ein einziges, spezifisches Bild zu zeichnen. Um ein Gesicht zu zeichnen, verbringen sie Stunden damit, genau zu lernen, wie dieses eine Gesicht aussieht. Um einen Gehirnscan zu zeichnen, beginnen sie von vorne und lernen das alles noch einmal neu.

Das ist langsam und teuer. Das Papier fragt: Können wir diesen Künstlern zuerst eine „universelle Fähigkeit" beibringen? Wenn wir sie an einer ganzen Gruppe (einer „Kohorte") von Gesichtern trainieren, können wir dann dieses Training wiederverwenden, um ein neues Gesicht viel schneller zu zeichnen?

Die Forscher stellten fest, dass ja, man das Training wiederverwenden kann, aber man muss sehr vorsichtig sein, welche Teile des Gehirns des Künstlers man einfriert (fest verankert) und welche Teile man ihnen neu lernen lässt.

Entdeckung 1: Der „Sweet Spot" zum Einfrieren

Wenn Sie einen Künstler an einer Gruppe von 10 Gesichtern trainieren, entwickelt er einen gemeinsamen „Encoder" (den Teil des Gehirns, der Koordinaten und Formen versteht) und einen einzigartigen „Decoder" (den Teil, der das spezifische Gesicht zeichnet).

Die Forscher fragten: Wenn wir ein neues Gesicht zeichnen wollen, wie viel vom alten Training sollten wir eingefroren lassen?

Der alte Weg: Die Standardmethode (genannt STRAINER) versuchte, jede einzelne Schicht des Netzwerks beim Zeichnen eines neuen Bildes zu aktualisieren.
Die neue Erkenntnis: Die Forscher entdeckten einen „Sweet Spot". Es gibt eine bestimmte Schicht in der Mitte des Netzwerks, bei der das „Gewicht" der Information am stabilsten und nützlichsten ist.
- Die Analogie: Stellen Sie sich das Netzwerk als ein mehrstöckiges Gebäude vor. Das Erdgeschoss ist das Fundament, das oberste Stockwerk ist das Dach, und die mittleren Stockwerke sind die Wohnräume. Die Forscher stellten fest, dass Sie die besten Ergebnisse erzielen, wenn Sie das Gebäude bis zu dem Stockwerk mit den stärksten, komplexesten tragenden Balken einfrieren (gemessen durch etwas, das „stabile Rang" genannt wird).
- Das Ergebnis: Indem Sie das Netzwerk genau an diesem „stärksten Stockwerk" einfrieren und den Rest anpassen lassen, ist die neue Zeichnung oft besser als die alte Methode. Es ist, als würde man das solide Fundament und die Wände eines Hauses behalten, aber den Innenarchitekten die Möbel für den neuen Eigentümer neu anordnen lassen.

Entdeckung 2: Zwei verschiedene Arten von „Muskelgedächtnis"

Das Papier untersuchte zwei verschiedene Arten von Künstlern (Netzwerkarchitekturen): SIREN und FFMLP. Obwohl beide gelernt hatten, Gesichter gleich gut zu zeichnen, lernten sie auf völlig unterschiedliche Weise. Die Forscher verwendeten ein spezielles Werkzeug namens Sparse Autoencoder (SAE), um einen Blick in ihre Gehirne zu werfen und zu sehen, was sie tatsächlich „dachten".

Stellen Sie sich den SAE als einen Übersetzer vor, der die Gedanken des Künstlers in einzelne „Atome" oder Bausteine zerlegt.

1. SIREN: Die „Fliesenmacher"

Wie sie denken: SIREN-Künstler lernten, die Koordinatenebene zu fliesen.
Die Analogie: Stellen Sie sich einen Boden vor, der mit einem Gitter aus kleinen, distincten Fliesen bedeckt ist. Jede Fliese bedeckt einen spezifischen, kleinen Bereich des Bodens. Wenn Sie eine Nase zeichnen wollen, verwendet der Künstler nur die Fliesen im „Nasenbereich". Wenn Sie ein Kinn zeichnen wollen, verwenden sie den „Kinnbereich".
Das Verhalten: Diese „Atome" sind lokalisiert. Es ist ihnen egal, was das Bild ist (ein Gesicht oder ein Gehirn); ihnen ist nur wichtig, wo sie sich auf dem Gitter befinden.
Der Test: Wenn Sie eine dieser „Fliesen" entfernen (Ablation), ist der Schaden winzig und bleibt nur in diesem spezifischen Bereich. Der Rest des Bildes bleibt perfekt.

2. FFMLP: Die „Geisterspuren"

Wie sie denken: FFMLP-Künstler lernten, die Konturen der spezifischen Bilder nachzuzeichnen, die sie auswendig gelernt hatten.
Die Analogie: Stellen Sie sich vor, diese Künstler verwenden kein Gitter. Stattdessen haben sie „Geisterumrisse" der 10 Gesichter, die sie auswendig gelernt haben, in ihren Köpfen schweben. Jedes Mal, wenn sie zeichnen, verfolgen sie diese spezifischen Geisterumrisse.
Das Verhalten: Diese „Atome" sind bildübergreifend. Sie bedecken das ganze Bild und verfolgen die spezifischen Kurven der auswendig gelernten Gesichter.
Der Test: Wenn Sie nur einen dieser „Geisterumrisse" entfernen (selbst wenn es 4.000 davon gibt), fällt das ganze Bild auseinander. Die Qualität sinkt drastisch (um bis zu 10,6 dB), weil der Künstler einen entscheidenden Teil der globalen Form verloren hat.

Warum das wichtig ist (laut dem Papier)

Wir wissen, wo wir einfrieren müssen: Wir müssen nicht raten. Wir können den „stabilen Rang" der Schichten berechnen, um den genauen Punkt zu finden, an dem das Netzwerk die am meisten wiederverwendbare Struktur gelernt hat.
Wir wissen, was gelernt wird:
- SIREN lernt eine allgemeine, inhaltsunabhängige Karte des Raums (gut für Generalisierung).
- FFMLP lernt spezifische, auswendig gelernte Formen (gut für Anpassung, aber fragil).
Kausalität: Das Papier bewies, dass diese „Atome" nicht nur zufälliges Rauschen sind; sie sind die eigentliche Ursache des Bildes. Das Entfernen eines SIREN-Atoms schadet einem kleinen Fleck; das Entfernen eines FFMLP-Atoms schadet dem ganzen Bild.

Zusammenfassung

Das Papier zeigt, dass beim Training von KI zur Darstellung von Signalen (wie Bildern) eine bestimmte „mittlere Schicht" existiert, die das am meisten übertragbare Wissen enthält. Darüber hinaus lernen verschiedene KI-Architekturen dieses Wissen auf entgegengesetzte Weise: Eine baut ein flexibles, lokales Gitter auf (SIREN), während die andere globale, spezifische Formen auswendig lernt (FFMLP). Das Verständnis davon hilft uns, bessere Systeme zu bauen, die sich auf neue Aufgaben verallgemeinern, statt nur alte auswendig zu lernen.

Technische Zusammenfassung: Was Kohorten-INRs kodieren und wo sie eingefroren werden sollten

Problemstellung

Implizite Neuronale Repräsentationen (INRs) sind koordinatenbasierte Multi-Layer-Perceptrons (MLPs), die kontinuierliche funktionale Approximationen von Signalen lernen. Eine Hauptbeschränkung standardmäßiger INRs besteht darin, dass jedes Netzwerk ein einzelnes Signal von Grund auf neu anpasst, wobei die Merkmale fein auf die Morphologie dieses spezifischen Signals abgestimmt sind. Dies führt zu hohen Optimierungspro-Kosten pro Signal. Jüngste Arbeiten, insbesondere STRAINER, versuchen dies zu mildern, indem sie eine „Kohorte" von INRs trainieren, die frühe Encoder-Schichten teilen, während sie Signal-spezifische Decoder beibehalten. Der geteilte Encoder wird dann als Initialisierung für neue Signale verwendet.

Es bleiben jedoch zwei kritische Fragen bezüglich dieses Transfer-Learning-Paradigmas unbeantwortet:

Welche Schichten des geteilten Encoders tragen tatsächlich übertragbare Repräsentationen?
Was kodieren diese spezifischen Schichten?

Aktuelle STRAINER-Protokolle aktualisieren jede Schicht während der Anpassung zur Testzeit, was die Isolierung der Übertragbarkeit pro Schicht verhindert. Darüber hinaus ist unklar, ob dies für INRs gilt, obwohl Transfer-Learning in Vision und Sprache übertragbare Merkmale oft in intermediären Schichten lokalisiert, insbesondere angesichts der Tatsache, dass dominante Backbone-Architekturen wie SIREN und Fourier-Feature-MLPs (FFMLP) Koordinatenpositionen durch grundlegend verschiedene Mechanismen kodieren.

Methodik

Die Autoren schlagen einen zweigleisigen diagnostischen Ansatz vor, um kohortengetrainierte INRs auf drei Datensätzen (CelebA-HQ, OASIS-MRI, Kodak) unter Verwendung zweier Backbone-Architekturen (SIREN und FFMLP) zu analysieren.

1. Lokalisierung übertragbarer Repräsentationen via Gewicht-Stabilitätsrang

Um zu identifizieren, welche Schichten am besten übertragen werden, führen die Autoren ein Testzeit-Einfrier-Scan-Protokoll ein. Anstatt alle Schichten zu aktualisieren, frieren sie den Encoder bis zu einer bestimmten Tiefe $\tau$ ein und initialisieren die verbleibenden Schichten sowie den Decoder-Kopf neu. Sie bewerten die Leistung (PSNR) neuer Signale über alle möglichen Einfriertiefen hinweg.

Um die optimale Einfriertiefe a priori vorherzusagen, nutzen sie den Gewicht-Stabilitätsrang ( $sr(W_\ell)$ ) der trainierten Encoderschichten. Im Gegensatz zum Aktivierungsrang, der von der spezifischen Eingabeverteilung abhängt, ist der Gewicht-Stabilitätsrang eine intrinsische Eigenschaft der gelernten Gewichte und misst die effektive Dimensionalität des Unterraums, der von der Gewichtsmatrix aufgespannt wird. Die Hypothese lautet, dass die Schicht mit dem höchsten Gewicht-Stabilitätsrang die „Koordinaten-Embedding"-Schicht darstellt, die die am meisten wiederverwendbare strukturelle Information über die Kohorte hinweg lernt.

2. Charakterisierung kodierter Repräsentationen via Sparse Autoencoder (SAEs)

Um zu bestimmen, was die übertragbaren Schichten kodieren, wenden die Autoren Sparse Autoencoder (SAEs) auf die versteckten Aktivierungen der trainierten Encoder an. SAEs zerlegen dichte Aktivierungen in einen überkompletten Wörterbuch aus sparsamen „Atomen".

Architektur: Ein TopK-SAE mit $n=4096$ Atomen und Sparsamkeit $k=32$ wird an die Aktivierungen jeder versteckten Schicht angepasst.
Diagnostik:
- Atom-Karten: Visualisierung der räumlichen Feuermuster von Atomen über den Koordinatenbereich hinweg.
- Einzelatom-Ablationen: Systematisches Entfernen einzelner Atome (Nullsetzen ihres Beitrags), um den kausalen Einfluss auf die finale Signalkonstruktion (PSNR-Abfall) zu messen.

Wichtige Ergebnisse

1. Optimale Einfriertiefe stimmt mit dem Spitzen-Gewicht-Stabilitätsrang überein

Die Experimente zeigen, dass die optimale Einfriertiefe $\tau^\star$ konsistent mit der Schicht übereinstimmt, die im kohortengetrainierten Encoder den Spitzen-Gewicht-Stabilitätsrang aufweist.

SIREN: Die optimale Einfriertiefe ist $\tau^\star = 1$ . Die erste trainierbare Schicht ( $W_1$ ) fungiert als emergentes Positions-Embedding und erreicht den höchsten Gewichtsrang.
FFMLP: Die optimale Einfriertiefe ist $\tau^\star = 0$ . Da FFMLP vor der ersten trainierbaren Schicht eine feste Fourier-Projektion verwendet, erfolgt das Embedding extern, und die erste trainierbare Schicht ( $W_0$ ) operiert auf diesem hochrangigen Input.
Leistung: Das Einfrieren auf dieser spezifischen Tiefe entspricht oder verbessert die Standard-STRAINER-Rezeptur (die alle Schichten aktualisiert) erheblich. Insbesondere auf dem hochauflösenden Kodak-Datensatz erzielt das Einfrier-Protokoll im Durchschnitt Gewinne von +3,1 dB für SIREN und +1,3 dB für FFMLP, da es verhindert, dass das Modell das begrenzte Optimierungsbudget zur Testzeit für das erneute Lernen der Koordinaten-Embedding verschwendet.

2. Qualitativ unterschiedliche Wörterbücher: Lokalisierung vs. Memorierung

Trotz vergleichbarer Kohorten-Anpassungsqualität lernen SIREN und FFMLP grundlegend unterschiedliche interne Repräsentationen:

SIREN (Lokalisiert): Die SAE-Atome sind räumlich lokalisiert und kacheln die Koordinatenebene. Jedes Atom feuert in einem begrenzten Bereich unabhängig vom spezifischen Kohorteninhalt. Dies deutet darauf hin, dass SIREN einen inhaltsunabhängigen Positionscode lernt.
FFMLP (Bildumspannend/Memorisiert): Die Atome sind bildumspannend und diffus. Sie verfolgen die Konturen memorierter Kohortensignale (z. B. Gesichtszüge in CelebA, Gehirn-Anatomie in OASIS). Das Wörterbuch konzentriert sich auf wenige Atome mit hoher Magnitude, die große Teile des Bildes abdecken.

3. Kausale Validierung via Ablation

Einzelatom-Ablationen bestätigen die kausale Rolle dieser Wörterbücher:

SIREN: Das Ablieren eines einzelnen Atoms verursacht PSNR-Abfälle (2–3 dB), die streng auf den räumlichen Bereich beschränkt sind, in dem dieses Atom feuert. Andere Atome kompensieren den Rest des Bildes.
FFMLP: Das Ablieren eines einzelnen Atoms verursacht eine globale Degradation mit PSNR-Abfällen von bis zu 10,6 dB über das gesamte Bild hinweg. Dies zeigt, dass FFMLP auf wenige „Super-Atome" angewiesen ist, um die globale Signalstruktur wiederherzustellen und effektiv den Kohorteninhalt memorisiert.

Bedeutung und Behauptungen

Die Arbeit behauptet, die erste mechanistische Erklärung dafür zu liefern, was in kohortengetrainierten INRs übertragen wird.

Diagnose-Tool: Die Metrik des Gewicht-Stabilitätsrangs bietet eine berechenbare, zieldatenfremde Methode, um die optimale Tiefe der übertragbaren Schicht zu identifizieren und eliminiert die Notwendigkeit von Hyperparameter-Sweeps.
Interpretierbarkeit: Durch die Zerlegung von INR-Aktivierungen in sparsame Atome verwandeln die Autoren „Black-Box"-Aktivierungen in inspizierbare Wörterbuch-Atome und enthüllen, dass SIREN wiederverwendbare strukturelle Positionen kodiert, während FFMLP memorisierten Inhalt kodiert.
Architektonische Einsicht: Die Ergebnisse deuten darauf hin, dass die architektonische Wahl (SIREN vs. FFMLP) bestimmt, ob das Netzwerk generalisierbare strukturelle Priors lernt oder sich an memorisierte Kohortensignale overfittet.
Zukünftige Richtung: Diese Werkzeuge eröffnen einen Weg zur Charakterisierung von INR-Kodierungen und zum Entwurf von Architekturen, die speziell auf Generalisierung und nicht auf Memorierung ausgelegt sind.

Die Autoren weisen auf Einschränkungen hin, darunter, dass die Analyse derzeit auf SIREN- und FFMLP-Backbones beschränkt ist und noch nicht die semantische Bedeutung einzelner Atome (z. B. Kanten, Farben) charakterisiert oder das Steuern von Rekonstruktionen über Einzelatom-Ablationen hinaus untersucht.