🧬 biology

Neurally-plausible radial basis kernels using distributed Fourier embeddings

Dieser Artikel charakterisiert radiale Basisfunktionen im Rahmen der neuronal plausiblen räumlichen semantischen Zeiger und zeigt, dass gitterzellenähnliche Repräsentationen sowohl in der Lage als auch optimal sind, diese Funktionen zu realisieren, um kohärente, kontinuierliche räumliche Repräsentationen zu erzeugen.

Ursprüngliche Autoren: Jakeb Chouinard

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jakeb Chouinard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Ihr Gehirn versucht, eine Karte der Welt zu erstellen. Um dies zu tun, benötigt es eine Möglichkeit zu sagen: „Dieser Punkt ist diesem Punkt nahe" und „Dieser Punkt ist weit entfernt", unabhängig davon, in welche Richtung Sie schauen. In der Welt der Informatik und Neurowissenschaften nennt man dies die Erstellung eines radialen Basis-Kernels. Denken Sie daran wie an ein „Ähnlichkeits-Radar", das misst, wie sehr sich zwei Dinge basierend rein auf der Distanz, nicht auf der Richtung, ähneln.

Dieser Artikel untersucht, wie das Gehirn (oder ein gehirnähnlicher Computer) dieses „Ähnlichkeits-Radar" mit einer spezifischen, biologisch plausiblen Methode aufbauen kann, die Gitterzellen und verteilte Repräsentationen umfasst.

Hier ist die Aufschlüsselung der Ideen des Artikels unter Verwendung einfacher Analogien:

1. Das Problem: Die „Richtungs"-Falle

Stellen Sie sich vor, Sie versuchen zu messen, wie ähnlich zwei Orte sind.

Alter Weg (Traditionelle Methoden): Wenn Sie Standardwerkzeuge verwenden (wie das Stapeln separater Karten für Nord/Süd und Ost/West), wird Ihre Messung seltsam. Die Ähnlichkeit hängt davon ab, in welche Richtung Sie schauen. Wenn zwei Punkte 5 Schritte entfernt sind, könnten sie sehr ähnlich aussehen, wenn Sie nach Norden gehen, aber sehr unterschiedlich, wenn Sie nach Osten gehen. So funktioniert physischer Raum nicht; die Distanz sollte sich in jede Richtung gleich anfühlen.
Das Ziel: Wir benötigen ein Werkzeug, das sagt: „Diese beiden Punkte sind 5 Schritte voneinander entfernt", und diese Antwort bleibt wahr, egal ob Sie nach Norden, Süden schauen oder sich im Kreis drehen. Dies ist ein radialer (kreisförmiger/kugelförmiger) Ansatz.

2. Die Lösung: Das „Hexagonale Gitter" (HexSSPs)

Der Artikel betrachtet eine spezifische Art neuronaler Repräsentation namens Spatial Semantic Pointers (SSPs), speziell eine Version namens HexSSPs.

Die Analogie: Denken Sie an ein Wabenmuster. Bienen verwenden Sechsecke, weil sie die effizienteste Art sind, einen Boden ohne Lücken zu kacheln. Im Gehirn feuern „Gitterzellen" in einem hexagonalen Muster, wenn sich ein Tier durch den Raum bewegt.
Die Entdeckung: Der Autor zeigt, dass, wenn man viele dieser hexagonalen Gittermuster kombiniert (sie rotiert und hoch- oder runterskaliert), sie natürlich jenes perfekte, richtungsunabhängige Ähnlichkeits-Radar erzeugen, das wir wollten. Es stellt sich heraus, dass die eigene „Gitterzellen"-Hardware des Gehirns tatsächlich der perfekte Baustein für diese Mathematik ist.

3. Die drei Formen der Ähnlichkeit

Der Artikel sagt nicht nur „es funktioniert"; er berechnet genau, welche Art von Ähnlichkeits-Radar diese Gitterzellen erzeugen. Er identifiziert drei spezifische „Geschmacksrichtungen" oder Formen dieses Radars, abhängig davon, wie das Gehirn die Daten abtastet:

Der „Hypergeometrische" Kernel (Das Standard-Wabenmuster):
- Dies ist die Form, die entsteht, wenn das Gehirn Gitterzellen gleichmäßig abtastet (wie das Auswählen zufälliger Punkte auf einer Karte).
- Wie es aussieht: Es ist ein sanfter Hügel in der Mitte, der beim Weitergehen ein wenig wackelt, wie eine Welle in einem Teich. Wenn das Gehirn mehr Dimensionen verwendet (komplexere Karten), glätten sich die Wellen zu einer schönen, breiten Glockenkurve.
- Wichtige Erkenntnis: Der Artikel liefert eine neue mathematische Formel für diese Form und beweist genau, wie sie sich verhält.
Der „Gaußsche" Kernel (Die perfekte Glockenkurve):
- Dies ist die klassische „Glockenkurve", die jeder kennt.
- Wie man sie erhält: Wenn das Gehirn seine Gitterzellen auf eine bestimmte Weise abtastet (folgt einer Chi-Verteilung, was eine ausgefallene Art ist zu sagen, „die Distanzen genau richtig zu skalieren"), erzeugt es eine perfekte, glatte Gaußsche Kurve.
- Warum es wichtig ist: Dies beweist, dass das Gehirn eine perfekte, glatte Ähnlichkeitskarte erstellen könnte, wenn es seine Abtastung korrekt einstellt.
Der „Jinc"-Kernel (Die abklingende Welle):
- Dies ist eine Form, die wie eine Welle aussieht, die kleiner und kleiner wird, je weiter sie sich vom Zentrum entfernt.
- Wie man sie erhält: Wenn das Gehirn Gitterzellen abtastet, um ein bestimmtes Volumen zu füllen (wie das Füllen eines Ballons mit Wasser), erzeugt es diese „Jinc"-Form.
- Warum es wichtig ist: Es bietet eine andere Möglichkeit, Ähnlichkeit zu handhaben, die in einem bestimmten, wellenartigen Muster abfällt.

4. Die große Erkenntnis

Die wichtigste Schlussfolgerung des Artikels ist, dass Gitterzellen das „universelle Primitive" für räumliche Ähnlichkeit sind.

Stellen Sie sich Gitterzellen als Lego-Steine vor.

Sie können ein flaches, welliges Dach bauen (Hypergeometrisch).
Sie können eine perfekte Kuppel bauen (Gaußsch).
Sie können eine wellende Welle bauen (Jinc).

Der Artikel argumentiert, dass Sie keine unterschiedliche, komplexe Maschinerie benötigen, um diese verschiedenen Formen zu bauen. Sie benötigen nur dieselben grundlegenden „Gitterzellen"-Lego-Steine, angeordnet in verschiedenen Abtastmustern. Das Gehirn (oder eine gehirnähnliche KI) kann diese einzelne, effiziente Hardware verwenden, um jede Art von radialer Basisfunktion zu approximieren, die es benötigt, um Raum und Ähnlichkeit zu verstehen.

Kurz gesagt: Der Artikel beweist, dass die natürliche Art des Gehirns, Raum zu kartieren (unter Verwendung hexagonaler Gitterzellen), mathematisch perfekt ist, um „Ähnlichkeits-Radare" zu erstellen, die in jede Richtung gleich funktionieren, und er liefert uns die exakten Baupläne für drei verschiedene Arten dieser Radare.

Technisches Fazit: Neuronenplausible radiale Basis-Kernel mittels verteilter Fourier-Embeddings

Problemstellung
Kognitive Systeme benötigen kohärente, kontinuierliche Darstellungen multidimensionaler Räume, bei denen äquidistante Punkte ihre Eigenschaft der Äquidistanz unabhängig von der Richtung beibehalten. Traditionelle Fourier-basierte Embeddings, wie Random Fourier Features (RFFs) und Standard Spatial Semantic Pointers (SSPs), realisieren typischerweise eindimensionale Kernel. Werden diese kombiniert, um höherdimensionale Darstellungen zu bilden, wird die resultierende Ähnlichkeit über das innere Produkt zum Produkt der einzelnen Kernel. Folglich hängt die Ähnlichkeit zwischen äquidistanten Punkten sowohl vom Betrag als auch von der Richtung des sie verbindenden Vektors ab, wodurch eine echte radiale Symmetrie nicht erreicht wird. Zwar wurde beobachtet, dass Hexagonal Spatial Semantic Pointers (HexSSPs) ein verhalten ähnlich dem von radialen Basisfunktionen (RBFs) aufweisen, doch die exakte analytische Natur ihres induzierten Kernels blieb uncharakterisiert. Ferner ist unklar, wie alternative Sampling-Methoden, die gitterzellähnliche Darstellungen verwenden, beliebige radiale Basis-Kernel approximieren können.

Methodik
Die Arbeit nutzt den Satz von Bochner, um eine mathematische Brücke zwischen Wahrscheinlichkeitsverteilungen im Fourier-Raum und ihren entsprechenden shift-invarianten Kerneln zu schlagen. Der Kernansatz besteht darin, den Kernel $K(\mathbf{x})$ als inverse Fourier-Transformation einer Wahrscheinlichkeitsdichtefunktion $p(\boldsymbol{\omega})$ über den Phasenraum zu charakterisieren.

Um einen radialen Basis-Kernel (isotrope Ähnlichkeit, unabhängig von der Richtung) zu erreichen, schlagen die Autoren vor, Zeilen einer Phasenmatrix $\mathbf{A}$ aus einer gemeinsamen Wahrscheinlichkeitsverteilung zu sampeln, die rotationsinvariant (isotrop) ist. Dies erfordert, dass die Verteilung der Phasenvektoren in unabhängige Komponenten für den Betrag ( $r = \|\boldsymbol{\omega}\|_2$ ) und die Richtung ( $\hat{\boldsymbol{\omega}}$ ) separierbar ist, wobei die Richtungskomponente gleichmäßig über die Oberfläche einer $n$ -Kugel verteilt ist.

Die Arbeit leitet eine allgemeine Integralform für den Ähnlichkeits-Kernel in einem $n$ -dimensionalen Merkmalsraum her:
$K(\mathbf{x}) = \Gamma\left(\frac{n}{2}\right) \int_0^\infty p(r) \left( \frac{2}{r\|\mathbf{x}\|_2} \right)^{\frac{n}{2}-1} J_{\frac{n}{2}-1}(r\|\mathbf{x}\|_2) \, dr$
wobei $J$ die Bessel-Funktion erster Art ist.

Die Autoren wenden dieses Framework anschließend auf drei spezifische Sampling-Verteilungen für den Betrag $r$ an:

Gleichverteilung ( $r \sim U(0, \lambda)$ ): Entspricht der Standard-Implementierung von HexSSPs, bei der Simplex-Skalen gleichmäßig gesampelt werden.
Chi-Verteilung ( $r \sim \chi(n)$ ): Entspricht dem Sampling aus einer isotropen Gauß-Verteilung.
Skalierte Beta-Verteilung ( $r \sim \beta_\lambda(n, 1)$ ): Entspricht dem gleichmäßigen Sampling innerhalb einer $n$ -Kugel.

Hauptbeiträge und Ergebnisse

Analytische Charakterisierung von HexSSP-Kerneln:
Die Arbeit liefert die erste analytische Herleitung des durch Standard-HexSSPs (bei denen Beträge gleichmäßig verteilt sind) induzierten Kernels. Der resultierende Kernel wird als integrierter hypergeometrischer Kernel (oder einfach „hypergeometrischer Kernel") identifiziert.
- Der Kernel wird als Potenzreihe ausgedrückt, die das Pochhammer-Symbol beinhaltet.
- Die Analyse zeigt, dass mit zunehmender Dimensionalität $n$ der Kernel breiter wird und die Oszillationen abnehmen, wobei er sich einem konstanten Wert von 1 annähert. Dies impliziert, dass bei hinreichend hohen Merkmalsdimensionen der Embedding-Raum die Fähigkeit verliert, zwischen Punkten zu unterscheiden, eine Einschränkung, die bei Gauß-Kerneln nicht vorhanden ist.
Herleitung alternativer Kernel:
Die Autoren zeigen, dass durch Änderung der Sampling-Verteilung für den Betrag innerhalb des HexSSP-Frameworks verschiedene radiale Basis-Kernel realisiert werden können:
- Gauß-Kernel: Durch Sampling von Beträgen aus einer Chi-Verteilung ( $r \sim \chi(n)$ ) realisiert das Framework einen Standard-Gauß-Kernel $K(\mathbf{x}) = e^{-\|\mathbf{x}\|^2/2}$ . Im Gegensatz zum hypergeometrischen Kernel ist diese Form bezüglich ihrer Form robust gegenüber Änderungen der Dimensionalität $n$ , sofern die Verteilung von $r$ entsprechend skaliert.
- $n$ -jinc-Kernel: Durch Sampling von Beträgen aus einer skalierten Beta-Verteilung ( $r \sim \beta_\lambda(n, 1)$ ) realisiert das Framework einen abklingenden Bessel-Funktions-Kernel, der als „ $n$ -jinc-Kernel" bezeichnet wird. Dieser Kernel verhält sich wie eine jinc-Funktion ( $x^{-1}J_0(x)$ ), wenn $n=2$ . Wie der hypergeometrische Kernel ist seine Form von der Dimensionalität $n$ abhängig.
Optimalität gitterzellähnlicher Darstellungen:
Die Arbeit argumentiert, dass die geometrische Struktur von HexSSPs – aufgebaut aus zentrierten Simplexen (analog zu Feuerfeldern von Gitterzellen) – ein optimales Primitiv zur Approximation radialer Basisfunktionen darstellt. Die Simplex-Form gewährleistet einen gleichen Beitrag aller Punkte in allen Richtungen, während gleichzeitig die Anzahl der Punkte minimiert wird, die erforderlich sind, um den $n$ -dimensionalen Merkmalsraum abzudecken. Die Kombination mehrerer Gitterzellen-Orientierungen und -Skalen ermöglicht es dem System, jede symmetrische, zentrierte Wahrscheinlichkeitsverteilung $p(r)$ und somit jeden radialen Basis-Kernel zu approximieren.

Bedeutung und Behauptungen
Die Arbeit behauptet zu demonstrieren, dass neuronaleplausible Darstellungen mit gitterzellähnlichen Phasenstrukturen ausreichen („all you need"), um jede radiale Basisfunktion zu approximieren. Durch die analytische Charakterisierung des hypergeometrischen Kernels und die Herleitung von Gauß- und $n$ -jinc-Alternativen schließt die Arbeit die Lücke zwischen abstrakten verteilten Darstellungen (SSPs) und biologischer Plausibilität (Gitterzellen).

Die Autoren stellen fest, dass diese Arbeit darauf abzielt, eine verstärkte Berücksichtigung der Konstruktion neuronalerplausibler Darstellungen für Aufgaben zu motivieren, die hochdimensionale Optimierung und kognitive Modellierung beinhalten. Die Arbeit betont, dass gitterzellähnliche Darstellungen nicht nur in der Lage sind, radiale Basis-Kernel zu realisieren, sondern dafür auch optimal sind, und bietet einen einheitlichen Rahmen zur Synthese physikalischer und perceptueller Phänomene in einem einzigen Darstellungsraum.

1. Das Problem: Die „Richtungs"-Falle

2. Die Lösung: Das „Hexagonale Gitter" (HexSSPs)

3. Die drei Formen der Ähnlichkeit

4. Die große Erkenntnis

Technisches Fazit: Neuronenplausible radiale Basis-Kernel mittels verteilter Fourier-Embeddings

Mehr davon