🧬 biology

On periodic distributed representations using Fourier embeddings

Dieser Artikel schlägt die Verwendung hochdimensionaler, reellwertiger periodischer Einbettungen vor, um die Einschränkungen skalärer Winkelmaße bei der Darstellung periodischer Signale zu überwinden, und zeigt insbesondere, wie Dirichlet- und periodische Gauß-Kernel im Rahmen der Spatial Semantic Pointers konstruiert werden können.

Ursprüngliche Autoren: Jakeb Chouinard

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jakeb Chouinard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Computer beizubringen, Dinge zu verstehen, die sich im Kreis bewegen, wie die Zeiger einer Uhr, die Richtung, in die eine Person schaut, oder die Tonhöhe einer musikalischen Note.

In der digitalen Welt behandeln Computer Zahlen normalerweise als gerade Linie. Wenn Sie einem Computer sagen, dass „1 Grad" und „359 Grad" fast gleich sind, gerät er in Verwirrung. Für den Computer sind 1 und 359 auf einer Zahlenlinie weit voneinander entfernt, obwohl sie auf einem Zifferblatt direkt nebeneinander liegen. Dies erzeugt einen „scharfen Abgrund" in den Daten, an dem Dinge, die eigentlich glatt verlaufen sollten, plötzlich abbrechen.

Dieser Papier schlägt einen klugen Weg vor, dieses Problem mithilfe periodischer verteilter Repräsentationen zu lösen. Hier ist die Funktionsweise, erklärt durch einfache Analogien:

1. Das Problem: Die gerade Linie versus der Kreis

Stellen Sie sich eine Standard-Computer-Zahlenlinie als eine lange, gerade Straße vor. Wenn Sie sich nahe dem Ende der Straße befinden (sagen wir, Kilometer 359) und zum Kilometer 1 gelangen möchten, müssen Sie den gesamten Weg zurück zum Start fahren. Der Computer sieht einen riesigen Abstand zwischen ihnen.

In der realen Welt sind jedoch viele Dinge kreisförmig. Wenn Sie Ihren Kopf leicht drehen, von Norden nach Nord-Nordwest, ist das eine winzige Änderung. Wenn Sie aber Norden als „0" und Nord-Nordwest als „359" darstellen, denkt der Computer, Sie hätten sich fast einmal um die ganze Welt gedreht.

2. Die Lösung: Das „Orchester" von Signalen

Anstatt eine einzelne Zahl zu verwenden, um einen Winkel darzustellen (wie „0" oder „359"), schlagen die Autoren die Verwendung einer hochdimensionalen Einbettung vor.

Stellen Sie sich vor, Sie verwenden keine einzelne Zahl, um eine Richtung zu beschreiben. Stattdessen nutzen Sie einen ganzen Chor aus 100 verschiedenen Sängern (einen hochdimensionalen Vektor). Jeder Sänger summt eine bestimmte Note (eine Welle), die sich immer wiederholt.

Wenn Sie bei „0 Grad" sind, singt der Chor eine spezifische Harmonie.
Wenn Sie bei „359 Grad" sind, singt der Chor eine Harmonie, die der bei „0 Grad" fast identisch ist.
Wenn Sie bei „180 Grad" sind (die gegenüberliegende Seite), singt der Chor eine völlig andere, dissonante Harmonie.

Durch die Verwendung dieses „Chors" sich wiederholender Wellen (speziell Fourier-Einbettungen) kann der Computer sofort erkennen, dass 0 und 359 Nachbarn sind, weil ihre „Lieder" sehr ähnlich klingen. Es gibt keinen scharfen Abgrund; der Übergang ist glatt.

3. Das Stimmen der „Lieder" (Die Kernel)

Das Papier erklärt, dass Sie genau steuern können, wie diese „Lieder" klingen, indem Sie auswählen, wie Sie die Noten für Ihren Chor wählen. Dies wird als Definieren der Kernel-Form bezeichnet.

Die Autoren zeigen zwei Hauptmethoden, um dies zu tun:

Die „Dirichlet"-Methode (Uniform Sampling): Stellen Sie sich vor, Sie wählen Noten für Ihren Chor völlig zufällig aus einem bestimmten Bereich. Dies erzeugt ein Muster, das wie eine sich wiederholende „sinc"-Welle aussieht (eine Welle mit einem großen Buckel in der Mitte und kleineren Wellen auf den Seiten). Es funktioniert gut, aber die Wellen können etwas chaotisch und negativ werden, was für den Computer beim Vergleich komplexer, mehrdimensionaler Richtungen verwirrend sein kann.
Die „Gaussian"-Methode (Normal Sampling): Stellen Sie sich vor, Sie wählen Noten für Ihren Chor basierend auf einer Glockenkurve, wobei die mittleren Noten am häufigsten und die extremen Noten am seltensten gewählt werden. Dies erzeugt einen periodischen Gaußschen Kernel.
- Die Analogie: Denken Sie daran wie an ein weiches, verschwommenes Scheinwerferlicht. Die Mitte ist hell (hohe Ähnlichkeit), und es blendet in alle Richtungen sanft aus, ohne die chaotischen, negativen Wellen der ersten Methode. Es ist „glatter" und zuverlässiger für die Darstellung komplexer Räume.

4. Warum dies wichtig ist

Die Autoren argumentieren, dass wir durch die Verwendung dieser spezifischen „Chor"-Repräsentationen (die sie Spatial Semantic Pointers nennen) Computermodelle entwickeln können, die mit kreisförmigen Daten viel besser umgehen als zuvor.

Sie erwähnen speziell, dass dies Modellen helfen könnte, Folgendes zu verstehen:

Richtung und Orientierung: Wie ein Roboter, der weiß, welche Richtung „oben" oder „vorwärts" ist, ohne am 360-Grad-Markierungspunkt verwirrt zu werden.
Zirkadiane Rhythmen: Das Verständnis von Zeitzyklen (Tag/Nacht).
Musikalische Muster: Das Erkennen von Noten, die sich um eine Oktave herum fortsetzen.
Reizwahrnehmung: Sogar Dinge wie Farbe, die oft zyklisch sind (Rot geht wieder in Rot über).

Zusammenfassung

Kurz gesagt sagt das Papier: „Hören Sie auf, gerade Linien zu verwenden, um Kreise zu messen." Verwenden Sie stattdessen eine hochdimensionale Menge sich wiederholender Wellen (wie einen Chor von Sängern), um Winkel darzustellen. Indem wir sorgfältig auswählen, wie wir diese Wellen stimmen, können wir eine glatte, kontinuierliche Karte erstellen, bei der Anfang und Ende eines Zyklus perfekt verbunden sind und Computer die natürlichen Zyklen der Welt genauso verstehen können wie wir.

Technisches Fazit: Zu periodischen verteilten Darstellungen mittels Fourier-Einbettungen

Problemstellung
Periodische Signale, wie Orientierungswinkel, circadiane Rhythmen und musikalische Muster, sind grundlegend für physische und wahrnehmungsbezogene Phänomene. Die Darstellung dieser Signale mittels skalärer, reeller Winkelmaße (z. B. Radiant oder Grad) führt jedoch zu erheblichen Herausforderungen. Insbesondere haben skalare Darstellungen Schwierigkeiten, nahe beieinanderliegende Winkel zu unterscheiden oder zu verarbeiten, wenn ihre absolute Differenz $\pi$ überschreitet, was zu scharfen Diskontinuitäten an den Grenzen der Periodizität des Signals führt. Beispielsweise ist der Winkelabstand zwischen $\epsilon$ und $2\pi - \epsilon$ physikalisch gering, ihre skalare Differenz ist jedoch groß ( $|2\pi - 2\epsilon|$ ). Bestehende Ansätze für verteilte Einbettungen, wie Random Fourier Features (RFFs), konzentrieren sich typischerweise auf kontinuierliche Merkmalsdarstellungen, die unendliche Zahlenlinien auf hochdimensionale Trajektorien abbilden, wobei die Charakterisierung und Analyse periodischer Versionen dieser Einbettungen und ihrer induzierten Kernel weitgehend unerforscht bleibt.

Methodik
Die Autoren schlagen vor, reellwertige, periodische Einbettungen im hochdimensionalen Raum zu konstruieren, um skalare Diskontinuitäten zu beheben. Die Kernrepräsentation ist definiert als $\phi(\mathbf{x}) = \mathcal{F}^{-1}\{e^{j\mathbf{A}\mathbf{x}}\}$ , wobei $\mathbf{x} \in \mathbb{R}^n$ , $j$ die imaginäre Einheit ist und $\mathbf{A} \in \mathbb{R}^{d \times n}$ eine konjugiert symmetrische Phasenmatrix darstellt. Diese Einbettungen werden als Spatial Semantic Pointers (SSPs) identifiziert, die aufgrund ihrer neuronalen Machbarkeit und ihrer kompositorischen Struktur gewählt wurden.

Um sicherzustellen, dass die Einbettungen eine spezifische Periode $t^\circ \in \mathbb{R}^+$ aufweisen, müssen alle Einträge der Matrix $\mathbf{A}$ ganzzahlige Vielfache von perioden-skalierten Fourier-Wurzeln ( $2\pi n t^{\circ -1}$ ) sein. Die Menge der möglichen Einträge, $\Omega$ , wird aus einer diskreten Menge $S^\circ(t^\circ)$ abgetastet.

Die Ähnlichkeit zwischen zwei Punkten $\mathbf{x}$ und $\mathbf{y}$ wird über das Skalarprodukt ihrer Einbettungen gemessen, was einen verschiebungsinvarianten Kernel $K(\mathbf{x} - \mathbf{y})$ approximiert. Da die Spalten von $\mathbf{A}$ unabhängig und identisch verteilt (i.i.d.) sind, ist der $n$ -dimensionale Kernel das Produkt einzelner 1D-Kernel: $K(\mathbf{x}) = \prod_{i=1}^n k(x_i)$ . Die Form des einzelnen Kernels $k(x)$ wird durch die inverse Fourier-Transformation der Wahrscheinlichkeitsmassenfunktion (PMF) bestimmt, die zur Abtastung der Einträge von $\mathbf{A}$ verwendet wird.

Der Artikel formalisiert zwei spezifische Kernel-Formen basierend auf unterschiedlichen Abtastverteilungen für $\mathbf{A}$ :

Dirichlet-Kernel: Erzeugt durch gleichmäßiges Abtasten ganzzahliger Vielfacher der Fourier-Wurzeln innerhalb eines Frequenzbands $B$ . Der resultierende Kernel ist ein normalisierter Dirichlet-Kernel (äquivalent zu einer sich wiederholenden sinc-Funktion).
Periodischer Gauß-Kernel: Erzeugt durch Abtasten der Einträge aus einer zentrierten, pseudo-normalen Verteilung über die ganzen Zahlen innerhalb desselben Frequenzbands. Der resultierende Kernel approximiert ein Verhältnis von Theta-Funktionen und liefert einen periodischen Gauß-Ähnlichkeitskernel.

Hauptbeiträge

Formalisierung periodischer SSPs: Die Arbeit bietet einen formalen Rahmen zur Konstruktion hochdimensionaler periodischer Einbettungen mittels Spatial Semantic Pointers, wodurch sichergestellt wird, dass die Darstellungen reellwertig und zyklisch sind.
Charakterisierung von Kerneln: Die Autoren leiten die spezifischen mathematischen Formen der induzierten Kernel für periodische Einbettungen her. Sie zeigen, dass eine gleichmäßige Abtastung von Phasenmatrizen zu einem Produkt von Dirichlet-Kerneln führt, während eine normalähnliche Abtastung zu einem Produkt von periodischen Gauß-Kerneln führt.
Kontrolle über Kernel-Formen: Der Artikel hebt hervor, dass durch die Kontrolle der Abtastverteilung der Phasenmatrix $\mathbf{A}$ eine Vielzahl unterschiedlicher Kernel-Formen (z. B. Dirichlet vs. Gauß) konstruiert werden kann, um unterschiedlichen Modellierungsbedürfnissen gerecht zu werden.
Adressierung von Dimensionsproblemen: Die Autoren stellen fest, dass der Kernel aus dem Produkt von Dirichlet-Funktionen stark oszillierend und nicht radial symmetrisch ist (was ihn für äquidistante Merkmalsräume weniger ideal macht), während der Kernel aus dem Produkt von Gauß-Funktionen eine glattere, nicht-negative Alternative bietet, obwohl er weiterhin radial asymmetrisch bleibt.

Ergebnisse
Der Artikel präsentiert theoretische Herleitungen und Visualisierungen (Abbildung 1), die den normalisierten periodischen Gauß-Kernel und den Dirichlet-Kernel vergleichen. Die Visualisierungen bestätigen, dass:

Der Dirichlet-Kernel (aus gleichmäßiger Abtastung) ausgeprägte negative Lappen und hohe Oszillationen nahe Null aufweist, was für die Darstellung kontinuierlicher, mehrdimensionaler Merkmalsräume, in denen äquidistante Merkmale gleich ähnlich sein sollten, suboptimal sein kann.
Der periodische Gauß-Kernel (aus normaler Abtastung) glatter und überall nicht-negativ ist und ein stabileres Ähnlichkeitsmaß bietet, obwohl er eine radiale Asymmetrie beibehält, die der seines Dirichlet-Pendants ähnelt.

Bedeutung und Behauptungen
Die Arbeit behauptet, eine Methode zur Konstruktion hochdimensionaler Darstellungen anzubieten, die inhärent zyklisch sind und damit die mit skalaren Winkelrepräsentationen verbundenen Diskontinuitäten vermeiden. Durch die Charakterisierung der sich wiederholenden Kernel für hochdimensionale Merkmalsräume bietet die Arbeit einen Mechanismus zur Kontrolle der Natur von Skalarprodukt-Ähnlichkeiten. Die Autoren geben an, dass diese Techniken dazu bestimmt sind, in kognitiven Modellen angewendet zu werden, die Richtung, Orientierung und Stimuluswahrnehmung (wie Farbe) betreffen, um Modelle zu schaffen, die menschähnliches Verhalten zeigen können. Die Arbeit dient als grundlegender Schritt zur Formalisierung von Dirichlet- und periodischen Gauß-Kerneln im Kontext von neuronal plausiblen Repräsentationsschemata.