🤖 AI

The Importance of Phase in Neural Representations: An Internal Oppenheim-Lim Test of Image Classifiers

Diese Studie zeigt, dass tiefe Bildklassifikatoren, einschließlich CNNs und Vision Transformern, die Identität eines Bildes primär durch Phasen- oder Vorzeicheninformationen anstatt durch Magnitude intern kodieren, was eine mechanistische Erklärung für die Textur-Form-Lücke zwischen diesen Architekturen liefert.

Ursprüngliche Autoren: Alper Yıldırım

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alper Yıldırım

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei verschiedene Fotos: ein Bild einer Katze und ein Bild eines Hundes. Stellen Sie sich nun vor, Sie könnten das „Skelett“ der Katze (ihre Umrisse, Kanten und die Platzierung der Elemente) nehmen und es auf das „Fleisch“ des Hundes (dessen Farben, Helligkeit und Textur) aufkleben.

Im Jahr 1981 taten Wissenschaftler wie Oppenheim und Lim etwas Ähnliches mit Mathematik. Sie fanden heraus, dass, wenn man die Phase (das Skelett/die Struktur) eines Bildes mit der Amplitude (der Energie/Textur) eines anderen Bildes vertauscht, das resultierende Bild wie dasjenige aussieht, das das Skelett gespendet hat. Das Gehirn erkennt die Form, nicht die Textur.

Dieses Paper stellt eine faszinierende Frage: Funktionieren moderne KI-Bildklassifizierer in ihren „Gehirnen“ (verborgenen Schichten) auf die gleiche Weise? Verlassen sie sich auf das „Skelett“ (Phase), um ein Objekt zu erkennen, oder lassen sie sich durch das „Fleisch“ (Amplitude/Textur) ablenken?

Hier ist die Aufschlüsselung dessen, was die Forscher herausgefunden haben, unter Verwendung einfacher Analogien:

Das Experiment: Der „Chimären“-Test

Die Forscher erstellten „Chimären“-Bilder innerhalb des KI-Gehirns. Sie nahmen die mittlere Schicht eines neuronalen Netzes, das eine Katze verarbeitet, behielten die Helligkeit/Textur der Katze (Amplitude) bei, tauschten aber die strukturelle Kontur des Hundes (Phase) ein. Dann fragten sie die KI: „Ist das eine Katze oder ein Hund?“

Dies taten sie für vier verschiedene Arten von KI-Modellen:

PRISM2D: Ein Modell, das mit komplexer Mathematik gebaut wurde und von Natur aus „Richtungen“ (wie einen Kompass) verarbeiten kann.
GFNet: Ein Modell, das Bilder durch eine „Fourier-Linse“ betrachtet (sie in Wellen zerlegt).
ViT (Vision Transformer): Ein modernes, populäres Modell, das Bilder in Patches (Teilstücken) betrachtet.
ResNet: Ein klassisches, sehr tiefes Modell, das „ReLU“ verwendet (ein mathematisches Tor, das negative Zahlen abschneidet).

Die große Entdeckung: Das „Skelett“ gewinnt

In fast allen Fällen folgte die KI dem Sendermodell des Skeletts.

Wenn die Chimäre die Textur der Katze, aber die Struktur des Hundes hatte, sagte die KI: „Das ist ein Hund.“
Die Amplitude ist entbehrlich: Die Forscher versuchten, alle spezifischen Texturinformationen zu löschen (indem sie sie durch eine generische Durchschnittstextur ersetzten), und die KI lieferte immer noch die richtige Antwort.
Die Phase ist essenziell: Wenn sie die Struktur (Phase) durcheinanderbrachten, aber die Textur beibehielten, wurde die KI verwirrt und rätte zufällig.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine Person in einer Menge zu identifizieren. Wenn Sie ihr einen generischen, unscharfen Mantel (Amplitude) geben, aber ihre einzigartige Gesichtsform und Körperhaltung (Phase) beibehalten, können Sie sie immer noch erkennen. Aber wenn Sie ihr einen perfekten, hochauflösenden Mantel eines Fremden geben, aber die Gesichtsform verändern, können Sie nicht mehr sagen, wer es ist. Die KI hat überraschenderweise gelernt, den „Mantel“ zu ignorieren und sich statlich ganz auf die „Gesichtsform“ zu konzentrieren.

Die Wendung: Verschiedene Modelle, verschiedene Wege

Obwohl alle Modelle letztendlich auf das „Skelett“ vertrauten, kamen sie auf unterschiedliche Weise dorthin:

Die „Frühstarter“ (ViT, PRISM2D, GFNet): Diese Modelle erkannten die Bedeutung der Struktur fast sofort. In ViT ist das „Vorzeichen“ (eine einfache Version der Phase) der wichtigste Hinweis bereits in der ersten Schicht. Sie sind wie Detektive, die sofort auf die Umrisse eines Tatorts achten.
Der „Spätzünder“ (ResNet): Dieses Modell ist knifflig. Zuerst schien es die Struktur zu ignorieren und sich auf die Textur zu verlassen. Warum? Weil ResNet ein „Tor“ (ReLU) besitzt, das negative Zahlen abschneidet. Dieses Tor verbirgt die strukturellen Hinweise innerhalb der Helligkeit (Amplitude).
- Die Lösung: Als die Forscher vor dem Schließen des Tores hineinspähten, fanden sie, dass die strukturellen Hinweise die ganze Zeit über da waren, nur eben versteckt.
- Der letzte Schritt: Ganz am Ende faltet ResNet all diese strukturellen Informationen in eine einzige „Durchschnittshelligkeit“ (den DC-Term) zusammen, um seine endgültige Entscheidung zu treffen. Es ist wie ein Detektiv, der die ganze Untersuchung über Details beobachtet, aber am Ende nur einen kurzen Blick auf das Gesamtgewicht der Beweise wirft, um ein Urteil zu fällen.

Warum das wichtig ist (laut dem Paper)

Dies erklärt ein langjähriges Rätsel der KI: Warum lassen sich manche Modelle (wie CNNs) von der Textur täuschen (indem sie denken, eine Katze sei ein Hund, wegen des Fellmusters), während andere (wie Transformer) besser darin sind, Formen zu erkennen?

Das Paper argumentiert, dass es nicht darum geht, ob ein Modell „besser“ als das andere ist. Es geht darum, wann und wie sie sich dem „Sskelett“-Code verschreiben.

Einige Modelle verschreiben sich der Form früh.
Andere verstecken die Form innerhalb der Textur bis zum Schluss.
Aber bis sie eine endgültige Entscheidung treffen, verlassen sie sich alle auf die Form (Phase/Vorzeichen), nicht auf die Textur (Amplitude).

Zusammenfassung

Das Paper beweist, dass innerhalb der „Black Box“ moderner Bildklassifizierer die Struktur eines Bildes der wahre Träger der Identität ist, während die Textur weitgehend Rauschen ist, das das Modell ignorieren kann. Unterschiedliche Architekturen haben lediglich verschiedene „Geheimsprachen“, um diese Struktur zu kodieren, aber sie alle stimmen bei derselben grundlegenden Regel überein: Form zählt mehr als Stil.

Technische Zusammenfassung: Die Bedeutung der Phase in neuronalen Repräsentationen

Problemstellung
Natürliche Bilder weisen eine fundamentale Asymmetrie in ihrer Fourier-Repräsentation auf: Das Phasenspektrum kodiert Kanten, Konturen und räumliche Anordnungen (Identität), während das Magnitudenspektrum ein inhaltsagnostisches Energieprofil kodiert. Die klassische Arbeit von Oppenheim und Lim (1981) zeigte, dass die Rekonstruktion eines Bildes allein aus seiner Phase ein erkennbares Ergebnis liefert, während dies mit der Magnitude allein nicht der Fall ist. Moderne Bildklassifikatoren werden End-to-End auf Pixeln trainiert, ohne explizite Fourier-Beschränkungen zu nutzen, doch es bleibt unklar, ob diese Phase-Magnitude-Asymmetrie innerhalb ihrer latenten Repräsentationen wiederentdeckt wird. Frühere Studien behandelten Phase und Magnitude jeweils als „Inhalt“ und „Stil“ im Rahmen von Datenaugmentation oder Domänenanpassung, doch diese Ansätze operieren strikt im Pixelraum. Diese Arbeit fragt, ob trainierte Bildklassifikatoren intern eine identitätsähnliche Kodierung in einer phasenartigen Komponente speichern und ob diese Kodierung kausal für die endgültige Vorhersage ist.

Methodik
Die Autoren adaptieren das Oppenheim–Lim-Experiment in ein kausales Interventionsframework, das auf die verborgenen Schichten (Hidden Layers) trainierter neuronaler Netze angewendet wird. Das Kernverfahren umfasst:

Chimären-Konstruktion: Gegeben seien zwei Bilder unterschiedlicher Klassen ( $A$ und $B$ ). Die Autoren konstruieren einen „Chimären“-Zustand im verborgenen Zustand einer spezifischen Schicht $\ell$ . Dieser Zustand behält die Magnitude von Bild $A$ ( $|h_A|$ ), übernimmt aber die phasenähnliche Komponente von Bild $B$ ( $\phi(h_B)$ ).
Phasendefinitionen: Die Definition von „Phase“ passt sich an den Repräsentationsraum der Architektur an:
- Komplexer Strom: Für komplexwertige Netzwerke (PRISM2D) ist die Phase der komplexe Winkel pro Kanal ( $h/|h|$ ).
- Reale Feature-Maps: Für reelle Netzwerke wird die Phase über eine 2D-Fourier-Transformation über das räumliche Gitter definiert (räumlich-spektrale Phase).
- Reelle Skalare: Für Standard-Realskalare degeneriert die Phase zum Vorzeichen ( $\text{sign}(h)$ ), was als universale Sonde über alle Architekturen hinweg dient.
Intervention: Der Chimären-Zustand wird in das Netzwerk injiziert, und der Forward Pass wird abgeschlossen. Die Vorhersage wird aufgezeichnet, um zu bestimmen, ob das Modell dem „Magnitude-Geber“ ( $A$ ) oder dem „Phase/Vorzeichen-Geber“ ( $B$ ) folgt.
Evaluierte Modelle: Die Studie umfasst vier Architekturen, um die Generalisierbarkeit zu testen:
- PRISM2D: Ein komplexwertiges Modell mit phasenwahrenden Aktivierungen.
- GFNet-Ti: Ein reales Spektralmodell, das im Fourier-Bereich filtert.
- ViT-B/16: Ein Standard-Vision Transformer.
- ResNet-50: Ein Standard-Faltungsnetzwerk (CNN).
Kontrollen: Um triviale Erklärungen auszuschließen (z. B. dass Magnituden mit zunehmender Tiefe uninformativ werden), verwenden die Autoren Kontrollen, darunter:
- Magnitude-Substitution: Ersetzen aller bildspezifischen Magnituden durch eine Batch-Mittelwert-Magnitude.
- Phasen-Destruktion: Randomisieren der Phase bei Beibehaltung der Magnitude.
- Nur-DC-Swaps: Isolierung des globalen Mittelwerts (DC-Term) von der räumlichen Struktur.
- Geometrie-Checks: Messung der Kosinus-Ähnlichkeit zwischen Chimären und Gebern, um sicherzustellen, dass die Chimäre nicht einfach den Geber-Zustand rekonstruiert.

Kernergebnisse

Dominanz von Phase/Vorzeichen: In allen vier Architekturen folgt die Vorhersage mit hoher Wahrscheinlichkeit dem Phasen- (oder Vorzeichen-) Geber zum Zeitpunkt der Auslesung.
- ViT-B/16: Verankert einen vorzeichenbasierten Identitätscode bereits im ersten Block und erreicht bis zur finalen Schicht ~91 % Follow-Phase.
- PRISM2D & GFNet: Bauen die Phasenabhängigkeit über die frühe bis mittlere Tiefe auf und erreichen ~75–76 %.
- ResNet-50: Scheint anfangs das Muster zu durchbrechen, da das Vertauschen von Vorzeichen nach ReLU keinen Effekt hat (da ReLU die Vorzeicheninformation entfernt). Die Intervention vor dem letzten ReLU der Residualblöcke offenbart jedoch einen starken latenten Vorzeichen-Code in späten Blöcken (~88 %), ähnlich wie beim ViT.
Magnitude-Invarianz: Das Löschen aller bildspezifischen Magnitude-Informationen (Ersetzen durch Batch-Mittelwert-Magnitude) lässt die Genauigkeit nahe am Baseline-Niveau für Spektralmodelle und ViT. Im Gegensatz dazu führt die Zerstörung der Phase zum Kollaps der Genauigkeit auf nahezu Zufallsniveau.
Mechanistische Unterschiede:
- ViT drückt den Identitätscode früh aus und hält ihn durchgehend aufrecht.
- Spektralmodelle konsolidieren die Identität früh in der Phase.
- ResNet transportiert die Identität von einer verteilten räumlichen Struktur in frühen Schichten in einen Pooling-lesbaren Kanal-Code (speziell den DC-Term) in den finalen Blöcken. Die „Textur-Form-Lücke“ zwischen CNNs und Attention-Modellen wird nicht als binäre Aufteilung zwischen Phase vs. Magnitude umgedeutet, sondern als Unterschied darin, wann und in welcher Basis der Phasen-/Vorzeichen-Code ausgedrückt wird.

Bedeutung und Behauptungen
Das Paper beansprucht, eine vereinheitlichte, auslesbare Erklärung dafür zu liefern, wie diverse Bildklassifikatoren zu einem phasen-/vorzeichen-dominanten Identitätscode konvergieren.

Kausale Evidenz: Im Gegensatz zu bisherigen Augmentationsstudien etabliert diese Arbeit Kausalität, indem sie zeigt, dass Identität via Phasen-/Vorzeichen-Manipulation innerhalb des Netzwerks zwischen Bildern „transplantiert“ werden kann.
Neubewertung der Textur-Form-Lücke: Der behaviorale Unterschied zwischen texturbasierten CNNs und formenausgerichteten Attention-Modellen wird durch das Timing und die Geometrie des Identitätscodes erklärt. CNNs (wie ResNet) verbergen den Vorzeichen-Code hinter der Rektifikation und verlassen sich auf die Magnitude für das Signal bis zur finalen Pooling-Schicht, während Attention- und Spektralmodelle sich früher auf Phase/Vorzeichen festlegen.
Geometrische Interpretation: Die Ergebnisse legen nahe, dass lineare Klassifikatoren den „Winkel“ (Phase/Vorzeichen) des Feature-Vektors lesen und nicht seine „Länge“ (Magnitude). Dies deckt sich mit anderen Erkenntnissen der mechanistischen Interpretierbarkeit bezüglich periodischer und winkelerzeugter Repräsentationen in neuronalen Netzen.

Limitierungen
Die Autoren merken an, dass der Umfang auf Vision-Modelle beschränkt ist. Obwohl die Transplantationsmethode modalitäts-generisch ist, ist der sauberste Test in Bildern möglich. Zudem führt der Vergleich zwischen Modellen, die auf ImageNet-100 (PRISM2D, GFNet) trainiert wurden, und solchen mit ImageNet-1k-Gewichten (ViT, ResNet), einen Unterschied im Trainingsmaßstab ein, obwohl die Autoren argumentieren, dass die Tiefen-Trends innerhalb der Modelle valide bleiben. Die Definition von „Phase“ variiert zwischen den Architekturen (komplexer Winkel, spektrale Phase oder skalares Vorzeichen), was eine Familie verwandter Codes darstellt, statt einer einzelnen, einheitlichen Größe.