🧬 biology

Dissociating spatial frequency reliance from adversarial robustness advantages in neurally guided deep convolutional neural networks

Diese Studie zeigt, dass zwar neurale ausgerichtete tiefe Faltungsneuronale Netze sowohl eine erhöhte Abhängigkeit von niedrigen räumlichen Frequenzen als auch eine verbesserte adversarielle Robustheit aufweisen, die Verschiebung hin zur Verarbeitung niedriger Frequenzen jedoch lediglich eine emergente Eigenschaft des Erlernens menschähnlicher Repräsentationen und nicht der primäre Mechanismus ist, der die Robustheit antreibt, da eine direkte Biasierung von Modellen zugunsten dieser Frequenzen die Robustheitsgewinne nicht replizieren kann.

Ursprüngliche Autoren: Zhenan Shao, Tianyu Ren, Chengxiao Wang, Leyla Isik, Diane M. Beck

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhenan Shao, Tianyu Ren, Chengxiao Wang, Leyla Isik, Diane M. Beck

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, Tiere auf Fotos zu erkennen. Sie wollen, dass er so robust und zuverlässig ist wie ein Mensch, sodass er nicht durch winzige, unsichtbare Veränderungen am Bild getäuscht wird (wie das Verschieben einiger weniger Pixel), die einen Menschen zum Lachen bringen würden, den Roboter aber dazu veranlassen, einen „Hund" tatsächlich für einen „Strauß" zu halten.

Wissenschaftler haben kürzlich entdeckt, dass es viel schwieriger ist, einen Roboter zu täuschen, wenn sie ihn lehren, „wie ein menschliches Gehirn zu denken". Doch sie wussten nicht, warum.

Eine populäre Theorie besagte, dass der Roboter robuster wurde, weil er begann, feine Details (wie Felltextur) zu ignorieren und sich nur auf große, unscharfe Formen (wie die allgemeine Umrisse des Tieres) zu konzentrieren. Eine andere Theorie schlug vor, dass er sich auf einen spezifischen „Sweet Spot" an Details konzentrierte, den Menschen zur Erkennung von Dingen nutzen.

Dieser Artikel ist wie eine Detektivgeschichte, in der die Forscher diese Theorien testen, indem sie den Roboter zwingen, sich nur auf diese spezifischen Dinge zu konzentrieren. Hier ist das Ergebnis, einfach erklärt:

Das Setup: Die Debatte „Unscharf vs. Scharf"

Stellen Sie sich ein Bild wie ein Lied vor.

Niedrige Frequenzen (LSF): Die tiefen Bassnoten. Diese vermitteln Ihnen die allgemeine Stimmung und die Form des Liedes.
Hohe Frequenzen (HSF): Die hohen Becken und winzigen Noten. Diese vermitteln Ihnen die feinen Details und Texturen.
Der „menschliche Kanal": Ein spezifischer Notenbereich in der Mitte, auf den Menschen bei der Erkennung von Gesichtern und Objekten am meisten zu vertrauen scheinen.

Frühere Studien zeigten, dass Roboter, die trainiert wurden, das menschliche Gehirn nachzuahmen, auf natürliche Weise mehr auf den „Bass" (Niedrige Frequenzen) und diesen spezifischen „menschlichen Kanal" hörten und weniger auf die „Becken" (Hohe Frequenzen). Dies machte sie schwerer zu täuschen.

Das Experiment: Den Roboter zum Zuhören zwingen

Die Forscher stellten die Frage: Ist der Roboter robust, weil er auf den Bass hört, oder weil er auf den menschlichen Kanal hört?

Um das herauszufinden, ließen sie den Roboter nicht einfach natürlich lernen. Sie setzten „Lernräder" (Datenmanipulation) auf, um den Roboter während des Trainings zu zwingen, sich nur auf bestimmte Teile des Liedes zu konzentrieren:

Die „menschliche Kanal"-Gruppe: Gezwungen, nur auf diesen spezifischen mittleren Bereich zu hören.
Die „Nur Bass"-Gruppe: Gezwungen, nur auf die tiefen, unscharfen Formen zu hören.
Die „Kombi"-Gruppe: Gezwungen, sowohl auf den Bass als auch auf den menschlichen Kanal zu hören.

Die Wendung: Die Ergebnisse waren überraschend

Die Forscher erwarteten, dass das Zwingen des Roboters, auf diese „menschlichen" Frequenzen zu hören, ihn robust machen würde. Stattdessen stellten sie eine große Diskrepanz fest:

Die „menschliche Kanal"-Falle: Als sie den Roboter zwangen, sich nur auf den menschlichen Sweet Spot zu konzentrieren, wurde er nicht robuster. Tatsächlich wurde er schwächer. Es wurde einfacher, ihn zu täuschen. Es war, als würde man versuchen, Autofahren zu lernen, indem man nur auf den Tacho schaut; man übersieht die Straße und kracht.
Der „Bass"-Effekt (Niedrige Frequenz): Als sie den Roboter zwangen, sich nur auf die großen, unscharfen Formen zu konzentrieren, wurde er zwar etwas robuster. Doch die Verbesserung war winzig.
Das „Kombi"-Versagen: Selbst als sie den Roboter zwangen, sowohl auf den Bass als auch auf den menschlichen Kanal zu hören, wurde er nicht so robust wie die Roboter, die auf natürliche Weise lernen durften, indem sie das Gehirn nachahmten.

Die große Enthüllung: Korrelation ist nicht Kausalität

Hier ist die Hauptaussage, veranschaulicht durch eine einfache Analogie:

Stellen Sie sich vor, Sie sehen einen professionellen Koch (das menschliche Gehirn), der einen perfekten Kuchen backt. Sie bemerken, dass er immer eine bestimmte Art von Mehl (Niedrige Frequenzen) und einen bestimmten Schneebesen (menschlicher Kanal) verwendet. Sie denken: „Aha! Das Geheimnis des perfekten Kuchens ist dieses Mehl und dieser Schneebesen!"

Also gehen Sie nach Hause und zwingen sich, nur dieses Mehl und nur diesen Schneebesen zu verwenden. Aber Ihr Kuchen wird schrecklich.

Warum? Weil das Mehl und der Schneebesen nicht die Ursache für den guten Kuchen waren. Sie waren nur Nebeneffekte der allgemeinen Geschicklichkeit und Technik des Kochs. Der Koch verwendete tatsächlich eine komplexe, unsichtbare „Geometrie" davon, wie die Zutaten zusammenpassen, um den Kuchen stabil zu machen.

Der Artikel kommt zu dem Schluss:
Der Grund, warum die „neural geleiteten" Roboter robust sind, liegt nicht darin, dass sie auf den Bass oder den menschlichen Kanal hören. Das sind nur Dinge, die sie zufällig tun, weil sie lernen, wie ein Mensch zu denken. Das wahre Geheimnis ist, dass sie eine bessere, menschlichere Art lernen, Informationen zu organisieren (eine bessere „Geometrie"), die sie von Natur aus robust macht.

Einen Roboter zu zwingen, sich auf bestimmte Frequenzen zu konzentrieren, ist wie der Versuch, ein Auto zu reparieren, indem man die Reifen rot lackiert; es mag wie der richtige Schritt aussehen, aber es lässt den Motor nicht besser laufen. Die wahre Magie liegt im Design des Motors, nicht in der Farbe des Lackes.

Technische Zusammenfassung: Trennung der Abhängigkeit von räumlichen Frequenzen von Vorteilen der adversariellen Robustheit in neural geleiteten tiefen convolutionalen neuronalen Netzen

Problemstellung

Tiefe convolutionale neuronale Netze (DCNNs) haben Leistungen auf menschlichem Niveau in der visuellen Erkennung erreicht, bleiben jedoch auffällig anfällig für adversarielle Angriffe – nahezu unmerkliche Störungen, die katastrophale Fehlklassifikationen verursachen. Neuere Forschungen deuten darauf hin, dass die Ausrichtung von DCNN-Repräsentationen an der Aktivität des menschlichen visuellen Kortex (neurale Führung) die adversarielle Robustheit erheblich verbessert. Der Mechanismus, der diese Verbesserung antreibt, ist jedoch unklar.

Zwei konkurrierende Hypothesen haben sich bezüglich der spektralen Merkmale, die für diese Robustheit verantwortlich sind, entwickelt:

Verzerrung zu niedrigen räumlichen Frequenzen (LSF): Die neurale Ausrichtung könnte die Robustheit verbessern, indem sie die Abhängigkeit von spröden hochfrequenten Texturen hin zu groben, globalen LSF-Strukturen verschiebt, die unter Transformationen stabiler sind.
Verzerrung des menschlichen Kanals: Neuere Arbeiten legen nahe, dass die menschliche Objekterkennung auf einen schmalen, mittelfrequenten „menschlichen Kanal" (ca. 28–56 Zyklen pro Bild) angewiesen ist. Da frühere Methoden zur LSF-Verzerrung (z. B. Gaußsche Weichzeichnung) diesen Kanal unbeabsichtigt bewahren, könnten die Robustheitsgewinne tatsächlich aus der Erhaltung dieses spezifischen mittelfrequenten Bandes stammen und nicht aus einer allgemeinen LSF-Verschiebung.

Diese Arbeit untersucht, ob die bei neural geleiteten (NG) Modellen beobachtete adversarielle Robustheit kausal durch eine erhöhte Abhängigkeit vom LSF, vom menschlichen Kanal oder von beiden getrieben wird.

Methodik

1. Charakterisierung neural geleiteter (NG) Modelle

Die Autoren analysierten zunächst eine Reihe von DCNNs, die mit „Neuraler Führung" (NG) trainiert wurden, wobei die vorletzte Schicht des Netzwerks an fMRI-Antworten aus sieben Regionen entlang des menschlichen ventralen visuellen Pfads (V1, V2, V4, VO, PHC, LO, TO) ausgerichtet wurde.

Metrik: Die adversarielle Robustheit wurde als Fläche unter der Kurve (AUC) der Top-1-Genauigkeit unter $\ell_\infty$ -begrenzten Projected Gradient Descent (PGD)-Angriffen über verschiedene Störungsstärken ( $\epsilon$ ) quantifiziert.
Spektralanalyse: Um die Abhängigkeit von räumlichen Frequenzen (SF) zu bestimmen, generierten die Autoren erfolgreiche adversarielle Störungen für jedes Modell. Sie berechneten das Fourier-Leistungsspektrum dieser Störungen, mittelten sie radial und normalisierten die Energieverteilung. Eine höhere Leistung in einem bestimmten Band zeigt eine größere Abhängigkeit des Modells von diesem Frequenzbereich an.

2. Explizite Verzerrung von DCNNs durch Phasenscrambling

Um Kausalität zu testen, trainierten die Autoren neue DCNNs (ResNet-18 auf ImageNet-50) mit expliziten SF-Verzerrungen unter Verwendung von Phasenscrambling-Datenaugmentierung. Diese Methode erhält das Amplitudenspektrum (Energie) eines Bildes, während sie die Phase spezifischer Frequenzbänder durcheinanderwirbelt, wodurch strukturelle Informationen aus diesen Bändern entfernt werden, während andere erhalten bleiben.

Getestete Bedingungen:
- Menschlicher Kanal: Nur das 28–56 cpi-Band wurde erhalten; der Rest wurde durcheinandergewirbelt.
- Extreme-LSF: Frequenzen < 3,5 cpi wurden erhalten; der Rest wurde durcheinandergewirbelt.
- Feste- $\sigma$ -LSF: Eine Gaußsche Weichzeichnungsmaske ( $\sigma=1,5$ ) wurde verwendet, um niedrige Frequenzen zu erhalten (überlappend mit dem menschlichen Kanal).
- Gemischte- $\sigma$ -LSF: Eine Mischung aus Gauß-Kernen wurde verwendet, um eine breitere LSF-Präferenz zu simulieren (überlappend mit dem menschlichen Kanal).
- Kombinierter Kanal: Eine Trainingsverteilung, die die Erhaltung des menschlichen Kanals und der Extreme-LSF mischte.
- Notwendigkeitsprüfungen: Inverse Masken wurden verwendet, um den menschlichen Kanal oder die Extreme-LSF selektiv zu stören (durcheinanderzuwirbeln), um zu testen, ob deren Abwesenheit einzigartig schädlich ist.

3. Analyse der Repräsentationsähnlichkeit (RSA)

Um festzustellen, ob eine SF-Verzerrung allein die „menschähnliche" Geometrie von NG-Modellen replizieren kann, führten die Autoren eine RSA durch. Sie verglichen die Repräsentationsdissimilaritätsmatrizen (RDMs) der SF-verzerrten Modelle mit fMRI-Daten aus den menschlichen V1-, V4- und TO-Regionen.

Hauptergebnisse

1. Korrelation in neural geleiteten Modellen

In NG-Modellen korrelierten Robustheitsgewinne stark mit einer erhöhten Abhängigkeit sowohl vom menschlichen Kanal (Spearman's $\rho = 0,98$ ) als auch vom LSF ( $\rho = 0,87$ ). Umgekehrt war die Abhängigkeit von hohen räumlichen Frequenzen (HSF) antikorreliert mit der Robustheit. Dies bestätigte, dass NG-Modelle ihre spektrale Abhängigkeit hin zu für den Menschen relevanten Bändern verschieben.

2. Kausale Trennung durch explizite Verzerrung

Als die Autoren diese Verzerrungen während des Trainings explizit auferlegten, divergierten die Ergebnisse stark vom Verhalten der NG-Modelle:

Verzerrung zum menschlichen Kanal: Die explizite Verzerrung von Modellen zum menschlichen Kanal verschlechterte die adversarielle Robustheit. Eine stärkere Verzerrung führte zu schlechterer Leistung.
LSF-Verzerrung: Die Verzerrung von Modellen zum LSF (Extreme-LSF, feste- $\sigma$ , gemischte- $\sigma$ ) erzeugte nur bescheidene Verbesserungen der Robustheit. Entscheidend waren diese Gewinne im Vergleich zu den massiven Verschiebungen der SF-Abhängigkeit, die durch die Manipulation verursacht wurden, unverhältnismäßig gering.
Kombinierte Verzerrung: Die gleichzeitige Verzerrung von Modellen sowohl zum menschlichen Kanal als auch zum LSF führte immer noch zu einer schlechteren Robustheit als die Basislinie, was darauf hindeutet, dass der schädliche Effekt der menschlichen Kanal-Verzerrung nicht durch LSF-Gewinne ausgeglichen wurde.
Notwendigkeit: Die Störung des menschlichen Kanals reduzierte die Robustheit, aber die Störung der Extreme-LSF verursachte einen größeren Abfall, was darauf hindeutet, dass der menschliche Kanal nicht einzigartig notwendig für die Robustheit ist.

3. Repräsentationsgeometrie

SF-verzerrte Modelle konnten die Repräsentationsgeometrie des menschlichen Gehirns nicht replizieren.

Während NG-Modelle signifikante Zunahmen der Ähnlichkeit zu menschlichen neuronalen Repräsentationen (V1, V4, TO) zeigten, zeigten SF-verzerrte Modelle kaum bis keine Zunahme der Ähnlichkeit im Vergleich zur Basislinie.
Selbst die Bedingung „Kombinierter Kanal", die das SF-Abhängigkeitsprofil von NG-Modellen nachahmte, konnte die Ähnlichkeit der Repräsentation nicht verbessern.

Hauptbeiträge

Trennung von Korrelation und Kausalität: Die Arbeit zeigt, dass eine erhöhte Abhängigkeit vom menschlichen Kanal und vom LSF zwar in neural geleiteten Modellen mit Robustheit korreliert, das explizite Erzwingen dieser Verzerrungen jedoch nicht ausreicht, um Robustheit zu erzeugen. Tatsächlich ist das Erzwingen einer Verzerrung zum menschlichen Kanal aktiv schädlich.
Widerlegung des „menschlichen Kanal"-Mechanismus: Die Studie widerlegt die Hypothese, dass die Robustheit von NG-Modellen durch die Erhaltung des mittelfrequenten menschlichen Kanals getrieben wird.
Begrenzte Rolle des LSF: Obwohl eine LSF-Verzerrung geringe Robustheitsgewinne bietet, kann sie weder das Ausmaß der Verbesserungen erklären, die in NG-Modellen zu sehen sind, noch induziert sie eine menschähnliche Repräsentationsgeometrie.
Hypothese der emergenten Eigenschaft: Die Autoren schlagen vor, dass eine veränderte SF-Abhängigkeit eine emergente Eigenschaft des Lernens menschähnlicherer Repräsentationen ist und nicht der primäre kausale Mechanismus der Robustheit.

Bedeutung und Behauptungen

Die Arbeit kommt zu dem Schluss, dass die durch neurale Führung vermittelte adversarielle Robustheit nicht primär durch eine einfache Verschiebung der Abhängigkeit von räumlichen Frequenzen (weder LSF noch der menschliche Kanal) getrieben wird. Stattdessen argumentieren die Autoren, dass Robustheit wahrscheinlich aus breiteren geometrischen Rekonfigurationen des Repräsentationsraums (z. B. dem „Entwirren" von Objektmanigfaltigkeiten) entsteht, die die beobachteten spektralen Verzerrungen als sekundäre Konsequenz natürlich hervorrufen.

Die Autoren nehmen eine bescheidene Haltung ein und stellen fest, dass SF-Verzerrung zwar ein Teilaspekt hirnnaher Repräsentationen ist, aber nicht der primäre rechnerische Mechanismus. Sie schlagen vor, dass sich zukünftige Forschungen darauf konzentrieren sollten, die spezifischen geometrischen Transformationen im Repräsentationsraum zu charakterisieren, die Robustheit verleihen, anstatt sich ausschließlich auf spektrale Merkmale zu konzentrieren. Sie räumen zudem Einschränkungen bezüglich der Verwendung von Datenaugmentierung auf Populationsebene im Vergleich zu den vielfältigen Abstimmungprofilen einzelner Neuronen in biologischen Systemen ein.