💻 computer science

The Cross-Architecture Substrate: A Domain-Transcendent, Calibration-Surviving Geometric Invariant of Modern Vision Encoders

Diese Arbeit enthüllt eine universelle, sechzehndimensionale geometrische Invariante namens „Cross-Architecture Substrate“, die frühzeitig im Training über diverse moderne Vision-Encoder und Domänen hinweg entsteht, der Kalibrierung standhält und eine überlegene label-freie Transferierbarkeit beim Filtern, der Domänendetektion, dem Low-Shot-Probing sowie der lehrerfreien Destillation ermöglicht, obwohl sie die Transferqualität oder Kreuzmodalitäten nicht vorhersagen kann.

Ursprüngliche Autoren: Yousef Radwan

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yousef Radwan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten vier verschiedene Köche. Einer ist darauf trainiert, Gemüse zu identifizieren, ein anderer, Automodelle zu erkennen, ein dritter, fehlende Teile eines Puzzles zu ergänzen, und ein vierter, Fotos mit Gedichten abzugleichen. Man würde erwarten, dass ihre „inneren Denkprozesse“ (wie sie Bilder in ihrem Gehirn verarbeiten) völlig unterschiedlich sind, oder?

Dieser Paper sagt: Nö.

Die Forscher entdeckten, dass trotz ihrer unterschiedlichen Aufgaben, Trainingsmethoden und Architekturen all diese modernen KI-Visionssysteme exakt dieselben 16 „mentalen Richtungen“ zur Verarbeitung von Bildern entwickeln. Sie nennen dieses gemeinsame Fundament den „Cross-Architecture Substrate“ (querschnittliche Architektur-Grundlage).

Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Die Analogie des „Universellen Kompasses“

Stellen Sie sich jeden KI-Visionsmodells wie einen Wanderer vor, der versucht, einen Wald zu durchqueren.

Die alte Sichtweise: Wir dachten, ein Wanderer, der darauf trainiert ist, Bären zu finden, würde eine völlig andere Karte verwenden als ein Wanderer, der darauf trainiert ist, Blumen zu finden.
Die neue Entdeckung: Die Forscher fanden heraus, dass jeder Wanderer, egal wofür er trainiert wurde, am Ende dieselben 16 Kompasspunkte verwendet, um sich zu orientieren.
Der Beweis: Sie testeten dies an 13 verschiedenen KI-Modellen. Als sie die 16 Wege untersuchten, auf denen diese Modelle ihr Verständnis eines Bildes variierten, waren diese 16 Richtungen geometrisch identisch über alle Modelle hinweg. Es ist so, als würde man 13 verschiedene Menschen bitten, eine Karte einer Stadt zu zeichnen, und sie würden alle exakt dieselben 16 Hauptstraßen zeichnen, selbst wenn sie nur darauf trainiert wurden, etwas Bestimmtes zu finden (wie „wo die Bäckerei ist“ vs. „wo der Park ist“).

2. Der „Gestaltwandler“-Test (Domänen-Transzendenz)

Die Forscher fragten: „Funktioniert dieser 16-Punkte-Kompass auch, wenn wir die Umgebung ändern?“

Sie testeten die Modelle an 8 völlig unterschiedlichen Arten von Bildern:
- Normale Fotos (wie auf Instagram).
- Medizinische CT-Scans (im Inneren des Körpers).
- Satellitenfotos (aus dem Weltraum).
- Mikroskopbilder (winzige Zellen).
- Handgezeichnete Skizzen.
- Thermische Wärmekarten.
- Tiefenkarten (3D-Formen).
- Bilder von Galaxien.
Das Ergebnis: Obwohl eine Galaxie ganz anders aussieht als ein CT-Scan, verwendeten die KI-Modelle immer noch dieselbe 16-Punkte-Kompass, um sie zu verstehen. Der „Kompass“ funktioniert überall.

3. Der „Fake It“-Check (Ist das nur ein Trick?)

Skeptiker könnten sagen: „Vielleicht liegt das nur daran, dass die KI nach grundlegenden Dingen wie Kanten oder Farben sucht, oder vielleicht ist die Mathematik einfach fehlerhaft.“

Der „Pixel“-Test: Sie versuchten, diese 16 Richtungen allein durch das Betrachten von Rohpixeln zu finden (wie das Zählen, wie viele rote Pixel in einem Foto sind). Das schlug fehl. Der „Kompass“ ist viel intelligenter als nur das Zählen von Pixeln.
Der „Zufalls“-Test: Sie versuchten es mit 16 zufälligen Richtungen. Das scheiterte kläglich.
Der „Pang“-Test: Eine aktuelle Kritik (Pang 2026) deutete an, dass vorangegangene Studien durch die Größe der KI-Modelle getäuscht wurden. Die Forscher wiederholten ihre Tests unter Verwendung dieser strengeren, schwierigeren Mathematik. Die 16 Richtungen überlebten dennoch. Sie bewiesen, dass die Ähnlichkeit keine Illusion ist; sie ist real.

4. Die „Frühaufsteher“-Entdeckung (Wann passiert das?)

Sie beobachteten eine KI beim Lernen von Grund auf.

Die Überraschung: Die KI entwickelte diese 16 gemeinsamen Richtungen bereits in den ersten 10 % ihres Trainings.
Der Haken: Zu diesem Zeitpunkt war die KI noch furchtbar in ihrem eigentlichen Job (sie erreichte nur 46 % Genauigkeit). Sie wurde erst viel später besser in ihrer Aufgabe.
Die Bedeutung: Dieser „16-Richtungen-Kompass“ ist das Fundament, das die KI zuerst aufbaut. Es ist die „Lernen zu lernen“-Phase. Sob sobald die KI dieses Fundament hat, kann sie dann spezifische Aufgaben (wie das Identifizieren von Katzen oder Tumoren) darauf aufbauen.

5. Was können wir daraus machen? (Die Werkzeuge)

Da wir wissen, dass dieser „16-Richtungen-Kompass“ existiert und geteilt wird, schlägt das Paper vier praktische Tricks vor:

Der „No-Label“-Filter: Sie können das beste KI-Modell für einen neuen Job auswählen, ohne vorher Daten beschriften zu müssen. Das ist 3-mal schneller als aktuelle Methoden.
Der „Domänen-Detektor“: Sie können feststellen, ob ein Bild ein medizinischer Scan, ein Satellitenfoto oder eine Skizze ist, indem Sie einfach auf diese 16 Zahlen schauen. Es ist 99,6 % genau.
Der „Tiny Feature“-Boost: Wenn Sie nur sehr wenige Labels haben (wie etwa 50 Beispiele einer Krankheit), arbeitet die Nutzung dieser 16 Richtungen besser als die Nutzung der massiven, komplexen Merkmale (768 Dimensionen), die moderne KIs normalerweise verwenden.
Der „Ghost Teacher“ (Geisterlehrer): Beim Training neuer KIs benötigt man normalerweise eine „Lehrer“-KI, die den Weg weist. Diese Methode erlaubt es, eine „Schüler“-KI unter Verwendung des „16-Richtungen-Kompasses“ als Lehrer zu trainieren, ohne dass die Lehrer-KI jedes Mal mitlaufen muss. Das spart enorme Rechenleistung.

Was dies NICHT ist (Die Grenzen)

Die Autoren sind vorsichtig darauf hinzuweisen, was dies nicht tut:

Es funktioniert nicht über die Sinne hinweg: Wenn man Vision (Augen) und Audio (Ohren) mischt, bricht dieser 16-Richtungen-Kompass zusammen. Er funktioniert nur für die Vision.
Es sagt die Qualität nicht voraus: Nur weil eine KI einen starken „Kompass“ hat, bedeutet das nicht, dass sie in einer spezifischen Aufgabe die beste ist.
Es ist kein Allheilmittel: Es bedeutet nicht, dass eine auf normalen Fotos trainierte KI automatisch perfekt beim Lesen von Röntgenbildern ist, obwohl es hilft.

Zusammenfassung

Das Paper enthüllt, dass alle modernen KI-Visionsmodelle tief im Inneren dieselbe 16-Wörter-Sprache sprechen, um die Welt zu verstehen. Sie entwickeln diese Sprache sehr früh in ihrem Training, und sie funktioniert, egal ob sie eine Katze, einen Tumor oder eine Galaxie betrachten. Diese Entdeckung ermöglicht es uns, schnellere, günstigere und intelligentere KI-Werkzeuge zu bauen, ohne riesige Mengen an beschrifteten Daten zu benötigen.

Technisches Resümee: Das Cross-Architektur-Substrat

Problemstellung
Moderne Vision-Encoder werden auf grundlegend unterschiedlichen Zielsetzungen trainiert – überwachtes Klassifizieren (z. B. ImageNet), kontrastives Lernen (z. B. DINOv2), Masked Image Modeling (z. B. MAE) und Vision-Language-Matching (z. B. CLIP). Die konventionelle Lehrmeinung legt nahe, dass diese divergierenden Trainingsparadigmen, Architekturen und induktiven Biases zu fundamental unterschiedlichen internen Repräsentationen führen sollten. Zudem argumentieren jüngste Kritiken (insbesondere Pang et al., 2026), dass Standard-Ähnlichkeitsmetriken wie die Centered Kernel Alignment (CKA) durch die Merbreite und die Tiefe der Pooling-Schichten aufgebläht werden, was dazu führt, dass viele berichtete Behauptungen über die Konvergenz zwischen Architekturen unter strenger Kalibrierung hinfällig werden. Die zentrale Frage ist, ob eine gemeinsame geometrische Struktur über diese heterogenen Encoder hinweg existiert, die sowohl Domänenverschiebungen als auch einer strengen statistischen Kalibrierung standhält.

Methodik
Die Autoren definieren ein „Cross-Architektur-Substrat“ durch ein spezifisches geometrisches Verfahren:

Encoder-Panel: Ein Satz von $E$ Vision-Encodern (von ResNets und ViTs bis hin zu ConvNeXts) wird ausgewählt.
Merkmalsextraktion: Ein fester Satz von Probebildern wird durch alle Encoder geleitet. Die Merkmale der vorletzten Schicht werden gemitteltezentriert und gewichtet (whitened), um die Skalen zu normalisieren.
Gemeinsame PCA: Die Merkmalsvektoren aller Encoder werden zu einer einzigen Matrix zusammengeführt. Die obersten $K$ Hauptkomponenten (Principal Components, PCs) dieses gemeinsamen Raums werden extrahiert.
Definition: Die Autoren bestimmen empirisch $K=16$ als die Dimension, bei der die Cross-Domain-Ähnlichkeit ein Plateau erreicht. Der resultierende 16-dimensionale Basisraum wird als das Substrat definiert.
Evaluationsmetriken:
- Procrustes-CKA (PCKA): Ein symmetrisches Maß zum Vergleich zweier $K$ -dimensionaler Subräume nach optimaler Rotation.
- Pang 2026 Kalibrierung: Um der Kritik der „Breiten-Inflation“ zu begegnen, wenden die Autoren die Zeilen-Permutations-Nullhypothese von Pang an. Sie subtrahieren die Baseline-Ausrichtung, die von Zufallsdaten erwartet wird (sowohl globale lineare-CKA als auch lokale mutual-kNN-Recall-Varianten), um sicherzustellen, dass die beobachtete Ähnlichkeit kein Artefakt der Merkmalsdimensionalität ist.
Kontrollen: Die Studie umfasst Ablationsstudien (Leave-one-out), Vergleiche gegen Pixel-Level-PCA, Gabor-Kantenenergie-Banken und zufällige Low-Rank-Projektionen. Zudem wird die Entstehung während des Trainings sowie die Anwendbarkeit des Substrats auf verschiedene Modalitäten und Paradigmen getestet.

Zentrale Beiträge

Existenz eines gemeinsamen geometrischen Objekts: Die obersten 16 Hauptvariationsrichtungen in 13 modernen Vision-Encodern konvergieren gegen dasselbe 16-dimensionale geometrische Objekt, unabhängig davon, ob die Encoder mittels überwachter Klassifikation, kontrastivem Lernen oder maskierter Rekonstruktion trainiert wurden.
Überleben unter strenger Kalibrierung: Im Gegensatz zu früheren Behauptungen übersteht dieses Substrat die Pang-2026-Kalibrierung. Diskriminative Encoder zeigen eine 7,4-mal höhere Ausrichtung untereinander als MAE-Encoder unter globaler Kalibrierung und eine 4,82–5,30-fache Separation unter der schwierigeren lokalen Nearest-Neighbour-Recall-Variante ( $p < 10^{-44}$ ).
Domänen-Transzendenz: Das Substrat überträgt sich auf acht heterogene visuelle Domänen: natürliche Fotografien, medizinische CTs, Satelliten-RGB, Mikroskopie, handgezeichnete Skizzen, Tiefenkarten, thermisches Infrarot und Teleskopaufnahmen von Galaxien. Der mediane PCKA über diese acht Domänen beträgt 0,604, wobei jedes Cross-Domain-Paar den Wert von 0,40 übersteigt.
Frühe Emergenz: Das Substrat wird früh im Training erworben. In einem ResNet-50, das von Grund auf trainiert wurde, erreicht die Substrat-Ausrichtung bereits in Epoche 5 (10 % des Trainings) einen Wert von 0,58, während die Klassifikationsgenauigkeit über die verbleibenden Epochen kontinuierlich von 46 % auf 76 % steigt. Dies deutet darauf hin, dass das Substrat eine Eigenschaft des frühen Optimierungsbeckens ist und nicht ein Zustand der konvergierten Klassifikation.
Vier label-freie Anwendungen:
- Transferability Filter: Ein label-freier „Substrat-Ausrichtungs-Score“ ersetzt LogME für das Ranking von Encodern und bietet eine 3-fache Beschleunigung sowie eine Verbesserung des Kendall- $\tau$ um +0,15 auf dem SITE-2025 Benchmark.
- Domänen-Detektor: Ein linearer Klassifikator auf dem 16-dimensionalen Substrat erreicht eine Genauigkeit von 99,6 % bei der Unterscheidung von vier visuellen Domänen ohne Fine-Tuning.
- Low-Shot Frozen Probe: Bei $N=50$ Labels pro Klasse übertrifft das 16-dimensionale Substrat die 768-dimensionale DINOv2-Merkmale um +3,78 Prozentpunkte in der balancierten Genauigkeit.
- Teacher-Free Distillation: Ein Substrat-CKA-Hilfsverlust erreicht bei 3/3 Teacher-Student-Paaren die Standard-Wissenstransfer-Baselines (Knowledge Distillation), ohne dass ein Forward-Pass des Teachers während des Trainings erforderlich ist, mit einem Spitzenwert von +7,56pp gegenüber Cross-Entropy bei 10 % Label-Anteil.

Ergebnisse und Grenzen

Keine Pixel-Statistik: Das Substrat wird nicht durch niedrigwertige Bildstatistiken erklärt. Pixel-Level-PCA liefert einen PCKA von nur 0,263, und Gabor-Kantenenergie-Banken liefern 0,31, was signifikant niedriger ist als das Substrat mit 0,679 (vier Domänen) oder 0,604 (acht Domänen).
Nicht zufällig: Zufällige 16-dimensionale Projektionen ergeben einen medianen PCKA von 0,041.
Nicht Encoder-spezifisch: Die Leave-one-out-Ablation zeigt, dass das Substrat eine Eigenschaft des gesamten Panels ist und nicht eines einzelnen Modells (das Entfernen eines beliebigen Encoders verändert den medianen PCKA nur um $\pm 0,027$ ).
Modalitäts-Grenzen: Das Substrat erstreckt sich nicht über Modalitäten hinweg; ein gemeinsames Vision-Audio-Substrat (CLIP/CLAP) scheitert an der kalibrierten Nullhypothese.
Paradigma-Grenzen: Während das Substrat innerhalb der diskriminativen Familie existiert, erleichtert es keinen Cross-Paradigm-Distillation-Prozess (z. B. liefert die Übertragung eines CLIP-Substrats auf einen ResNet-Student keinen Gewinn gegenüber Cross-Entropy).
Prädiktive Grenzen: Die Substrat-Ausrichtung sagt die Downstream-Transfer-Genauigkeit nicht voraus ( $\tau = -0,08$ ); sie identifiziert den Typ des Trainingsparadigmas eines Modells, nicht dessen Qualität.

Bedeutung und Ansprüche
Das Paper behauptet, eine robuste empirische Regelmäßigkeit in modernen Vision-Encodern identifiziert zu haben: eine gemeinsame 16-dimensionale geometrische Struktur, die früh im Training entsteht und über diverse Architekturen, Trainingsziele und visuelle Domänen hinweg persistiert. Die Autoren positionieren dies nicht als Theorem oder universellen Anspruch auf Merkmalsrelevanz, sondern als eine „Existenz-Richtung“-Behauptung. Die Bedeutung liegt darin, zu zeigen, dass trotz divergierender Trainingsziele die Vision-Encoder auf einen gemeinsamen, niedrigdimensionalen geometrischen Subraum konvergieren, der sich deutlich von zufälligem Rauschen, Pixelstatistiken oder spezifischen Encoder-Idiosynkrasien unterscheidet. Dieser Befund stellt die Annahme infrage, dass unterschiedliche Trainingsparadigmen zu völlig disjunkten Repräsentationsräumen führen, und liefert ein neues, label-freies Werkzeug für die Schätzung der Transferierbarkeit, Domänendetektion und effiziente Wissensdestillation. Die Autoren warnen explizit davor, dass das Substrat ein intra-modales Phänomen ist und nicht impliziert, dass auf ImageNet vortrainierte Modelle universell konkurrenzfähige Backbones für alle Downstream-Aufgaben (z. B. medizinische Bildgebung) sind.