Layer by layer, module by module: Choose both for optimal OOD probing of ViT

Diese Studie zeigt, dass für das optimale Out-of-Distribution-Probing von Vision-Transformern je nach Stärke der Verteilungsverschiebung entweder die Aktivierungen des Feedforward-Netzwerks oder die normalisierten Ausgaben des Multi-Head-Self-Attention-Moduls verwendet werden sollten, um die Leistungstiefs tieferer Schichten zu überwinden.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschungsergebnisse dieses Papers, verpackt in eine Geschichte und mit anschaulichen Vergleichen.

Die große Entdeckung: Nicht das Ende ist immer das Beste

Stell dir vor, du hast einen riesigen, superintelligenten Koch (das ist unser KI-Modell, ein "Vision Transformer"). Dieser Koch hat jahrelang in einer riesigen, bunten Küche (dem Internet/Trainingsdaten) gelernt, wie man tausende verschiedene Gerichte zubereitet. Er kennt die Grundlagen perfekt.

Nun kommt ein neuer Gast in sein Restaurant. Der Gast möchte aber kein klassisches Gericht, sondern etwas ganz Spezielles – vielleicht ein Gericht aus einer anderen Kultur oder mit Zutaten, die der Koch noch nie gesehen hat (das nennt man Out-of-Distribution oder OOD, also Daten, die von den Trainingsdaten abweichen).

Das alte Missverständnis: "Das letzte Wort zählt"

Früher dachten alle: "Wenn der Koch ein Gericht zubereitet, ist das letzte Gericht, das er auf den Teller legt, das Beste." Man hat also immer nur das Endergebnis des Kooks geprüft, um zu sehen, ob er den neuen Gast versteht.

Die Forscher in diesem Papier haben jedoch etwas Überraschendes entdeckt: Das letzte Gericht ist oft das schlechteste, wenn die Zutaten fremd sind.

Warum das passiert: Der "Spezialisierungs-Effekt"

Stell dir den Kochprozess so vor:

1. Die ersten Schritte (frühe Schichten): Der Koch schneidet Gemüse, kocht Wasser und bereitet die Basis vor. Diese Schritte sind sehr allgemein und robust. Ob es nun ein deutsches oder ein japanisches Gericht ist – man braucht immer noch Messer und Herd. Diese "Zwischenschritte" funktionieren auch bei fremden Zutaten super.
2. Die letzten Schritte (tiefe Schichten): Am Ende des Prozesses spezialisiert sich der Koch extrem auf das genaue Rezept, das er gelernt hat. Er fängt an, Dinge zu tun, die nur für das Original-Rezept passen. Wenn der Gast nun aber eine völlig andere Zutat bringt, stolpert der Koch am Ende über seine eigene Spezialisierung. Er versucht, das fremde Gericht in das alte Schema zu pressen, und das Ergebnis wird schlecht.

Die Erkenntnis: Wenn die Daten (die Zutaten) vom Training abweichen, sind die Zwischenschritte des Kooks oft viel robuster und besser geeignet, um das Neue zu verstehen, als das fertige Endergebnis.

Die feine Analyse: Nicht jeder Schritt ist gleich wichtig

Der Koch hat verschiedene Stationen in seiner Küche:

• Der Mixer (Aufmerksamkeits-Modul): Mischt die Zutaten zusammen.
• Der Ofen (Feedforward-Netzwerk): Backt und verarbeitet die Masse weiter.
• Der Teller (Residual-Verbindung): Bringt das fertige Gericht raus.

Die Forscher haben untersucht, an welcher Station man den Koch am besten "abfängt", um zu prüfen, ob er den Gast versteht.

1. Der Ofen (Feedforward-Netzwerk): Wenn die Zutaten sehr fremd sind (starker "Distribution Shift"), ist es am besten, den Koch direkt nachdem er die Zutaten im Ofen bearbeitet hat zu prüfen. Hier hat er die Informationen am besten verarbeitet, ohne sich noch in die Details des alten Rezepts zu verlieren.
2. Der Teller (Standard-Ansatz): Wenn man wartet, bis das Gericht fertig auf dem Teller liegt (die letzte Schicht), ist es bei fremden Zutaten oft schon zu spät. Der Koch hat sich zu sehr auf das Alte fixiert.
3. Die Ausnahme: Wenn der Gast genau das gleiche Gericht wie im Training bestellt (keine fremden Zutaten), dann ist der Teller (das Endergebnis) tatsächlich das Beste.

Die praktische Lektion für uns alle

Das Papier gibt uns zwei einfache Regeln an die Hand, wie wir diese KI-Modelle besser nutzen können:

1. Wenn alles normal ist (gleiche Daten wie beim Training): Vertraue dem Endprodukt. Das ist das Beste.
2. Wenn die Welt sich ändert (fremde Daten, verrückte Bilder, neue Stile): Hör nicht auf das Endergebnis! Schau dir stattdessen die Zwischenschritte an, besonders den Moment, kurz nachdem die Daten durch den "Ofen" (das Feedforward-Netzwerk) gelaufen sind. Dort steckt die wahre Intelligenz für neue Situationen.

Zusammengefasst:
Stell dir vor, du willst wissen, ob ein Schüler eine Matheaufgabe verstanden hat. Wenn die Aufgabe genau wie im Lehrbuch ist, prüfst du die Lösung am Ende. Aber wenn die Aufgabe völlig neu und verrückt ist, solltest du nicht auf das Endergebnis schauen, sondern prüfen, wie der Schüler die Zwischenschritte (die Logik im Kopf) gelöst hat. Oft ist der Weg wichtiger als das Ziel, besonders wenn sich die Welt verändert.

Dieses Papier sagt uns also: Hör auf, nur auf das Endergebnis zu starren. Manchmal ist die Antwort schon viel früher im Prozess zu finden.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Layer by Layer, Module by Module: Choose Both for Optimal OOD Probing of ViT" auf Deutsch.

Titel und Kontext

Titel: Layer by Layer, Module by Module: Choose Both for Optimal OOD Probing of ViT
Veröffentlichung: CAO Workshop bei ICLR 2026
Autoren: Ambroise Odonnat, Vasilii Feofanov, Laetitia Chapel, Romain Tavenard, Ievgen Redko (Noah's Ark Lab, Inria, L'Institut Agro)

---

1. Problemstellung

Foundation-Modelle, insbesondere Vision Transformer (ViT), zeigen oft, dass ihre mittleren Schichten (intermediate layers) diskriminativere Repräsentationen liefern als die finale Schicht. Während dies bei autoregressiven Modellen (z. B. LLMs) bekannt ist, war die Ursache bei ViTs unklar.

• Herausforderung: In realen Szenarien treten häufig Distribution Shifts (Verteilungsverschiebungen) zwischen den Pretraining-Daten (z. B. ImageNet) und den Downstream-Aufgaben auf.
• Aktueller Wissensstand: Bisherige Studien (z. B. Skean et al., 2025) deuteten darauf hin, dass der Vorteil mittlerer Schichten primär ein Nebenprodukt des Pretraining-Ziels (Autoregression) sei und dass bei ViTs die finale Schicht meist optimal bleibe.
• Lücke: Es fehlte eine systematische Analyse, wie sich Distribution Shifts auf die Leistung verschiedener Schichten und spezifischer Transformer-Module auswirken, insbesondere im Kontext von Linear Probing (Festhalten der Encoder-Weights, nur Klassifikator wird trainiert).

2. Methodik

Die Autoren führten eine umfassende empirische Studie durch, um das Verhalten von vortrainierten ViTs unter verschiedenen Bedingungen zu analysieren.

• Modell: Ein 86-Millionen-Parameter ViT, vortrainiert auf ImageNet-21k.
• Experimentelles Setup:
  • Linear Probing: Für jede untersuchte Repräsentation wurde ein logistischer Regressor (CLS-Token-Pooling) trainiert.
  • Datensätze: 11 verschiedene Klassifizierungs-Benchmarks, darunter:
    • In-Distribution (ID): CIFAR-10, CIFAR-100, Flowers102, Pets.
    • Out-of-Distribution (OOD): CIFAR-10-C-Varianten (Kontrast, Rauschen, Unschärfe, Schnee, etc.) und DomainNet-Varianten (Clipart, Sketch).
  • Vergleich: Analyse zwischen frozen (nur Pretraining) und finetuned Modellen, um den Einfluss des Shifts zu isolieren.
• Granularität der Analyse:
  1. Layer-Ebene: Untersuchung der Leistung über die gesamte Tiefe des Netzwerks (von Schicht 0 bis zur letzten).
  2. Modul-Ebene: Feinere Analyse innerhalb eines Transformer-Blocks. Statt nur den Block-Ausgang (RC2) zu testen, wurden die Aktivierungen spezifischer Komponenten untersucht:
     • Normalisierungsschichten (LN1, LN2)
     • Multi-Head Attention (MHA)
     • Residual Connections (RC1, RC2)
     • Feedforward Network (FFN): Eingabe zu FC1, Aktivierung (Act/GeLU) nach FC1, Ausgabe von FC2.

3. Wichtige Erkenntnisse und Ergebnisse

A. Der Einfluss von Distribution Shifts (Layer-Ebene)

• Hauptursache: Die Verschlechterung der Leistung in tieferen Schichten bei OOD-Daten ist primär auf den Distribution Shift zurückzuführen, nicht auf die Art des Pretrainings (Autoregression vs. Supervised).
• Verhalten:
  • In-Distribution (ID): Die finale Schicht liefert die beste Leistung.
  • Out-of-Distribution (OOD): Mit zunehmendem Shift zwischen Pretraining und Downstream-Daten verschlechtert sich die Leistung der finalen Schicht drastisch. Mittlere Schichten bleiben robuster.
  • Schlussfolgerung: Bei starken Shifts sind mittlere Repräsentationen überlegen, während bei ID-Daten die Endschicht optimal ist.

B. Optimierung auf Modul-Ebene (Module by Module)

Die Studie zeigte, dass das Standard-Verfahren (Probing des Block-Ausgangs RC2) suboptimal ist. Die optimale Stelle zum Probing hängt vom Ausmaß des Shifts ab:

1. Starke Distribution Shifts (OOD):

   • Die beste Leistung wird durch das Probing der Aktivierung innerhalb des Feedforward-Netzwerks (Act), also nach der GeLU-Aktivierung von FC1, erzielt.
   • Die Ausgabe von FC2 (der zweite FC-Layer) liefert durchweg die schlechtesten Ergebnisse, da sie die Daten stark komprimiert und die lineare Trennbarkeit beeinträchtigt.
   • Begründung: FC1 und die nachfolgende Aktivierung operieren in einem höheren Dimensionsraum (4d), was die Feature-Entflechtung (disentanglement) fördert und semantische Informationen besser für lineare Probing-Aufgaben zugänglich macht.

2. Schwache/Keine Distribution Shifts (ID):

   • Wenn der Shift vernachlässigbar ist, sind die normalisierten Ausgaben der LayerNorm vor dem Feedforward-Netzwerk (LN2) oder die Block-Ausgänge (RC2) oft ausreichend oder sogar leicht besser.

3. Stabilität:

   • LN2 und RC2 liefern zwar nicht die absoluten Spitzenwerte bei starkem OOD, sind aber stabiler über die Schichttiefe hinweg als FC2 oder Act.

4. Key Contributions (Hauptbeiträge)

1. Ursachenklärung: Widerlegung der Hypothese, dass mittlere Schichten nur bei autoregressiven Modellen vorteilhaft sind. Der Vorteil ist eine direkte Konsequenz von Distribution Shifts, die bei ViTs auftreten.
2. Granulare Analyse: Erste umfassende Untersuchung, die nicht nur Schichten, sondern spezifische Transformer-Module (LN, MHA, FFN-Komponenten) vergleicht.
3. Praktische Leitlinie: Identifikation der optimalen Probing-Stelle basierend auf dem Shift-Status:
   • Hoher Shift: Probing der FFN-Aktivierung (Act) in mittleren Schichten.
   • Niedriger Shift: Probing von LN2 oder RC2.
4. Robustheits-Insight: Demonstration, dass FC2 (die Kompressionsschicht) für OOD-Probing ungeeignet ist, während der höhere Dimensionalitätsraum von FC1/Act vorteilhaft ist.

5. Signifikanz und Implikationen

• Für die Praxis: Das Paper bietet einen klaren Leitfaden für Entwickler, die ViTs als Feature-Extraktoren in unsicheren Umgebungen einsetzen. Anstatt blind die letzte Schicht zu nutzen, sollte je nach erwarteter Datenverteilung eine andere Schicht oder ein anderes Modul gewählt werden.
• Fehlererkennung: Die Leistungsdiskrepanz zwischen Schichten kann als Indikator für Distribution Shifts dienen. Wenn die tieferen Schichten besser abschneiden als die oberen, deutet dies auf einen starken Shift hin.
• Zukünftige Forschung: Die Ergebnisse motivieren weitere Untersuchungen in informationstheoretischer, geometrischer und Invarianz-Perspektive auf Modulebene, um die Robustheit von Foundation Models weiter zu verbessern.

Zusammenfassend zeigt das Paper, dass für optimale OOD-Leistung bei ViTs nicht nur die Wahl der Schichttiefe, sondern auch die Wahl des spezifischen Moduls (insbesondere die FFN-Aktivierung bei starkem Shift) entscheidend ist.