🤖 machine learning

Grounding Functional Similarity by Invariance-Aware Model Stitching

Diese Arbeit adressiert die Einschränkung des Standard-Model-Stitchings bei der genauen Bewertung der funktionalen Ähnlichkeit durch die Einführung eines Invarianz-bewussten Frameworks basierend auf Vorwärts-Rückwärts-Kompatibilität, welches funktionale Diskrepanzen aufdeckt, die durch Modelle verursacht werden, die sich auf unterschiedliche Informationsreize verlassen.

Ursprüngliche Autoren: Ioannis Athanasiadis, Anmar Karmush, Michael Felsberg

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ioannis Athanasiadis, Anmar Karmush, Michael Felsberg

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei verschiedene Köche, Chef A und Chef B. Beide sind berühmt dafür, exakt das gleiche Gericht zuzubereiten: einen perfekten Schokoladenkuchen. Sie möchten wissen, ob sie in ihrer Art zu kochen wirklich „ähnlich“ sind. Verwenden sie die gleichen Zutaten? Folgen sie den gleichen Schritten? Oder haben sie nur zufällig das gleiche Ergebnis erzielt?

Lange Zeit versuchten Wissenschaftler, dies zu beantworten, indem sie den fertigen Kuchen betrachteten. Wenn Chef A und Chef B beide einen köstlichen Kuchen produziert hatten, gingen sie davon aus, dass die Köche ähnlich waren. In der Welt der KI wird dies als „Model Stitching“ bezeichnet. Es ist, als würde man die erste Hälfte von Chef A's Rezept (die Phase des Mischens in der Schüssel) nehmen und versuchen, sie mit der zweiten Hälfte von Chef B's Rezept (der Backphase) zu verbinden. Wenn der Kuchen immer noch gut schmeckt, sagen wir, dass die beiden Köche „funktional ähnlich“ sind.

Dieses Paper argumenttiert jedoch, dass es eine Falle ist, nur den fertigen Kuchen zu prüfen. Es ist, als würde man einen Koch nur nach dem Geschmack des Desserts beurteilen und dabei ignorieren, ob er frische Früchte verwendet oder eine versteckte Tüte Zucker benutzt hat, um zu schummeln.

Das Problem: Die „Magic Shortcut“-Falle

Die Autoren entdeckten, dass das Standard-KI-Testing zu leicht getäuscht wird. Zwei KI-Modelle können am Ende identisch aussehen, weil beide einen „Cheat Code“ oder eine Abkürzung gefunden haben.

Die Analogie: Stellen Sie sich einen Schüler vor, der eine Prüfung ablegt.
- Schüler A lernt das Lehrbuch und lernt die Mathematik.
- Schüler B bemerkt, dass jedes Mal, wenn die Frage einen roten Punkt in der Ecke hat, die Antwort „42“ lautet. Er ignoriert die Mathematik und sucht stattdessen nur nach dem roten Punkt.
- Wenn man nur ihre Endergebnisse prüft, erreichen beide Schüler 100 %. Man könnte denken, sie hätten dasselbe gelernt. Aber das haben sie nicht. Schüler B verlässt sich auf eine „Abkürzung“ (den roten Punkt), die Schüler A nicht nutzt.

In dem Paper zeigen die Autoren, dass das Standard-AI-Stitching oft diese „Red Dot“-Modelle als ähnlich durchgehen lässt, obwohl sie grundlegend verschieden sind. Sie nennen dies „Forward Compatibility“: „Funktioniert die erste Hälfte mit der zweiten Hälfte zusammen, um einen guten Kuchen zu backen?“ Die Antwort ist oft „Ja“, selbst wenn die erste Hälfte schummelt.

Die Lösung: Der „Rückwärts“-Check

Um dies zu beheben, schlagen die Autoren eine neue Methode vor, die „Invariance-Aware Model Stitching“ genannt wird. Sie fügen eine zweite Regel hinzu: „Backward Compatibility“.

Die Analogie: Jetzt, anstatt nur den fertigen Kuchen zu prüfen, fragen wir: „Wenn ich dir einen Kuchen gebe, der exakt gleich aussieht, aber mit leicht anderen Zutaten gemacht wurde, würdest du ihn dann immer noch auf die gleiche Weise backen?“
Wie es funktioniert: Die Forscher erstellen einen speziellen Test, bei dem sie der KI „Look-alike“-Inputs einspeisen. Dies sind Inputs, die für die erste Hälfte des Modells identisch erscheinen (wie zwei Fotos, die für uns unterschiedlich aussehen, aber für die frühen Schichten der KI gleich aussehen).
- Wenn die KI wirklich ähnlich ist, sollte sie diese Look-alikes konsistent handhaben.
- Wenn die KI sich auf eine „Abkürzung“ (wie den roten Punkt) verlässt, wird sie verwirrt sein, wenn die Abkürzung entfernt oder geändert wird, selbst wenn das Endergebnis okay aussieht.

Indem sie beide Richtungen prüfen (Forward und Backward), können die Forscher feststellen, ob zwei Modelle tatsächlich die gleiche Logik verwenden oder ob sie nur Glück mit einer Abkürzung hatten.

Was sie herausfanden

Das Paper führte Experimente mit verschiedenen Arten von KI-Modellen durch (einige wurden darauf trainiert, „robust“ gegen Tricks zu sein, andere nicht) und fand heraus:

Der alte Weg ist irreführend: Standard-Tests behaupten oft, zwei Modelle seien ähnlich, obwohl sie in Wirklichkeit völlig unterschiedliche Tricks anwenden, um das Problem zu lösen.
Der neue Weg ist ehrlich: Die „Invariance-Aware“-Methode identifizierte korrekt, dass Modelle, die Abkürzungen nutzen, nicht ähnlich zu Modellen sind, die die eigentliche Aufgabe gelernt haben. Sie deckte die „funktionalen Diskrepanzen“ auf, die zuvor verborgen waren.
Robuste Modelle sind wirklich ähnlich: Als sie Modelle testeten, die darauf trainiert wurden, widerstandsfähig gegen Tricks zu sein (robuste Modelle), zeigte die neue Methode, dass sie tatsächlich eine ähnliche interne Struktur teilen. Die alte Methode übersah diese Nuance, weil sie zu sehr auf das Endergebnis fokussiert war.

Das Fazit

Betrachten Sie dieses Paper als einen neuen, strengeren Qualitätskontrolleur für KI.

Alter Kontrolleur: „Funktioniert das Endprodukt? Ja? Großartig, sie sind gleich.“
Neuer Kontrolleur: „Funktioniert das Endprodukt? Ja. Aber haben sie dadurch geschummelt? Lassen Sie uns ihren Prozess mit einigen kniffligen Look-alike-Inputs prüfen. Ah, Sie haben geschummelt! Sie sind gar nicht ähnlich zum ehrlichen Modell.“

Die Autoren kommen zu dem Schluss, dass wir, um wirklich zu verstehen, wie KI funktioniert, nicht nur auf den Output schauen dürfen. Wir müssen prüfen, ob die interne Logik des Modells konsistent und robust ist, und nicht nur, ob es in der Lage ist, durch Glück das richtige Ergebnis zu liefern.

Technisches Resümee: Fundierung der funktionellen Ähnlichkeit durch Invarianz-bewusste Modell-Stitching-Verfahren

Problemstellung

Die Bewertung der funktionellen Ähnlichkeit zielt darauf ab, das Ausmaß zu quantifizieren, in dem unabhängig voneinander trainierte neuronale Netze ähnliche Input-Output-Beziehungen erlernen. Eine prominente Methode hierfür ist das Modell-Stitching (Modell-Zusammennähen), bei dem die frühen Schichten (Front-Modell) eines Netzwerks mit den späteren Schichten (End-Modell) eines anderen über eine trainierbare Ausrichtungsschicht (Alignment Layer) verbunden werden. Wenn die resultierende zusammengesetzte Struktur eine hohe Leistungsfähigkeit beibehält, gelten die Modelle als funktionell ähnlich.

Jüngste Studien (z. B. Smith et al., 2025) haben jedoch eine kritische Einschränkung beim Standard-Modell-Stitching identifiziert: Es stützt sich ausschließlich auf Vorwärtskompatibilität (Forward Compatibility). Das bedeutet, es bewertet lediglich, ob die Repräsentationen des Front-Modells ausgerichtet werden können, um die Aufgabe des End-Modells zu lösen. Folglich können Modelle, die auf grundlegend unterschiedlichen Informationsmerkmalen basieren (z. B. Farbe vs. Form oder robuste vs. nicht-robuste Merkmale), dennoch kompatible Repräsentationen erzeugen, was zu „irreführenden“ Einschätzungen der Ähnlichkeit führt. Darüber hinaus kann das Standard-Stitching bisher ungesehene prädiktive Merkmale (Shortcuts) ausnutzen, um die Ausrichtung zu erreichen, was die wahren funktionellen Diskrepanzen weiter verschleiert.

Die Autoren argumentieren, dass das Standard-Stitching von Natur aus blind gegenüber den Invarianzeigenschaften der Modelle ist. Speziell berücksichtigt es nicht die Rückwärtsrichtung: ob das End-Modell die zusammengesetzten Repräsentationen in einer Weise verarbeitet, die konsistent mit der Verarbeitung seiner eigenen nativen Repräsentationen ist, insbesondere im Hinblick auf gemeinsame Invarianzen.

Methodik

1. Anforderung der Vorwärts–Rückwärts-Kompatibilität

Um die Einschränkungen der reinen Vorwärtsbewertung zu adressieren, führen die Autoren eine Vorwärts–Rückwärts-Kompatibilitätsanforderung ein. Dieses Framework postuliert, dass zwei Modelle zwei Bedingungen erfüllen müssen, um als funktionell ähnlich zu gelten:

Vorwärtskompatibilität: Die Repräsentationen des Front-Modells können auf das End-Modell ausgerichtet werden, um die Aufgabe zu lösen.
Rückwärtskompatibilität: Für Eingaben, die das Front-Modell identisch repräsentiert (Indistinguishable Representations), muss das End-Modell diese Repräsentationen ähnlich verarbeiten, unabhängig davon, ob sie aus dem Front-Modell oder seinem eigenen nativen Pfad stammen.

Diese Anforderung stellt sicher, dass die zusammengesetzte Struktur die durch das Front-Modell induzierten Invarianzklassen respektiert.

2. Invarianz-bewusstes Modell-Stitching

Die Autoren operationalisieren diese Anforderung durch Invarianz-bewusstes Modell-Stitching. Der Kernmechanismus umfasst:

Identisch repräsentierte Eingaben (IRIs): Unter Verwendung eines Front-Modells $f_{\le i}$ generieren sie einen Datensatz $D_{IRIs}$ , bei dem Eingaben $x'$ so optimiert werden, dass sie an der Stitching-Schicht nahezu identische Repräsentationen wie die Originaleingaben $x$ liefern ( $||f_{\le i}(x') - f_{\le i}(x)|| \approx 0$ ).
Trainingsprotokoll: Die Ausrichtungsschicht wird auf $D_{IRIs}$ (unter Verwendung der Repräsentationen des Front-Modells) trainiert, aber auf dem Standard-Testdatensatz $D_{test}$ evaluiert.
Logik: Wenn die Modelle wirklich funktionell ähnlich sind, sollte die auf IRIs gelernte Alignment-Transformation auf den Standard-Testdatensatz generalisieren. Wenn die Ausrichtung auf Merkmalen basiert, die spezifisch für die Generierung der IRIs sind, oder wenn sie die Invarianzen des End-Modells nicht respektiert, wird die Leistung sinken, was funktionelle Diskrepanzen offenlegt.

3. Stitching-Ausrichtungsziele

Das Paper evaluiert verschiedene Ausrichtungsziele, um die Stitching-Transformation $T_\theta$ zu etablieren:

Hard Label Matching (HLM): Minimiert die Cross-Entropy zwischen dem zusammengesetzten Output und den Ground-Truth-Labels.
Soft Label Matching (SLM): Minimiert die Cross-Entropy zwischen dem zusammengesetzten Output und den Soft-Predictions des eigenständigen End-Modells.
Direct Matching (DM): Minimiert die $L_2$ -Distanz zwischen dem Output des Front-Modells und den intermediären Features des End-Modells auf der Stitching-Ebene.
Functional Latent Alignment (FuLA): Ein von den Autoren vorgeschlagenes, neuartiges Ziel. Es minimiert die Distanz zwischen den internen Features der zusammengesetzten Komposition und den Features des End-Modells über mehrere Schichten hinweg (von der Stitching-Ebene bis zur vorletzten Schicht) und ahmt damit effektiv den internen Verarbeitungsprozess des End-Modells nach, ohne auf Output-Labels angewiesen zu sein.

Zentrale Beiträge

Identifizierung von Fehlermodi: Die Autoren zeigen, dass das Standard-Modell-Stitching (selbst unter SLM und DM, nicht nur HLM) nicht in der Lage ist, zwischen Modellen zu unterscheiden, die auf unterschiedlichen Informationsmerkmalen basieren. Sie zeigen, dass diese Methoden hohe Ähnlichkeitswerte erzeugen können, selbst wenn Modelle unterschiedliche visuelle Merkmale nutzen (z. B. Pixel-Shortcuts) oder wenn ein Modell robust und das andere nicht robust ist.
Invarianz-bewusstes Framework: Sie schlagen und validieren ein Invarianz-bewusstes Modell-Stitching als einen prinzipierteren Ansatz vor. Durch die Durchsetzung der Vorwärts–Rückwärts-Kompatibilität deckt diese Methode funktionelle Diskrepanzen auf, die das Standard-Stitching verbirgt.
Re-Evaluation der Robustheit: Das Paper untersucht die funktionelle Ähnlichkeit zwischen robusten (adversarial trainierten) und nicht-robusten Netzwerken. Während frühere Arbeiten nahelegten, dass sie funktionell ähnlich seien, zeigen die Autoren unter Invarianz-bewusstem Stitching, dass diese signifikante funktionelle Inkompatibilitäten aufweisen, insbesondere in der Art und Weise, wie sie mit adversariellen Perturbationen umgehen.
Analyse der Ausrichtungsziele: Die Studie analysiert das Zusammenspiel verschiedener Stitching-Ziele. Sie stellt fest, dass FuLA und SLM im Allgemeinen eine höhere funktionelle Ähnlichkeit ergeben, während Direct Matching (DM) oft eine Fehlausrichtung auf der latenten Ebene aufzeigt. Die Autoren betonen einen Trade-off: Ziele, die eine striktere latente Ausrichtung erzwingen (wie DM), sind weniger anfällig für das Ausnutzen ungesehener Merkmale, könnten aber insgesamt niedrigere Ähnlichkeitswerte liefern.

Experimentelle Ergebnisse

Die Autoren führten Experimente zu Bildklassifizierungsaufgaben mit CIFAR-10, LS-ImageNet-10 und ImageNet-100 unter Verwendung von Architekturen wie ResNet-18, VGG-16, ViT-Tiny und ViT-Base durch.

Unterschiedliche Informationsmerkmale: Beim Stitching von Modellen, die auf verschiedenen Varianten von CIFAR-10 trainiert wurden (z. B. eines mit Pixel-Shortcuts), zeigte das Standard-Stitching in tiefen Schichten eine hohe Ähnlichkeit. Im Gegensatz dazu zeigte das Invarianz-bewusste Stitching einen scharfen Abfall der Ähnlichkeit in der Cross-Bias-Konfiguration, was die fehlende funktionelle Ähnlichkeit korrekt identifizierte.
Ungesehene prädiktive Informationen: Es wurde festgestellt, dass Standard-Stitching-Formulierungen „Shortcuts“ (prädiktive Merkmale, die nicht in den ursprünglichen Trainingsdaten vorhanden waren) ausnutzen, um Modelle auszurichten. Invarianz-bewusstes Stitching milderte dieses Verhalten erheblich ab und reduzierte die „übermäßige Übereinstimmung“ auf nahezu Null, wenn solche Merkmale nicht verfügbar waren.
Robuste vs. Nicht-robuste Modelle: Das Standard-Stitching suggerierte, dass robuste und nicht-robuste Modelle funktionell ähnlich seien. Das Invarianz-bewusste Stitching offenbarte, dass robuste Modelle eine konsistentere Repräsentationsstruktur untereinander teilen, während nicht-robuste Modelle idiosynkratische Invarianzen entwickeln, die nicht mit robusten Modellen geteilt werden.
Vergleich der Ziele: FuLA und SLM erreichten im Allgemeinen eine vergleichbare funktionelle Ähnlichkeit, während DM oft zu niedrigeren Ähnlichkeitswerten führte, was darauf hindeutet, dass eine Fehlausrichtung auf der Feature-Repräsentations-Ebene bereits vor der Output-Schicht existiert.

Bedeutung und Behauptungen

Das Paper behauptet, dass Invarianz-bewusstes Modell-Stitching eine fundiertere und prinzipiertere Metrik für die funktionelle Ähnlichkeit liefert. Durch die Erweiterung von der reinen Vorwärtskompatibilität zur Einbeziehung der Rückwärtskompatibilität verhindert die Methode irreführende Schlussfolgerungen, bei denen Modelle als ähnlich erscheinen, nur weil sie zu einer Aufgabe ausgerichtet werden können, obwohl sie auf unterschiedlichen zugrunde liegenden Mechanismen basieren.

Die Autoren betonen, dass ihr Ansatz „zuvor verborgene funktionelle Diskrepanzen aufdeckt“ und somit ein feiner abgestuftes Verständnis dafür bietet, wie neuronale Netze intern operieren. Sie kommen zu dem Schluss, dass eine Bewertung der Ähnlichkeit aus multiplen Perspektiven (vorwärts und rückwärts) essenziell ist, um das Innenleben tiefer neuronaler Netze, insbesondere im Kontext von Robustheit und diversen Trainingszielen, präzise zu bewerten.

Limitationen: Die Autoren räumen das Fehlen eines „Oracle“-Begriffs für funktionelle Ähnlichkeit ein, was bedeutet, dass definitive Schlussfolgerungen darüber, welche Einstellung die „treueste“ ist, weiterhin schwierig bleiben. Zudem ist die Studie derzeit auf Bildklassifizierungsmodelle beschränkt.