🤖 machine learning

KLAS: Using Similarity to Stitch Neural Networks for Improved Accuracy-Efficiency Tradeoffs

Das Papier stellt KLAS vor, ein neuartiges Framework, das das Zusammenfügen vortrainierter neuronaler Netze automatisiert und optimiert, indem es die KL-Divergenz nutzt, um die ähnlichsten intermediären Repräsentationen zu identifizieren, wodurch die Genauigkeits-Effizienz-Abwägungen im Vergleich zu bestehenden heuristischen Ansätzen erheblich verbessert werden.

Ursprüngliche Autoren: Debopam Sanyal, Anantharaman Iyer, Alind Khare, Trisha Jain, Akshay Jajoo, Myungjin Lee, Clayton Kerce, Alexey Tumanov

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Debopam Sanyal, Anantharaman Iyer, Alind Khare, Trisha Jain, Akshay Jajoo, Myungjin Lee, Clayton Kerce, Alexey Tumanov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige Bibliothek vorgefertigter Roboter vor. Manche sind klein und schnell, aber nicht sehr intelligent (wie ein Spielzeugroboter). Andere sind riesig, langsam und unglaublich intelligent (wie ein Supercomputer). Normalerweise müssen Sie, wenn Sie einen Roboter benötigen, der „genau richtig" ist – intelligent genug, um einen guten Job zu erledigen, aber schnell genug, um mit einer Batterie zu laufen –, ein brandneues Exemplar von Grund auf bauen. Das kostet viel Zeit, Geld und Energie.

Vor einigen Jahren entdeckten Wissenschaftler einen Abkürzungsweg: Stitching (das Zusammenfügen). Anstatt einen neuen Roboter zu bauen, können Sie die „Augen" des kleinen Roboters und das „Gehirn" des großen Roboters nehmen und sie zusammennähen. Sie erhalten einen hybriden Roboter, der irgendwo in der Mitte liegt.

Es gab jedoch ein großes Problem mit dieser Stitching-Methode. Die Leute, die das Nähen vornahmen, verwendeten schlechte Faustregeln. Sie sagten einfach: „Nähen wir das zweite Auge des kleinen Roboters an das zweite Gehirn des großen Roboters" oder „Verbinden wir nur Roboter, die in der Größe ähnlich sind." Sie prüften tatsächlich nicht, ob diese Teile wirklich zusammenpassten. Manchmal kollidierten die Teile, und der neue Roboter funktionierte nicht gut.

KLAS tritt in Erscheinung.

Die Autoren dieses Papiers, KLAS, sind wie ein Meister Schneider, der nicht rät. Stattdessen verwenden sie ein spezielles Werkzeug namens KL-Divergenz (denken Sie daran als „Kompatibilitätsscanner"), um exakt zu messen, wie ähnlich die Gedanken eines Roboter-Teils denen eines anderen sind.

So funktioniert KLAS, aufgeschlüsselt in einfache Schritte:

1. Das Problem mit dem „Nearest Neighbor"-Stitching

Stellen Sie sich vor, Sie versuchen, Socken zu matchen. Die alte Methode (SN-Net genannt) sagte: „Matchen Sie einfach die Socken, die sich auf dem Regal am nächsten beieinander befinden."

Der Fehler: Manchmal passt eine leuchtend rote Socke (ein kleines Modell) tatsächlich perfekt zu einer dunkelblauen Socke (ein großes Modell), weil sie aus demselben Stoff gefertigt sind, auch wenn sie weit voneinander entfernt auf dem Regal liegen. Die alte Methode verpasste diese perfekten Matches, weil sie nur den Abstand betrachtete, nicht die Qualität.

2. Der KLAS „Kompatibilitätsscanner"

KLAS verwendet ein mathematisches Konzept namens KL-Divergenz. Stellen Sie sich vor, Sie haben zwei Personen, die sprechen.

Alte Methode: Prüft, ob sie nebeneinander stehen.
KLAS: Hört zu, was sie sagen. Es fragt: „Wenn Person A spricht, versteht Person B dann Tonfall und Bedeutung perfekt?"
Wenn die Antwort „Ja" ist (niedrige KL-Divergenz), weiß KLAS, dass diese beiden Teile gut zusammenarbeiten werden. Wenn die Antwort „Nein" ist (hohe KL-Divergenz), weiß KLAS, dass sie kollidieren werden.

3. Die Magie von „ProbeNet"

Um diese Kompatibilität zu prüfen, ohne die Roboter zuerst tatsächlich zusammenzunähen (was langsam und teuer wäre), verwendet KLAS einen cleveren Trick namens ProbeNet.

Stellen Sie sich vor, Sie wollen wissen, ob ein Automotor in ein neues Chassis passt. Anstatt sie zusammenzuschrauben und zu versuchen zu fahren, schließen Sie einen winzigen, temporären Sensor an den Motor an. Dieser Sensor prüft schnell, ob die Ausgabe des Motors dem entspricht, was das Chassis erwartet.
KLAS macht dies mit „linearen Proben". Es legt eine winzige, temporäre Testschicht auf die vortrainierten Modelle, um zu sehen, wie sie „denken". Das dauert fast keine Zeit und kostet fast nichts.

4. Das Ergebnis: Eine perfekte Passform

Durch die Verwendung dieses Scanners kann KLAS die bestmöglichen Kombinationen finden, nicht nur die „nächsten".

Die Behauptung: In ihren Tests fand KLAS Kombinationen, die genauer (intelligenter) waren als die alte Methode, unter Verwendung der gleichen Rechenleistung.
Oder: Es fand Kombinationen, die genauso intelligent waren, aber weniger Leistung verbrauchten (was Batterie und Geld spart).

Reale Beispiele aus dem Papier

Die Autoren testeten dies an:

Bilderkennung: Sie machten Computer besser darin, Katzen, Hunde und Autos zu identifizieren. Sie fügten verschiedene Versionen von „Swin"- und „DeiT"-Modellen zusammen. KLAS fand heraus, dass es manchmal besser funktionierte, das kleinste Modell direkt mit dem größten Modell zu verbinden (das mittlere überspringend), als die alte „Schritt-für-Schritt"-Methode.
Medizin-/Karten-Aufgaben: Sie probierten es sogar bei „Semantischer Segmentierung" aus (wie eine Karte, die jedes Pixel eines Fotos einfärbt, um zu zeigen, was es ist). KLAS erstellte bessere Karten mit demselben Rechenbudget.
Sprachmodelle: Sie testeten es an Large Language Models (wie denen, die Text schreiben). KLAS fand bessere Wege, ein kleines Sprachmodell mit einem großen zu mischen, wodurch das Ergebnis intelligenter und wahrheitsgemäßer wurde als die alte „Schichtzähl"-Methode.

Das Fazit

Das Papier argumentiert, dass wir keine neuen KI-Modelle von Grund auf bauen müssen, um das perfekte Gleichgewicht zwischen Geschwindigkeit und Intelligenz zu erreichen. Wir müssen nur aufhören zu raten, welche Teile wir zusammennähen sollen. Indem wir einen „Kompatibilitätsscanner" (KL-Divergenz) verwenden, um zuzuhören, wie die Teile denken, können wir automatisch die perfekte hybride KI für jede Aufgabe zusammenfügen und dabei Zeit, Geld und Energie sparen.

Kurz gesagt: KLAS ist der clevere Schneider, der den Stoff misst, bevor er schneidet, und so sicherstellt, dass der fertige Anzug perfekt passt, während die alte Methode nur darauf riet, wo der Stoff im Schrank hing.

Technische Zusammenfassung: KLAS – Nutzung von Ähnlichkeit zum Zusammenfügen neuronaler Netze für verbesserte Genauigkeit-Effizienz-Abwägungen

1. Problemstellung

Der Einsatz großer vortrainierter Vision-Transformer (ViTs) und Convolutional Neural Networks (CNNs) steht vor einer grundlegenden Herausforderung: Diverse Umgebungen reichen von leistungsstarken Cloud-Servern bis hin zu ressourcenbeschränkten Edge-Geräten, was eine flexible Modellauswahl innerhalb spezifischer Rechenbudgets erfordert. Während Neural Architecture Search (NAS) versucht, Genauigkeit und Effizienz auszubalancieren, ist traditionelle One-to-One-NAS rechnerisch prohibitiv, und One-to-Many- oder Zero-Shot-NAS-Ansätze sind oft auf einen einzigen Modell-Designraum beschränkt, wodurch sie den reichen Pool bestehender vortrainierter Modelle nicht nutzen können.

Modell-Stitching (Zusammenfügen) bietet eine vielversprechende Alternative, indem Blöcke aus verschiedenen vortrainierten „Anker"-Modellen kombiniert werden, um interpolierte Netze zu erstellen. Bestehende Many-to-Many-Stitching-Ansätze wie SN-Net verlassen sich jedoch auf naive Heuristiken (z. B. „nächstes Stitching" benachbarter Anker oder feste Block-Paarungen), um Stitch-Konfigurationen auszuwählen. Diese Heuristiken liefern oft suboptimale Genauigkeit-Effizienz-Abwägungen und mangeln an Generalisierbarkeit über diverse Modellfamilien hinweg. Darüber hinaus ist der Suchraum für Stitch-Konfigurationen riesig ( $O(k^2n^2)$ für $k$ Modelle der Tiefe $n$ ), was eine exhaustive Suche unmöglich macht. Das Kernproblem ist das Fehlen einer prinzipiellen, automatisierten Methode, um kompatible Stitch-Konfigurationen zu identifizieren, die die Leistung maximieren, ohne hohe Trainingskosten zu verursachen.

2. Methodik: Das KLAS-Framework

Die Autoren schlagen KLAS (KL-Divergenz-basiertes Anker-Stitching) vor, ein Framework, das die Stitch-Auswahl automatisiert, indem es die Ähnlichkeit zwischen intermediären Repräsentationen vortrainierter Modelle nutzt.

Kernkonzept: KL-Divergenz als Ähnlichkeitsmetrik

KLAS geht davon aus, dass erfolgreiches Stitching sowohl von repräsentativer Ähnlichkeit (geometrische Ausrichtung von Aktivierungen) als auch von funktionaler Ähnlichkeit (Erhaltung aufgabenrelevanter Informationen und Entscheidungsgrenzen) abhängt. Die Autoren argumentieren, dass die Kullback-Leibler (KL)-Divergenz einzigartig geeignet ist, beides zu erfassen:

Repräsentative Ausrichtung: Sie quantifiziert den statistischen Abstand zwischen Aktivierungsverteilungen und zeigt an, ob eine leichte Transformation Quellaktivierungen auf Zielaktivierungen abbilden kann.
Funktionale Ausrichtung: Sie bewertet, wie gut die Ausgaben eines Quellblocks die Entscheidungsgrenzen des Zielmodells bewahren, wodurch sichergestellt wird, dass das gestitchte Netz die Leistung bei nachgelagerten Aufgaben mit minimalem Fine-Tuning beibehält.

Im Gegensatz zu Metriken wie Centered Kernel Alignment (CKA), Mean Squared Error (MSE) oder Cross-Entropy (CE), die oft das Gelingen von Stitching nicht vorhersagen können, misst die KL-Divergenz direkt die Kompatibilität von Wahrscheinlichkeitsverteilungen, die durch lineare Proben (Probes) erzeugt werden.

Der KLAS-Algorithmus

Das Framework arbeitet in zwei Hauptphasen:

Anker-Auswahl:
- KLAS berechnet die KL-Divergenz zwischen den Softmax-Wahrscheinlichkeitsverteilungen der letzten Blöcke potenzieller vortrainierter Modelle.
- Modelle mit niedriger KL-Divergenz der letzten Blöcke werden als kompatible Anker betrachtet, da sie ähnliche Entscheidungsgrenzen und Klassenvertrauensverteilungen teilen. Dies ersetzt die heuristische „nächste Stitching"-Methode aus früheren Arbeiten.
Block-Auswahl:
- Sobald Anker ausgewählt sind, bewertet KLAS Blockpaare mittels eines Stitch-Scores $\Gamma(i, j)$ , definiert als:
  $\Gamma(i, j) = \frac{\Theta(P^f_i, P^g_j)}{\Theta(P^g_j, P^g_{j+1})}$
  Wobei:
  - $\Theta(P^f_i, P^g_j)$ die kreuzankerbezogene Aktivierungsdistanz (KL-Divergenz zwischen Quellblock $i$ und Zielblock $j$ ) ist.
  - $\Theta(P^g_j, P^g_{j+1})$ die intra-ankerbezogene Blockkapazität (KL-Divergenz zwischen aufeinanderfolgenden Blöcken im Zielanker) ist.
- Dieser Score balanciert die Transformationslast der hypothetischen Stitch-Schicht gegen die Fähigkeit des Zielblocks, Verteilungsunterschiede zu absorbieren.
- ProbeNet: Um diese Scores effizient zu berechnen, ohne vollständige Stitch-Schichten zu trainieren, verwendet KLAS eine einheitliche Architektur namens ProbeNet. Sie fügt lineare Klassifikator-Probes an jeden Block der Ankermodelle an und trainiert diese gemeinsam in einem einzigen Vorwärts-Rückwärts-Durchlauf. Dies verursacht nur vernachlässigbare einmalige Kosten (z. B. 0,25 GPU-Tage für Swin-B) im Vergleich zum Training einzelner Probes.
Konfigurationsauswahl:
- Kandidaten-Stitch-Konfigurationen werden basierend auf einem justierbaren Schwellenwert $\tau$ relativ zum minimalen Score innerhalb von FLOPs-Becken gefiltert. Dies stellt sicher, dass eine dichte Pareto-Front einsetzbarer Modelle über das gesamte Spektrum der Genauigkeit-Effizienz-Abwägung hinweg entsteht.

3. Hauptbeiträge

Identifikation von Heuristik-Limitationen: Die Arbeit zeigt, dass naive Heuristiken (wie jene in SN-Net) nicht universell optimal sind und oft überlegene „ferne Stitching"-Konfigurationen (z. B. direkte Verbindung von Swin-Ti mit Swin-B) verpassen, die von Heuristiken übersehen werden.
Prinzipielle Ähnlichkeitsmetrik: Die Einführung der KL-Divergenz als Metrik für die Stitch-Auswahl, die sowohl repräsentative als auch funktionale Ausrichtung erfasst, ohne die Instanziierung oder das Training von Stitch-Schichten zu erfordern.
KLAS-Framework: Ein generalisierbares, kostengünstiges Framework, das die Anker- und Blockauswahl über diverse Modellfamilien hinweg automatisiert (ViTs, CNNs und LLMs).
Empirische Validierung: Umfassende Experimente, die konsistente Verbesserungen gegenüber Baselines über mehrere Datensätze hinweg zeigen (ImageNet-1K, CIFAR-100, ADE20K, TruthfulQA) und verschiedene Architekturen abdecken.

4. Experimentelle Ergebnisse

Die Autoren bewerteten KLAS gegen SN-Net und andere Baselines unter identischen Fine-Tuning-Bedingungen (50 Epochen für Vision, 10 Epochen für LLMs).

Genauigkeit-Effizienz-Abwägungen:
- ImageNet-1K: KLAS erreicht bis zu 1,21 % höhere Top-1-Genauigkeit bei gleichen Rechenkosten oder eine 1,33-fache Reduktion der FLOPs bei gleicher Genauigkeit im Vergleich zu SN-Net.
- AUC-Werte: Bei der Swin-Familie erreichte KLAS eine Area Under the Curve (AUC) von 0,8950 und übertraf damit SN-Net (0,8345) und andere Ähnlichkeitsmetriken wie CKA (0,8124) signifikant.
- Querschnittsarchitekturen: KLAS stitchete ResNet-18 erfolgreich mit Swin-B und übertraf kaskadierte Inferenz-Baselines um 2–3 % Top-1-Genauigkeit bei ähnlichen FLOPs.
Dichte Vorhersage (Semantische Segmentierung):
- Auf ADE20K mit Mask2Former erreichten von KLAS ausgewählte Stitches bis zu +0,9 % mIoU über SN-Net-Baselines bei vergleichbaren FLOPs-Budgets.
Large Language Models (LLMs):
- Unter Verwendung von Llama-1B- und 3B-Ankern auf dem TruthfulQA-Benchmark übertrafen KLAS-gestitchte Modelle ESTA (eine heuristikbasierte LLM-Stitching-Methode) um bis zu 0,017 ROUGE-1 und 0,033 ROUGE-2, obwohl sie in einigen Konfigurationen weniger Parameter hatten.
Wirksamkeit der Metrik:
- Die KL-Divergenz konnte erfolgreich 88,9 % der viablen Swin-Ti-B-Stitch-Konfigurationen wiederherstellen, wohingegen CKA nur 5,5 % und SN-Net-Heuristiken 61,1 % wiederherstellten.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass KLAS die kritische Lücke im Modell-Stitching schließt, indem es ad-hoc-Heuristiken durch einen prinzipiellen, ähnlichkeitsgetriebenen Ansatz ersetzt. Seine Bedeutung liegt in:

Generalisierbarkeit: Es funktioniert über diverse Architekturfamilien hinweg (Transformer, CNNs, Hybride) und Modalitäten (Vision, Sprache) und überwindet die Einschränkungen von Methoden, die auf einzelne Familien beschränkt sind.
Kosten-Effizienz: Es generiert eine kontinuierliche Pareto-Front einsetzbarer Modelle mit vernachlässigbarem zusätzlichem Rechenaufwand (nur Proben-Training und Fine-Tuning der Stitch-Schicht) und vermeidet die prohibitiven Kosten traditioneller NAS.
Systematische Optimierung: Durch die explizite Erfassung von Verteilungsunterschieden mittels KL-Divergenz ermöglicht KLAS die Entdeckung nicht-intuitiver, hochleistungsfähiger Stitch-Konfigurationen (z. B. „fernes Stitching"), die von heuristischen Methoden übersehen werden.

Die Autoren schließen, dass KLAS eine robuste, automatisierte Lösung zur Optimierung der Genauigkeit-Effizienz-Abwägung in Einsatzszenarien bietet und den bestehenden Ökosystem vortrainierter Modelle effektiv nutzt, ohne ein Training von Grund auf zu erfordern.