🤖 machine learning

Bilinear Coordinate Alignment for Training-Free Task-Vector Transfer

Das Papier schlägt BiCo vor, ein trainingsfreies Framework, das die Übertragung von Task-Vektoren zwischen verschiedenen vortrainierten Modellen verbessert, indem es den Prozess als ein Dualraum-Alignierungsproblem auf Basis bilinearer Interaktionen formuliert und dadurch bestehende Methoden über verschiedene Architekturen hinweg ohne zusätzliche Feinabstimmung übertrifft.

Ursprüngliche Autoren: Jungyong Son, Jinwook Jung, Minhee Park, Sungyong Baik

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jungyong Son, Jinwook Jung, Minhee Park, Sungyong Baik

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Umziehen"-Dilemma

Stellen Sie sich vor, Sie haben einen hochqualifizierten Koch (ein feinabgestimmtes Modell), der gelernt hat, die perfekte Lasagne zu kochen. Dieser Koch hat dieses Rezept in einer spezifischen Küche mit einem bestimmten Satz an Werkzeugen, einem bestimmten Grundriss und einer bestimmten Art, Zutaten zu organisieren, gelernt.

Stellen Sie sich nun vor, der Koch zieht in eine neue, leicht andere Küche (ein neues vortrainiertes Modell) um. Die neue Küche hat:

Eine andere Anzahl an Schränken (andere Breite).
Eine andere Anzahl an Etagen (andere Tiefe).
Eine leicht andere Anordnung von Herd und Spüle (andere Vortrainierungsdaten).

Wenn Sie versuchen, einfach die alten Notizen des Kochs (den Task-Vektor) zu kopieren und in die neue Küche zu kleben, schlägt das Rezept fehl. Warum? Weil „Schränk 3" in der alten Küche vielleicht „Etage 2" in der neuen ist, oder das „Gewürzregal" links statt rechts steht. Die Notizen passen nicht zum Koordinatensystem des neuen Raums.

Traditionell müsste man, um dies zu beheben, den Koch beauftragen, das Lasagne-Rezept in der neuen Küche von Grund auf neu zu lernen. Das kostet viel Zeit, Geld und Energie (Rechenkosten).

Die alte Lösung: „Möbel anpassen"

Frühere Methoden versuchten, dieses Problem zu lösen, indem sie entweder die Möbel (Aktivierungen) oder die Bewegungen des Kochs (Gradienten) separat betrachteten.

Methode A versuchte, die Möbel anzupassen: „Okay, dieser Tisch in der alten Küche sieht aus wie jener Tisch in der neuen."
Methode B versuchte, die Bewegungen anzupassen: „Diese Handbewegung in der alten Küche entspricht dieser Bewegung hier."

Das Problem ist, dass diese Methoden nur die Hälfte des Bildes betrachteten. Sie versuchten, den Raum oder die Handlungen des Kochs auszurichten, aber nicht, wie beide zusammenwirken. Infolgedessen schmeckte die Lasagne immer noch nicht richtig, und der Koch war nicht ganz so gut, als hätte er alles von Grund auf neu gelernt.

Die neue Lösung: BiCo (Der „Dual-Raum-Übersetzer")

Die Autoren dieses Papiers erkannten etwas Cleveres: Das Rezept eines Kochs (der Task-Vektor) ist nicht nur eine Liste von Zutaten oder nur eine Liste von Bewegungen. Es ist die Interaktion zwischen den Zutaten (was hineingeht) und der Reaktion des Kochs darauf (was herauskommt).

Stellen Sie es sich wie einen Tanz vor. Der Tanzschritt ist nicht nur die Fußstellung (Eingang) oder nur die Armbewegung (Ausgang); es ist die Beziehung zwischen beiden.

BiCo funktioniert, indem es beide Seiten dieses Tanzes gleichzeitig betrachtet:

Die Eingangsseite (Die Zutaten): Es betrachtet, wie die neue Küche ihre Zutaten im Vergleich zur alten organisiert.
Die Ausgangsseite (Die Reaktion): Es betrachtet, wie die neue Küche auf den Kochprozess im Vergleich zur alten reagiert.

Wie BiCo funktioniert (Der „magische Übersetzer")

Anstatt zu versuchen, die alten Notizen gewaltsam passen zu lassen, fungiert BiCo wie ein universeller Übersetzer, der die Geometrie beider Küchen versteht.

Die „Kalibrierung" (Der schnelle Test): BiCo nimmt eine winzige, winzige Probe von Zutaten (eine kleine „Kalibrierungsdatenmenge") und führt sie einmal durch beide Küchen, die alte und die neue. Es verändert nichts; es beobachtet nur.
Die „Procrustes"-Karte (Die Rotation): Es berechnet eine mathematische „Rotation" (genannt Orthogonale Procrustes-Abbildung) sowohl für die Eingangsseite als auch für die Ausgangsseite.
- Analogie: Stellen Sie sich vor, die Schränke der alten Küche sind um 45 Grad im Vergleich zu denen der neuen gedreht. BiCo berechnet genau, wie die Notizen des Kochs gedreht werden müssen, damit „Schränk 3" in den alten Notizen perfekt mit „Schränk 3" in den neuen Notizen übereinstimmt.
Die Übertragung: Es wendet diese Rotationen auf die ursprünglichen Lasagne-Notizen des Kochs an. Jetzt sind die Notizen perfekt an das Layout der neuen Küche angepasst.
Das Ergebnis: Der Koch kann nun die alten Notizen in der neuen Küche verwenden und eine perfekte Lasagne zubereiten, ohne jemals das Rezept neu gelernt zu haben.

Warum das eine große Sache ist

Kein Neulernen: Sie müssen das Modell nicht tagelang oder wochenlang neu trainieren. Es ist „training-free" (ohne Training).
Überall funktionsfähig: Es funktioniert sogar dann, wenn die neue Küche größer (breiter), höher (tiefer) ist oder einen anderen Grundriss hat (andere Vortrainierungsdaten).
Besser als zuvor: In Tests im Bereich Computer Vision (wie das Erkennen von Autos oder Verkehrszeichen) und Sprachaufgaben (wie das Verstehen von Sätzen) erzielte BiCo Ergebnisse, die viel näher an einem vollständig neu trainierten Modell lagen als jede vorherige Methode. Es hat die Lücke erheblich verkleinert.

Das Fazit

BiCo ist eine intelligente Methode, um „Expertise" von einem KI-Modell auf ein anderes zu übertragen. Anstatt einfach die Notizen zu kopieren und zu hoffen, dass sie passen, ermittelt es genau, wie man die Notizen rotieren und ausrichten muss, damit sie in der neuen Umgebung Sinn ergeben. Es ist wie eine magische Landkarte, die ein Rezept sofort von einer Küche in eine andere übersetzt und Ihnen die Mühe erspart, die neue Küche von Grund auf neu zu lernen.

Technische Zusammenfassung: BiCo – Bilineare Koordinatenausrichtung für training-freie Task-Vector-Übertragung

Problemstellung

Das vorherrschende Paradigma im modernen maschinellen Lernen besteht darin, groß angelegte vortrainierte Modelle durch Feinabstimmung an spezialisierte nachgelagerte Aufgaben anzupassen. Da sich jedoch Familien vortrainierter Modelle mit neuen Varianten erweitern, die sich in Bezug auf Skalierung, Vortrainierungsdaten oder Trainingsrezepte unterscheiden, wird die durch Feinabstimmung erworbene Expertise an die spezifische Parametrisierung des ursprünglichen Modells gebunden. Folglich kann bei Veröffentlichung einer neuen Modellversion das feinabgestimmte Wissen nicht direkt wiederverwendet werden, was kostspielige und wiederholte Feinabstimmungsprozesse erforderlich macht.

Bestehende Ansätze zur Übertragung dieser „Task-Vector"-Expertise (definiert als Parameterunterschied $\tau = \theta_{ft} - \theta_{pre}$ ) über verschiedene Modelle hinweg stoßen auf erhebliche Einschränkungen. Methoden, die auf einer Ausrichtung im Parameterraum basieren (z. B. Re-Basin durch Permutationssymmetrien), erfordern eine strenge architektonische Kompatibilität und übereinstimmende Dimensionen. Jüngste training-freie Methoden, die taskspezifische Signale wie Aktivierungen oder Gradienten nutzen (z. B. THESEUS, GradFix), liefern zwar partielle Korrespondenzen, weisen jedoch immer noch eine erhebliche Leistungslücke im Vergleich zur direkten Feinabstimmung des Zielmodells auf. Die Kernherausforderung besteht darin, Task-Vektoren über Modelle mit unterschiedlichen Breiten, Tiefen und Vortrainierungskonfigurationen hinweg zu übertragen, ohne zusätzliche Parameterupdates vorzunehmen.

Methodik: BiCo

Die Autoren schlagen BiCo (Bilinear Coordinate alignment) vor, ein training-freies Framework, das die Übertragung von Task-Vektoren als Problem der Dualraum-Ausrichtung neu fasst.

1. Theoretische Einsicht: Bilineare Bildung von Task-Vektoren

Die Autoren untersuchen die mechanistische Bildung eines Task-Vektors erneut. Durch die Analyse der Gradientenabstiegs-Update-Regel zeigen sie, dass ein Task-Vektor $\tau^{(l)}$ für eine Schicht $l$ die Akkumulation bilinearer Interaktionen zwischen Eingangs-Aktivierungen ( $x_t$ ) und Ausgangs-Gradienten ( $g_t$ ) über den Feinabstimmungspfad darstellt:
$\tau^{(l)} = -\sum_{t=1}^{T} \eta_t (g_t^{(l)})^\top x_t^{(l)}$
Diese Formulierung impliziert, dass ein Task-Vektor nicht lediglich eine Parameteroffset ist, sondern eine Kopplung zweier verschiedener Koordinatenräume: des Eingangs-Aktivierungsraums und des Ausgangs-Gradientenraums. Die Autoren argumentieren, dass eine erfolgreiche Übertragung die Ausrichtung beider Räume erfordert, um die zugrunde liegende Geometrie des Updates zu erhalten, anstatt nur Aktivierungen oder nur Parameter auszurichten.

2. Das BiCo-Framework

BiCo schätzt orthogonale Procrustes-Abbildungen für sowohl den Eingangs- als auch den Ausgangsraum unter Verwendung eines kleinen Kalibrierungsdatensatzes ( $N$ Stichproben) und eines einzigen Vorwärts-Rückwärts-Durchlaufs durch eingefrorene vortrainierte Modelle ab. Keine Parameter des Zielmodells werden aktualisiert.

Eingangsseitige Ausrichtung: Die Methode geht davon aus, dass vortrainierte Aktivierungen als effektive Stellvertreter für die Trajektorien-Aktivierungen dienen. Sie berechnet die Kreuzkovarianz zwischen den vortrainierten Quell-Aktivierungen ( $\bar{X}_{A,pre}$ ) und den vortrainierten Ziel-Aktivierungen ( $\bar{X}_{B,pre}$ ). Eine orthogonale Procrustes-Lösung ( $R_{in}$ ) wird mittels Singulärwertzerlegung (SVD) abgeleitet, um die Quell-Eingangs-Koordinaten auf den Ziel-Eingangsraum abzubilden, wobei die relationale Geometrie (gemessen durch Centered Kernel Alignment, CKA) erhalten bleibt.
Ausgangsseitige Ausrichtung: Ebenso berechnet die Methode Gradienten bezüglich der Schichtausgänge bei der vortrainierten Initialisierung ( $\bar{G}_{A,pre}$ und $\bar{G}_{B,pre}$ ). Eine zweite orthogonale Procrustes-Lösung ( $R_{out}$ ) wird geschätzt, um die Ausgangs-Gradientenkoordinaten auszurichten. Dieser Schritt ist entscheidend, da die Ausgangsdimensionen zwischen Quell- und Zielmodellen oft unterschiedlich sind und die „tasksensitiven" Richtungen in verschiedenen Basen kodiert sein können.
Task-Vector-Übertragung: Der Quell-Task-Vektor $\tau_A^{(l)}$ wird in das zielkompatible Update $\hat{\tau}_B^{(l)}$ transformiert, indem die gelernten Abbildungen auf beide Seiten der bilinearen Struktur angewendet werden:
$\hat{\tau}_B^{(l)} = (R_{out}^{(l)})^\top \tau_A^{(l)} R_{in}^{(l)}$
Das finale Zielmodell wird aktualisiert als $\hat{\theta}_{B,ft} = \theta_{B,pre} + \hat{\tau}_B$ .

3. Behandlung struktureller Missverhältnisse

Breiten-Missverhältnis: Die Procrustes-Formulierung bewältigt natürliche Fälle, in denen Eingangs-/Ausgangsdimensionen unterschiedlich sind (z. B. Übertragung von schmal zu breit oder breit zu schmal), indem sie die optimale orthogonale Projektion findet.
Tiefen-Missverhältnis: Für Modelle mit unterschiedlichen Schichtzahlen wird eine einfache diskrete Schichtindex-Matching-Strategie eingesetzt, die Zielschicht $j$ der nächstgelegenen Quellschicht $i(j)$ zuordnet.

Hauptbeiträge

Neubetrachtung der Task-Vector-Bildung: Die Arbeit stellt fest, dass Task-Vektoren Akkumulationen bilinearer Interaktionen zwischen Eingangs-Aktivierungen und Ausgangs-Gradienten sind, was einen Dualraum-Ausrichtungsansatz motiviert, anstatt einen Einzelraum- oder Parameterraum-Ausrichtungsansatz.
BiCo-Framework: Einführung einer training-freien Methode, die orthogonale Procrustes-Ausrichtung sowohl auf Eingangs-Aktivierungen als auch auf Ausgangs-Gradienten zur Übertragung von Task-Vektoren nutzt. Sie erfordert nur einen einzigen Vorwärts-Rückwärts-Durchlauf auf einem kleinen Kalibrierungsdatensatz und beinhaltet keine Parameterupdates oder Hyperparameter-Tuning.
Empirische Validierung: Umfassende Experimente über Benchmarks für Computer Vision (8-Vision-Benchmark) und natürliche Sprachverarbeitung (GLUE-Suite) zeigen, dass BiCo bestehende training-freie Baselines (z. B. THESEUS, GradFix, TransFusion) konsistent übertrifft und die Leistungslücke zur direkten Feinabstimmung verringert, selbst über Modelle mit variierenden Breiten, Tiefen und Vortrainierungsverteilungen hinweg.

Ergebnisse

Skalierung der Breite: Bei der Übertragung von einem ViT-B/16 auf ein breiteres ViT-B/16-plus übertrifft BiCo naive Padding-Methoden und THESEUS erheblich. Mit nur 100 Kalibrierungsstichproben erzielt BiCo eine durchschnittliche Genauigkeitssteigerung von +18,88 % gegenüber der Zero-Shot-Baseline, verglichen mit +3,81 % für THESEUS.
Identische Architektur: Selbst wenn die Architekturen übereinstimmen, aber die Vortrainierungsdaten unterschiedlich sind (Datacomp-XL zu LAION-2B), verschlechtert eine naive Übertragung die Leistung. BiCo verbessert die durchschnittliche Genauigkeit um +17,81 % gegenüber der Zero-Shot-Baseline mit 5 Stichproben pro Klasse und übertrifft GradFix und THESEUS erheblich.
Skalierung von Tiefe und Breite: In herausfordernden Szenarien, die sowohl Tiefen- als auch Breiten-Missverhältnisse beinhalten (ViT-B/16 zu ViT-L/14), verbessert BiCo die Zero-Shot-Baseline um +12,89 % und demonstriert strukturelle Generalisierbarkeit.
NLP-Generalisierung: Angewendet auf T5-Modelle (T5-3B zu T5-Large) zeigt BiCo robuste Verbesserungen der Genauigkeit beim linearen Abtasten über GLUE-Aufgaben hinweg und skaliert effektiv mit der Anzahl der Kalibrierungsstichproben.
Ablationsstudien: Die Analyse bestätigt, dass die Ausrichtung nur der Eingangsseite oder nur der Ausgangsseite unzureichend ist. Die Kombination beider, insbesondere die Verwendung von Gradienten für die Ausgangsseite, ist entscheidend für die Leistung. Eine Eingangs-only-Ausrichtung kann die Leistung in tiefen Schichten sogar unter die Zero-Shot-Baseline verschlechtern.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass BiCo die Ineffizienz des erneuten Feinabstimmens von Modellen adressiert, indem es die direkte Wiederverwendung taskspezifischer Expertise über diverse Modellvarianten hinweg ermöglicht. Durch die Interpretation von Task-Vektoren als bilineare Interaktionen argumentieren die Autoren, dass die Erhaltung der Geometrie sowohl des Eingangs-Aktivierungsraums als auch des Ausgangs-Gradientenraums für eine effektive Übertragung unerlässlich ist.

Die Bedeutung dieser Arbeit liegt in ihrer Fähigkeit:

Rechenoverhead zu reduzieren: Die Notwendigkeit iterativer Feinabstimmung von Zielmodellen zu eliminieren, wobei nur ein einziger Vorwärts-Rückwärts-Durchlauf für die Kalibrierung erforderlich ist.
Skalierbare Wiederverwendung zu ermöglichen: Die Übertragung von Wissen über Modelle mit unterschiedlichen Breiten, Tiefen und Vortrainierungskonfigurationen hinweg zu erleichtern, was entscheidend ist, da sich Familien von Grundmodellen weiterentwickeln.
Die Leistungslücke zu überbrücken: Die Lücke zwischen training-freier Übertragung und direkter Feinabstimmung erheblich zu verringern und eine praktische Plug-and-Play-Alternative für die Modelladaptation anzubieten.

Die Autoren bewahren Bescheidenheit hinsichtlich der Einschränkungen und stellen fest, dass die Methode von hinreichend kompatiblen internen Strukturen ausgeht (z. B. innerhalb derselben Backbone-Familie) und dass eine kleine Lücke zur direkten Feinabstimmung bestehen bleibt, was darauf hindeutet, dass eine lineare Koordinatenausrichtung allein möglicherweise nicht alle taskspezifischen Informationen erfasst. Sie weisen zudem darauf hin, dass die Methode inhärent keine in dem Quell-Task-Vektor oder den Kalibrierungsdaten vorhandenen Verzerrungen korrigiert.