Technische Samenvatting: BiCo – Bilineaire Coördinaatuitlijning voor Trainingsvrije Taakvector-overdracht

Probleemstelling

Het heersende paradigma in modern machine learning bestaat uit het aanpassen van grote, vooraf getrainde modellen aan gespecialiseerde downstream-taken via fine-tuning. Echter, naarmate families van vooraf getrainde modellen uitbreiden met nieuwe varianten die verschillen in schaal, vooraf trainingsdata of trainingsrecepten, wordt de expertise die via fine-tuning is verkregen, gekoppeld aan de specifieke parameterisatie van het oorspronkelijke model. Bijgevolg kan, wanneer een nieuwe modelversie wordt uitgebracht, de gefine-tuned kennis niet direct worden hergebruikt, wat kostbare en repetitieve fine-tuning-procedures vereist.

Bestaande benaderingen om deze "taakvector"-expertise (gedefinieerd als het parameterverschil $\tau = \theta_{ft} - \theta_{pre}$) over te dragen tussen verschillende modellen, lopen tegen aanzienlijke beperkingen aan. Methoden die vertrouwen op parameter-ruimte-uitlijning (bijvoorbeeld re-basin via permutatiesymmetrieën) vereisen strikte architectonische compatibiliteit en overeenkomende dimensies. Recente trainingsvrije methoden die taakspecifieke signalen zoals activaties of gradiënten gebruiken (bijvoorbeeld THESEUS, GradFix), bieden gedeeltelijke correspondenties, maar vertonen nog steeds een aanzienlijke prestatiekloof ten opzichte van directe fine-tuning van het doelmodel. De kernuitdaging bestaat erin taakvectoren over te dragen tussen modellen met verschillende breedtes, dieptes en vooraf trainingsconfiguraties zonder aanvullende parameterupdates.

Methodologie: BiCo

De auteurs stellen BiCo (Bilineaire Coördinaat-uitlijning) voor, een trainingsvrij raamwerk dat taakvector-overdracht herformuleert als een uitlijningsprobleem in een dubbele ruimte.

1. Theoretisch Inzicht: Bilineaire Vorming van Taakvectoren

De auteurs herzien de mechanistische vorming van een taakvector. Door de update-regel van gradient descent te analyseren, tonen ze aan dat een taakvector $\tau^{(l)}$ voor een laag $l$ de accumulatie is van bilineaire interacties tussen input-zijde activaties ($x_t$) en output-zijde gradiënten ($g_t$) over de fine-tuning-traject:
$$\tau^{(l)} = -\sum_{t=1}^{T} \eta_t (g_t^{(l)})^\top x_t^{(l)}$$
Deze formulering impliceert dat een taakvector niet louter een parameteroffset is, maar een koppeling van twee verschillende coördinatenruimten: de input-activatieruimte en de output-gradiëntenruimte. De auteurs betogen dat succesvolle overdracht vereist dat beide ruimten worden uitgelijnd om de onderliggende geometrie van de update te behouden, in plaats van alleen activaties of alleen parameters uit te lijnen.

2. Het BiCo-raamwerk

BiCo schat orthogonale Procrustes-afbeeldingen in voor zowel de input- als de output-ruimte met behulp van een kleine kalibratieset ($N$ steekproeven) en een enkele forward-backward pass door bevroren vooraf getrainde modellen. Er worden geen parameters van het doelmodel bijgewerkt.

• Input-zijde Uitlijning: De methode gaat ervan uit dat vooraf getrainde activaties effectieve proxies vormen voor de traject-activaties. Het berekent de kruiscovariantie tussen de bron-vooraf getrainde activaties ($\bar{X}_{A,pre}$) en de doel-vooraf getrainde activaties ($\bar{X}_{B,pre}$). Een orthogonale Procrustes-oplossing ($R_{in}$) wordt afgeleid via Singular Value Decomposition (SVD) om de bron-input-coördinaten op de doel-input-ruimte te mappen terwijl de relationele geometrie wordt behouden (gemeten door Centered Kernel Alignment, CKA).
• Output-zijde Uitlijning: Evenzo berekent de methode gradiënten met betrekking tot de laag-outputs bij de vooraf getrainde initialisatie ($\bar{G}_{A,pre}$ en $\bar{G}_{B,pre}$). Een tweede orthogonale Procrustes-oplossing ($R_{out}$) wordt geschat om de output-gradiënt-coördinaten uit te lijnen. Deze stap is cruciaal omdat de output-dimensies vaak verschillen tussen bron- en doelmodellen, en de "taakgevoelige" richtingen mogelijk zijn gecodeerd in verschillende bases.
• Taakvector-overdracht: De bron-taakvector $\tau_A^{(l)}$ wordt getransformeerd in de doel-compatibele update $\hat{\tau}_B^{(l)}$ door de geleerde afbeeldingen toe te passen op beide zijden van de bilineaire structuur:
  $$\hat{\tau}_B^{(l)} = (R_{out}^{(l)})^\top \tau_A^{(l)} R_{in}^{(l)}$$
  Het uiteindelijke doelmodel wordt bijgewerkt als $\hat{\theta}_{B,ft} = \theta_{B,pre} + \hat{\tau}_B$.

3. Omgaan met Structurele Mismatches

• Breedte-mismatch: De Procrustes-formulering behandelt op natuurlijke wijze gevallen waarbij input/output-dimensies verschillen (bijvoorbeeld van smal naar breed of van breed naar smal overdracht) door de optimale orthogonale projectie te vinden.
• Diepte-mismatch: Voor modellen met een verschillend aantal lagen wordt een eenvoudige discrete laag-index-matching-strategie toegepast, waarbij doel-laag $j$ wordt gemapt naar de dichtstbijzijnde bron-laag $i(j)$.

Belangrijkste Bijdragen

1. Herziening van Taakvector-vorming: Het artikel stelt vast dat taakvectoren accumulaties zijn van bilineaire interacties tussen input-activaties en output-gradiënten, wat een aanpak voor uitlijning in een dubbele ruimte motiveert in plaats van uitlijning in een enkele ruimte of parameter-ruimte.
2. BiCo-raamwerk: Introductie van een trainingsvrije methode die orthogonale Procrustes-uitlijning gebruikt op zowel input-activaties als output-gradiënten om taakvectoren over te dragen. Het vereist slechts een enkele forward-backward pass op een kleine kalibratieset en omvat geen parameterupdates of hyperparameter-tuning.
3. Empirische Validatie: Uitgebreide experimenten op benchmarks voor computer vision (8-Vision benchmark) en natuurlijke taalverwerking (GLUE-suite) tonen aan dat BiCo consequent betere prestaties levert dan bestaande trainingsvrije baselines (bijvoorbeeld THESEUS, GradFix, TransFusion) en de prestatiekloof met directe fine-tuning verkleint, zelfs over modellen met variërende breedtes, dieptes en vooraf trainingsdistributies.

Resultaten

• Breedteschaling: Bij overdracht van een ViT-B/16 naar een bredere ViT-B/16-plus presteert BiCo aanzienlijk beter dan naïeve padding en THESEUS. Met slechts 100 kalibratiesteekproeven bereikt BiCo een gemiddelde nauwkeurigheidsstijging van +18,88% ten opzichte van de zero-shot-baseline, vergeleken met +3,81% voor THESEUS.
• Identieke Architectuur: Zelfs wanneer architecturen overeenkomen maar de vooraf trainingsdata verschilt (Datacomp-XL naar LAION-2B), degradeert naïeve overdracht de prestaties. BiCo verbetert de gemiddelde nauwkeurigheid met +17,81% ten opzichte van de zero-shot-baseline met 5 shots per klasse, en presteert aanzienlijk beter dan GradFix en THESEUS.
• Diepte- en breedteschaling: In uitdagende scenario's die zowel diepte- als breedtemismatches omvatten (ViT-B/16 naar ViT-L/14), verbetert BiCo de zero-shot-baseline met +12,89%, wat structurele generaliseerbaarheid aantoont.
• NLP-generalisatie: Toegepast op T5-modellen (T5-3B naar T5-Large) toont BiCo robuuste verbeteringen in de nauwkeurigheid van lineaire probing over GLUE-taken, en schaalt effectief met het aantal kalibratiesteekproeven.
• Ablatiestudies: Analyse bevestigt dat het uitsluitend uitlijnen van de input-zijde of alleen de output-zijde onvoldoende is. De combinatie van beide, specifiek het gebruik van gradiënten voor de output-zijde, is cruciaal voor de prestaties. Input-only uitlijning kan de prestaties zelfs onder de zero-shot-baseline doen dalen in diepe lagen.

Betekenis en Claims

Het artikel beweert dat BiCo de inefficiëntie van het opnieuw fine-tunen van modellen aanpakt door het directe hergebruik van taakspecifieke expertise over diverse modelvarianten mogelijk te maken. Door taakvectoren te interpreteren als bilineaire interacties, betogen de auteurs dat het behoud van de geometrie van zowel de input-activatieruimte als de output-gradiëntenruimte essentieel is voor effectieve overdracht.

De betekenis van dit werk ligt in het vermogen om:

• Rekenkundige Overhead te Verminderen: De noodzaak voor iteratieve fine-tuning van doelmodellen elimineren, waarbij slechts een enkele forward-backward pass voor kalibratie vereist is.
• Schalbaar Hergebruik mogelijk te Maken: De overdracht van kennis faciliteren tussen modellen met verschillende breedtes, dieptes en vooraf trainingsconfiguraties, wat cruciaal is naarmate families van fundamentele modellen evolueren.
• De Prestatiekloof te Overbruggen: De kloof tussen trainingsvrije overdracht en directe fine-tuning aanzienlijk verkleinen, en een praktische, plug-and-play alternatief bieden voor modelaanpassing.

De auteurs houden bescheidenheid regarding beperkingen, en merken op dat de methode ervan uitgaat dat de interne structuren voldoende compatibel zijn (bijvoorbeeld binnen dezelfde backbone-familie) en dat een kleine kloof met directe fine-tuning blijft bestaan, wat suggereert dat lineaire coördinaat-uitlijning alleen mogelijk niet alle taakspecifieke informatie vastlegt. Zij merken ook op dat de methode inherent geen biases corrigeert die aanwezig zijn in de bron-taakvector of de kalibratiedata.