Technische Samenvatting: Het Latente Potentieel van Diepe Intermediare Representaties Ontmaskeren

Probleemstelling

Fundamentele modellen, vooraf getraind op enorme datasets, leren hiërarchische representaties die evolueren naarmate de netwerkdiepte toeneemt. De heersende aanname in transfer learning is dat semantische bruikbaarheid monotoon toeneemt met de diepte, wat leidt tot de standaardpraktijk om uitsluitend de output van de laatste laag te gebruiken voor downstream-taken. Echter, recente empirische analyses daagden dit inzicht uit en tonen aan dat intermediare lagen de laatste representaties in downstream-taken vaak met tot 10% overtreffen. Dit fenomeen ontstaat omdat de laatste lagen kunnen over-specialiseren op voortrainingsdoelen (bijvoorbeeld next-token prediction) of lijden aan representatie-inzakking. Bovendien is taakrelevante informatie niet-monotoon verdeeld over de lagen, wat betekent dat naïeve aggregatie of eenvoudige weging van lagen faalt om de optimale taakspecifieke deelruimte te herstellen. Het kernprobleem dat wordt aangepakt, is hoe men systematisch het specifieke subset van intermediare lagen kan identificeren en fuseren dat taak-discriminerende structuur codeert, zonder prohibitieve rekenkosten te veroorzaken.

Methodologie

De auteurs stellen een unificerend kader voor dat bestaat uit twee gekoppelde componenten: Layer-wise Optimal Embedding Selection (LOES) en Geometric Regularization (GeoReg).

1. Layer-wise Optimal Embedding Selection (LOES)

LOES is een constructief spectraal kader dat is ontworpen om de taak-optimale deelruimte te benaderen door iteratief niet-redundante lagen te selecteren. Het formuleert laagselectie als een ridge-residu-optimatieprobleem dat beperkt wordt door orthogonaliteit en isotropie. Het algoritme verloopt in twee fasen:

• Initialisatie: De eerste laag wordt geselecteerd door een ridge-probe te fiten tegen de oorspronkelijke doelen en het minimaliseren van een score die de fit-loss combineert met een isotropie-term.

• Iteratieve Selectie: Gegeven een huidige set geselecteerde lagen $S$, worden kandidaat-lagen georthogonaliseerd tegen de span van $S$ om de marginale verklarende kracht te isoleren. Elke kandidaat wordt gescoord met behulp van een samengestelde doelstelling (Eq. 7):
  $$\text{Score}(\ell) = \text{Loss}_\ell + \alpha(1 - \text{Iso}(X_\ell)) + \gamma \text{Red}_\ell - \eta \text{Tri}(\tilde{X}_\ell)$$
  Waar:

  • $\text{Loss}_\ell$: Gemiddelde kwadratische fout van een ridge-probe op het georthogonaliseerde residu.
  • $\text{Iso}(X_\ell)$: Een isotropie-score afgeleid van de eigenwaarden van de empirische covariantie, die goed geconditioneerde embedding bevordert.
  • $\text{Red}_\ell$: Een redundantie-term die de globale uitlijning van de kandidaat met reeds geselecteerde lagen meet.
  • $\text{Tri}(\tilde{X}_\ell)$: Een optionele term voor classificatie die het gemiddelde driehoeksoppervlak van class-centroïden schat om volumineuze simplex-structuren te stimuleren.

  De laag die deze score minimaliseert, wordt geselecteerd, opnieuw gefit tegen de oorspronkelijke doelen en toegevoegd aan het ensemble. Dit proces wordt herhaald totdat een budget $K$ is bereikt.

2. Geometric Regularization (GeoReg)

Om de degradatie van gunstige geometrische eigenschappen (zoals isotropie en class-scheiding) tijdens fine-tuning te voorkomen, introduceren de auteurs GeoReg. Deze auxiliaire loss wordt toegepast tijdens downstream-adaptatie op de gefuseerde multi-layer embeddings. Het straalt spectrale onevenwichtigheid in de embedding-covariantie af (door een uniforme eigenwaardeverdeling te stimuleren) en straalt configuraties af waarbij class-centroïden lage volumes beslaan (wat inzakking aangeeft). In tegenstelling tot voortrainingsregularisatoren (bijvoorbeeld VICReg), werkt GeoReg specifiek tijdens de transferfase om de door LOES geïdentificeerde geometrie te behouden tegen concurrerende taakgradienten.

Belangrijkste Bijdragen

• Empirische Demonstratie: Het artikel toont aan dat optimale representaties voor downstream-taken zelden uitsluitend de laatste laag zijn, maar eerder een taakspecifieke deelruimte vormen die wordt gevormd door een subset van intermediare lagen.
• LOES-algoritme: Een spectraal algoritme dat optimale laagcombinaties identificeert door residufout te minimaliseren onder geometrische beperkingen (isotropie en orthogonaliteit). Het presteert beter dan leerbare wegingsbaselines door expliciet deelruimten te construeren met een hoge effectieve rang en lage anisotropie.
• Interpreteerbaarheidslens: Door analyse van laagselectievoorkeuren onthult de methode waar verschillende fundamentele modellen specifieke semantische of structurele attributen coderen, en toont aan dat voortrainingsparadigma's (bijvoorbeeld contrastief versus gemaskerde reconstructie) de informatieverdeling systematisch beïnvloeden.
• GeoReg: Een lossfunctie die stabiliteit in fine-tuning-omgevingen verbetert en feature-inzakking, vaak waargenomen in grootschalige modellen, mitigeert.
• Schaalbaarheid: De methode toont prestatiewinst die schaalt met modeldiepte en modaal-agnostisch is, werkend over visie, taal, spraak en multimodale architecturen.

Resultaten

De auteurs evalueerden LOES over een diverse set architecturen (DINOv2, CLIP, BERT, ModernBERT, Wav2Vec 2.0) en datasets (ImageNet, MTEB-benchmarks, ASVspoof, enz.).

• Prestatiewinst: LOES presteert consequent beter dan standaard transfer van de laatste laag en leerbare wegingsbaselines. Winsten zijn bijzonder uitgesproken in diepere modellen en diverse voortrainingsregimes. Bijvoorbeeld, op ModernBERT verbeterde LOES de nauwkeurigheid van 78,07% naar 94,48% op de MTOP-taak, terwijl BERT-large een bescheiden winst zag van 95,32% naar 97,81%.
• Invloed van voortraining: Modellen die voorgetraind zijn op grote, diverse corpora (bijvoorbeeld CLIP, DINOv2) hebben de neiging om taakrelevante informatie in vroege tot middendiepe lagen te verdelen, terwijl modellen getraind op smallere distributies (bijvoorbeeld MAE, ViT getraind op ImageNet) discriminerende kenmerken concentreren in latere lagen.
• Taal- en modaaloverschrijdend: LOES biedt aanzienlijke voordelen voor ondervertegenwoordigde talen (bijvoorbeeld +10,9% op Urdu) en past zich effectief aan aan spraaktaken (bijvoorbeeld spoofing-detectie versus emotieherkenning die verschillende laagdieptes vereisen).
• Efficiëntie: De methode introduceert minimale rekenoverhead (typisch <1% toename in wandkloktijd) en parameteraantal (<1% toename), aangezien het vertrouwen heeft op gesloten-vorm ridge-regressie op een kleine kalibratieset.
• Vergelijking: LOES presteert beter dan exhaustieve zoektocht over laagsubsets (waarbij near-optimale oplossingen worden hersteld voor een fractie van de kosten) en greedy selectiebaselines.

Betekenis en Claims

Het artikel claimt dat de geometrie van laagsgewijze embedding niet toevallig is, maar centraal staat in hoe diepe modellen kennis representeren en overdragen. Door voorbij te gaan aan de aanname van monotoon semantisch nut, biedt het werk sterk bewijs dat effectieve transfer afhankelijk is van het identificeren van welke lagen taak-discriminerende structuur coderen en hoe hun embeddings geometrisch zijn georganiseerd.

De auteurs positioneren LOES niet louter als prestatieboost, maar als een instrument voor interpreteerbaarheid, dat een gestructureerd beeld biedt van hoe semantische factoren over lagen zijn verdeeld. Zij claimen dat naarmate fundamentele modellen schalen en diversifiëren, principiële laagselectie steeds waardevoller wordt, met name voor low-resource en ondervertegenwoordigde domeinen waar alleen de laatste lagen taakrelevante informatie ontoereikend vastleggen. Het werk suggereert dat de geometrie van intermediare representaties een kritieke, maar onderbenutte, bron is voor efficiënte en transparante modeladaptatie.