Technische Samenvatting: Herstelbaar maar niet Stationair: Lokale Lineaire Structuren in Gewichten en Activaties

1. Probleemstelling

Recente benaderingen voor het bewerken en aanpassen van getrainde modellen—zoals taakvectoren, LoRA, activatiesturing en willekeurige zoekopdrachten rondom gewichten—relyen op een gedeelde geometrische aanname: dat geleerde gedragingen overeenkomen met vaste, laagdimensionale lineaire richtingen in ofwel de gewichtsruimte, ofwel de activatieruimte. De heersende hypothese suggereert dat er een "taakvlak" bestaat als een statische subspace door een checkpoint heen, en dat beweging langs dit vlak het toestaat om taakspecifieke gedragingen toe te voegen of te verwijderen zonder hertraining.

Het blijft echter onduidelijk of deze lineaire structuren werkelijk globaal en statisch zijn, of dat ze lokaal en evoluerend zijn. Bovendien is de effectiviteit van willekeurige zoekopdrachten in hoogdimensionale ruimtes (bijv. $10^9$ parameters) contra-intuïtief; als nuttige richtingen zeldzame naalden in een hooiberg waren, zou willekeurige bemonstering theoretisch gezien moeten falen. Dit artikel onderzoekt de ware aard van deze lineaire structuren: hun dimensionaliteit, stationariteit en de relatie tussen gewichtsperturbaties en activatiesturing.

2. Methodologie

De auteurs hanteren een "herstel na vergeten" experimentele lus om een grondwaarheid-adaptatievector ($\Delta_{GD}$) te genereren, waartegen kandidaat-subspaces worden gemeten. De lus bestaat uit drie fasen:

1. Multitask Training: Het trainen van een model op een mix van taken om een checkpoint $\theta_{mt}$ te bereiken.
2. Vergeten: Het voortzetten van de training op een enkele taak totdat de prestaties op andere taken verslechteren, wat leidt tot $\theta_{forg}$.
3. Herstel: Het kortstondig hertrainen op de oorspronkelijke mix om de verloren taken te herstellen, wat leidt tot $\theta_{rec}$.

De verplaatsing $\Delta_{GD} = \theta_{rec} - \theta_{forg}$ dient als de doel-adaptatie. De auteurs evalueren kandidaat-subspaces door te meten hoeveel van $\Delta_{GD}$ zij vastleggen en door willekeurige zoekopdrachten binnen deze subspaces uit te voeren.

Experimentele Schalen

• Synthetische Transformers: Een gecontroleerde 4-laagse, 128-dimensionale causale Transformer getraind op cijfersequentie-taken (kopiëren, omkeren, sorteren, mod-optellen).
• LoRA Adapters: Fine-tuning op DistilGPT-2 en GPT-2 backbones met behulp van rank-gebrekkige adapters.
• Large Language Models (LLMs): Experimenten op Qwen2.5 (0.5B, 3B, 7B) en OLMo-7B.

Theoretisch Kader

Het artikel ontwikkelt een theoretisch kader om de effectiviteit van willekeurige zoekopdrachten en subspace-selectie te verklaren:

• Best-of-N Stelling: Bewijst dat in een lokaal lineair regime, isotrope Gaussische willekeurige zoekopdrachten een nuttig signaal oppikken met een variantie die onafhankelijk is van de ambient dimensie $D$. De verwachte winst schaalt met $\sqrt{\log N}$ (waarbij $N$ het zoekbudget is), maar niet met $D$.
• Signaal-densiteit vs. Massa: Een propositie toont aan dat voor een vaste stapgrootte een kleinere, goed uitgelijnde subspace een hogere zoeksignaal oplevert dan een grotere subspace die enkel de doelrichting bevat, vanwege de verdunning van de signaal-densiteit ($\|P_U a\|/\sqrt{r}$).
• Krylov Herstel: Een lemma dat aantoont dat de herstelverplaatsing in een Krylov-subspace ligt die gegenereerd wordt door de Hessiaan en de initiële gradiënt, in plaats van in een vaste richting. Dit impliceert dat de relevante subspace evolueert terwijl de trajectorie zich ontvouwt.
• Pushforward Identiteit: Stelt een theoretische link vast tussen gewichtsperturbaties ($\delta\theta$) en activatieverschuivingen ($\Delta h$) via de Jacobiaan $D_\theta h$, wat suggereert dat nuttige gewichtsverplaatsingen "schaduwen" hebben in de activatieruimte die kunnen dienen als sturende vectoren.

3. Belangrijkste Bijdragen en Resultaten

A. Lineaire Structuren zijn Lokaal en Bewegend, Niet Statisch

De centrale bevinding is dat de "taakvlak"-hypothese onjuist is.

• Statische Vlakken Falen: Subspaces gemeten bij het vergeten checkpoint (lokaal taakvlak) of vóór het vergeten (pre-interferentie vlak) vangen slechts een klein deel van de herstelverplaatsing op (bijv. ~15% en <2% respectievelijk in LoRA-experimenten).
• Trajectorie Uitlijning: De herstelrichting wordt het best gevangen door een trajectorie-prefix—een basis gevormd door de eerste paar stappen van het herstelpad. In LoRA-experimenten legden de eerste 10 herstelstappen ~77% van de totale verplaatsing $\Delta_{GD}$ vast, en de eerste 20 stappen ~90%.
• Drift: De oriëntatie van het lokale taak-subspace drift significant tijdens herstel (de hoofdangel overlap daalt van 1.0 naar ~0.12–0.17 over 100 stappen), wat bevestigt dat de relevante geometrie een bewegend bundel is, geen vast vlak.

B. Effectiviteit van Willekeurige Zoekopdrachten en Dimensie-onafhankelijkheid

Het artikel biedt een theoretische rechtvaardiging voor waarom willekeurige zoekopdrachten werken in hoge dimensies:

• Dimensie-onafhankelijkheid: De projectie van een isotrope Gaussische perturbatie op een nuttige richting heeft een variantie die onafhankelijk is van het totale aantal parameters.
• Schaalvenster: Willekeurige zoekopdrachten zijn alleen effectief binnen een specifieke perturbatieschaal waar de loss-landschap lokaal lineair is (bijv. $\sigma \approx 10^{-4}$ op Qwen2.5-0.5B). Buiten dit venster domineert kromming en worden willekeurige bewegingen destructief.
• Zoekkwaliteit: Willekeurige zoekopdrachten uitgevoerd binnen de trajectorie-prefix subspace presteren aanzienlijk beter dan zoekopdrachten binnen statische taak-subspaces of isotrope ruimte, wat de theoretische voorspelling bevestigt dat de "densiteit" van het signaal belangrijker is dan de "massa" van de subspace.

C. Verbinding tussen Gewichtsperturbaties en Activatiesturing

De auteurs valideren de link tussen gewicht-edits en activatiesturing:

• Gradiëntstap als Sturende Vector: Een enkele gradiëntstap op Qwen2.5-0.5B produceert een gewichtsperturbatie wiens pushforward naar de activatieruimte uitlijnt met een contrastieve activatie-toevoeging (CAA) sturende vector (cosinus gelijkenis $\approx 0.58$) in de late decoder-lagen (19–20).
• Herbruikbaarheid: Het injecteren van deze gradiënt-geïnduceerde activatieverschuiving in een schoon model verbetert de nauwkeurigheid op helden-data (tot +10 punten op BoolQ), vergelijkbaar met sturende vectoren afgeleid van gelabelde contrastieve paren.
• Random Search Brug: Geselecteerde willekeurige gewichtsperturbaties (Best-of-N) kunnen ook worden omgezet in sturende vectoren die de prestaties verbeteren, hoewel het effect ruiziger en taakafhankelijk is.

D. Laag-rang Geometrie op Schaal

• Synthetisch/LoRA: Een duidelijke laag-rang structuur (effectieve rank 2–8) wordt waargenomen in taak-gradiënten.
• LLMs: De laag-rang claim wordt slechts gedeeltelijk bevestigd op miljarden-parameters schaal. Terwijl sommige instellingen (bijv. Qwen-3B MLP) ranks laten zien die onderscheidbaar zijn van ruis, vertonen andere (bijv. Qwen-7B) effectieve ranks die niet te onderscheiden zijn van sampling-ruis, wat suggereert dat naïeve rank-schatting moeilijk is op deze schaal.

4. Betekenis en Claims

Het artikel claimt een gecorrigeerd geometrisch begrip te bieden van adaptatie in getrainde netwerken:

1. Weerlegging van Statische Taakvectoren: De relevante lineaire structuren zijn geen globale, vaste taakrichtingen maar evoluerende lokale geometrieën (Krylov-achtige trajectorie-bundels) die gedeeltelijk voortbestaan over parameter- en activatieruimtes.
2. Unificatie van Methoden: Het werk verenigt gradiënt-updates, willekeurige parameter-zoekopdrachten en activatiesturing onder één differentiaal-geometrisch perspectief. Het stelt dat succesvolle parameter-perturbaties bruikbare activatie-richtingen induceren, en dat willekeurige zoekopdrachten werken omdat ze efficiënt samplen binnen deze lokale lineaire regimes.
3. Praktische Implicaties:
   • Multitask Training: Sequentiële specialisatie is broos omdat het lokale taakvlak drift; simultane schema's zijn robuuster.
   • Zoekstrategie: Om nuttige richtingen te vinden, moet men zoeken binnen de vroege trajectorie van het adaptatiepad in plaats van binnen statische taak-subspaces.
   • Steering: Activatie sturende vectoren kunnen worden afgeleid van gewichtsperturbaties (zelfs enkele gradiëntstappen), wat de kloof overbrugt tussen gewichtsruimte-editing en activatieruimte-controle.

De auteurs blijven bescheiden en merken op dat hoewel willekeurige zoekopdrachten in specifieke gecontroleerde settings de gradiënt-afname op specifieke doeltaken kunnen overtreffen, het onstabiel is en geen vervanging is voor gradiënt-afname. De resultaten worden gepresenteerd als een startpunt voor een diepere analyse van lokale lineaire structuren, met beperkingen wat betreft de schaal van het bewijs (sterkst op synthetische en kleine LoRA-modellen) en de gedeeltelijke aard van de laag-rang bevindingen in miljarden-parameter modellen.