🤖 machine learning

First-Order Predictable but Pairwise Fragile: Local Task Adaptation in Trained Transformers

Dit artikel evalueert systematisch acht eigenschappen van lokale adaptatie over negen transformer-modellen en stelt vast dat hoewel individuele taakperturbaties binnen een gedeelde validiteitsvenster van eerste orde voorspelbaar blijven, de paargewijze taalsamenstelling uiterst fragiel is vanwege de gevoeligheid voor volgorde, roterende subruimten en een gebrek aan universele additiviteit of sturingscorrespondentie.

Oorspronkelijke auteurs: Irina Piontkovskaia, Sergey Nikolenko

Gepubliceerd 2026-07-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Irina Piontkovskaia, Sergey Nikolenko

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent die zojuist een enorme, complexe stoofpot heeft geperfectioneerd. Het is heerlijk, maar je wilt het misschien een klein beetje bijschaven: misschien een snufje zout voor wat meer hartigheid, of een snufje peper voor een beetje pit. In de wereld van kunstmatige intelligentie is deze "stoofpot" een gigantisch computerebrein (een Transformer-model) dat al heeft geleerd te spreken, te schrijven en te redeneren. De "snuf zout" is een piepkleine aanpassing aan zijn interne instellingen, bekend als fine-tuning. Wetenschappers geloofden lang dat als je deze aanpassingen klein genoeg maakt, de veranderingen voorspelbaar zijn, zoals lopen in een rechte lijn over een vlak veld. Ze dachten dat als je twee verschillende smaken wilde mengen (zoals een AI zowel goed in wiskunde als in poëzie laten worden), je simpelweg de "wiskunde-aanpassingen" en de "poëzie-aanpassingen" bij elkaar kon optellen, en het resultaat een perfecte mix zou zijn. Dit idee, genaamd "lokale lineariteit", is de basis voor veel moderne hulpmiddelen die worden gebruikt om AI aan te passen zonder het vanaf nul opnieuw te trainen.

Echter, net als in de keuken, is de vloer in de keuken misschien niet zo vlak als het lijkt. Dit nieuwe onderzoek kijkt diep, microscopisch naar wat er gebeurt wanneer we deze minuscule aanpassingen maken aan AI-hersenen. De wetenschappers wilden weten: hoe klein moet een verandering zijn om voorspelbaar te blijven? Werkt het optellen van twee veranderingen altijd? En maakt het uit of je eerst het zout toevoegt en dan de peper, of de peper voor de zout? Ze testten dit op negen verschillende AI-modellen, variërend van kleine tot massieve modellen met miljarden parameters, met behulp van een rigoureuze, vooraf geplande reeks experimenten om ervoor te zorgen dat ze niet simpelweg gokten.

Het verhaal dat het paper vertelt, is dat van een "eenrichtingsverkeer" dat plotseling verandert in een "file" wanneer je probeert van rijstrook te wisselen. De onderzoekers ontdekten dat als je een AI in slechts één richting duwt (zoals het beter maken in een enkele taak), de resultaten verrassend voorspelbaar en stabiel zijn. Je kunt vrij ver lopen—tot een schaal van $10^{-1}$ in hun metingen—voordat de AI in de war raakt of de wiskunde niet meer werkt. Het is als het lopen door een lange, rechte gang waar elke stap precies hetzelfde voelt. Dit is goed nieuws voor mensen die eenvoudige, enkelvoudige taak-aanpassingen willen doen of willekeurig willen gokken om verbeteringen te vinden, want de "gang" is breed en veilig.

Maar het moment dat je twee dingen tegelijk probeert te doen, of ze in een specifieke volgorde uitvoert, wordt de vloer glad. Het paper onthult dat de "additiviteit"-regel (waarbij $A + B = B + A$ ) fragiel is. Als je twee verschillende taak-updates probeert te combineren, doet de volgorde waarin je ze toepast er sterk toe, en dit probleem kan al veel eerder optreden dan de veilige zone voor enkelvoudige taken. Sterker nog, voor meer dan een derde van de gemeten model- en taakcombinaties begint de volgorde er al toe te doen binnen de veilige marge van die enkelvoudige taken. Het begin van deze gevoeligheid varieert enorm, met een verschil van drie grootheden tussen verschillende paren, wat betekent dat sommige combinaties bijna onmiddellijk instorten terwijl andere langer standhouden. De wetenschappers ontdekten dat deze chaos wordt veroorzaakt door iets dat een "Lie-bracket" wordt genoemd, een chique wiskundige term voor hoe de kromming van het leerslandschap van de AI draait wanneer je eerst links en dan rechts gaat, versus eerst rechts en dan links.

Het team heeft ook enkele populaire afkortingen getest die andere onderzoekers hebben gebruikt. Ze controleerden of de leerruimte van de AI "laagdimensionaal" was (zoals een plat vel papier) en ontdekten dat dit, in tegenstelling tot eerdere overtuigingen, helemaal geen eenvoudig plat vel was; het was meer als een verkreukeld prop papier dat van vorm bleef veranderen terwijl je bewoog. Ze testten ook of ze het resultaat van een nieuwe aanpassing konden voorspellen op basis van een kleine steekproef aan data, en ontdekten dat hoewel de wiskunde perfect werkte wanneer ze exact dezelfde data gebruikten voor de voorspelling en de test, het volledig faalde wanneer ze probeerden andere data te gebruiken. Dit betekent dat hoewel we kunnen voorspellen wat er gebeurt in een gecontroleerde omgeving met dezelfde data, we nog niet betrouwbaar kunnen voorspellen hoe een aanpassing zal presteren op nieuwe, ongeziene data door alleen naar een kleine steekproef te kijken.

Uiteindelijk zegt het paper niet dat fine-tuning kapot is, maar wel dat de "verkeersregels" ingewikkelder zijn dan we dachten. Er is een veilige zone voor enkelvoudige, rechte aanpassingen, maar zodode je taken combineert of de volgorde van operaties verandert, kom je in een zone waar de interne geometrie van de AI op onvoorspelbare manieren draait en buigt. De wetenschappers concluderen dat we veel voorzichtiger moeten zijn: we kunnen niet zomaar aannemen dat het optellen van twee verbeteringen zal werken, of dat de volgorde er niet toe doet. In plaats daarvan moeten we de specifieke "kromming" van onze specifieke AI en onze specifieke taken controleren, omdat de veilige afstand voor één taak een ramp kan zijn voor een paar taken.

Technische Samenvatting: Eerstegraads Voorspelbaar maar Paarwijze Fragiel

Probleemstelling
Het artikel adresseert een fundamentele kloof in het begrip van de lokale geometrie van getrainde Transformer-modellen. Hoewel diverse methoden voor model-editing, merging, steering en lichte adaptatie (bijv. Task Arithmetic, LoRA, activation steering, random search) opereren onder de aanname dat de parameterruimte rond een getraind checkpoint lokaal lineair, additief of laagdimensionaal is, worden deze aannames zelden kwantitatief getest over verschillende schalen en modellen heen. Specifiek is het onduidelijk:

Over welke verplaatsingsschaal deze lokale benaderingen standhouden?
Zijn deze schalen universeel over verschillende modelarchitecturen en groottes heen?
Impliceren eigenschappen van enkelvoudige updates (bijv. lineariteit) ook paarwijze eigenschappen (bijv. additiviteit of orde-onafhankelijkheid)?

De auteurs stellen dat het behandelen van "het lineaire regime" als een enkele scalaire straal een verwarring is van verschillende geometrische fenomenen: zelf-kromming (self-curvature), symmetrische kruisinteracties en antisymmetrische orde-effecten.

Methodologie
De auteurs voeren een systematische, prospectief geregistreerde empirische studie uit ("The Atlas") waarbij acht verschillende lokale eigenschappen worden gemeten rond een enkel multitask werkpunt ( $\theta^\star$ ).

Werkpunt: Een LoRA-adapter (rank 16) getraind voor 300 stappen op een uniforme mix van vijf taken (SST-2, BoolQ, RTE, ARC-Easy, HellaSwag) over negen modellen variërend van 82M tot 7B parameters (over zeven architectuurfamilies).
Coördinatenstelsel: Alle metingen worden uitgevoerd in de vaste Euclidische coördinaten van de LoRA-factoren (het perspectief van de optimizer), waarbij wordt erkend dat deze geometrie gauge-afhankelijk is maar consistent binnen de studie.
De Acht Diagnostieken:
1. P1 (Lokale Lineariteit): Antisymmetrie-ratio van de probe loss langs de gradiënt.
2. P2 (Laagdimensionaliteit): Rang van de mengings-gradiënt covariantie.
3. P3 (Tangent-ruimte Stabiliteit): Rotatie van de taak-gradiënt subspace over enkelvoudige taakstappen.
4. P4 (Additiviteit): Activatie-ruimte compositie-fout van taakvectoren.
5. P5 (Parameter-Activatie Correspondentie): Cosinus-gelijkenis tussen de activatie-schaduw van een gewicht-update en een contrastieve activatievector.
6. P6 (Lokale Zoekbaarheid): Correlatie tussen gerealiseerde winst en eerstegraads gradiënt-projectie voor willekeurige perturbaties.
7. P7 (Directionele Kromming): Ratio van kromming langs de gradiënt versus een willekeurige richting.
8. P8 (Niet-Commutativiteit): Het defect (Lie bracket) dat voortvloeit uit de volgorde van twee opeenvolgende gradiëntstappen.

De studie maakt gebruik van een strikte development/test-splitsing, waarbij drempelwaarden en eigenschappenlijsten voorafgaand aan de dataverzameling zijn geregistreerd. Controles omvatten metingen bij het ruwe pre-trained checkpoint en per-taak probes.

Belangrijkste Resultaten

1. Single-Update Voorspelbaarheid (Robuust)

Eerstegraads Lineariteit (P1): Langs de taak-gradiënt blijft de probe loss eerstegraads voorspelbaar (antisymmetrie-ratio < 0,10) tot een verplaatsingsschaal van ten minste $10^{-2}$ op elke modelmediaan. Dit venster is aanzienlijk breder dan de schaal waarop paarwijze interacties falen.
Zoekbaarheid (P6): Binnen dit venster zijn de effecten van willekeurige perturbaties sterk gecorreleerd met hun projectie op de gradiënt ( $r \in [0,70, 1,00]$ ). Dit valideert dat lokale random search werkt omdat het loss-landschap lokaal lineair genoeg is om voorstellen te kunnen rangschikken.
Kromming (P7): De kromming langs de gradiënt is ordes van grootte groter dan langs willekeurige richtingen, wat sterke anisotropie bevestigt.

2. Paarwijze Fragiliteit (Falen)

Ordegevoeligheid (P8): De meest kritieke bevinding is dat paarwijze interacties fragiel zijn. De volgorde van twee opeenvolgende updates is van belang, en deze afhankelijkheid treedt op bij schalen ( $\eta^\dagger$ $η^{†}$ ) die vaak strikt binnen het venster van single-update voorspelbaarheid liggen.
- De onset-schaal varieert met drie ordes van grootte tussen verschillende model-taak paren.
- Het defect volgt de Lie bracket wet: $c(\eta) = \eta\kappa + O(\eta^2)$ , waarbij $\kappa = \|H_B g_A - H_A g_B\| / \|g_A + g_B\|$ .
- Wanneer berekend op dezelfde minibatches, komt de gemeten defect overeen met de theoretische voorspelling met een mediaan ratio van 1,002.
Additiviteitsfalen (P4): Activatie-additiviteit faalt bij de volledige taak-vector schaal ( $\alpha=1$ ) op verschillende modellen, inclusief beide held-out 7B modellen. Additiviteit houdt alleen stand voor kleine fracties ( $\alpha \lesssim 0,3$ ).
Subspace Instabiliteit (P3): De taak-gradiënt subspace roteert significant binnen 16–80 stappen, wat de aanname van een statische taak-plane invalideert.
Geïnvalideerde Claims:
- P2 (Low-Rank Covariantie): De mengings-gradiënt covariantie vertoont geen low-rank plateau tot $m=256$ samples; het eerder geobserveerde rang-32 gedrag was een artefact van het aantal samples.
- P5 (Globale Correspondentie): Geen enkele modelmediaan haalt de drempelwaarde voor een globale gemiddelde-vector correspondentie tussen gewichts-updates en activatie-steering vectoren.

3. Schaalverschil
Het paper demonstreert dat er geen universele radius is voor adaptatie. Het "één-richting" venster (waar single updates voorspelbaar zijn) is ongeveer 1–2 ordes van grootte groter dan het "twee-richting" venster (waar de volgorde-effecten van paarwijze interacties significant worden). Voor meer dan een derde van de geteste cellen breekt de paarwijze orde-gevoeligheid af bij verplaatsingen die strikt binnen het single-update lineaire regime liggen.

Betekenis en Claims
Het paper claimt de eerste kwantitatieve, cross-model atlas van lokale adaptatie-eigenschappen te bieden, waarbij de focus verschuift van kwalitatieve beweringen naar gemeten, falsifieerbare uitspraken.

Operatie-Specifieke Validiteit: De auteurs betogen dat "het lineaire regime" niet een enkele eigenschap is. Zelf-kromming, symmetrische compositie en antisymmetrische orde-effecten worden beheerst door verschillende tensoren met verschillende schalen. Een methode die steunt op additiviteit (bijv. model merging) kan niet dezelfde validiteitsschaal aannemen als een methode die steunt op eerstegraads zoekopdrachten.
De Lie Bracket als Diagnostisch Instrument: Het paper stelt vast dat de Lie bracket van twee taak-gradiënten ( $H_B g_A - H_A g_B$ ) een precieze, coördinaat-specifieke consistentiefact biedt voor de gevoeligheid voor de volgorde van updates. Dit kan worden geschat via twee Hessian-vector producten (HVPs) om de onset van niet-commutativiteit ( $\eta^\dagger \approx 0,10/\kappa$ ) met hoge nauwkeurigheid te voorspellen wanneer de estimators overeenkomen.
Limieten van Transfer: Hoewel de gematchte-estimator Lie bracket wet standhoudt, rapporteert het paper expliciet dat cross-fitted voorspellingen falen. Het schatten van de bracket op één dataprofiel voorspelt niet het eindpunt of de taakeffecten van updates gebouwd op andere samples. Dit suggereert dat hoewel de lokale geometrie consistent is binnen een specifieke batch, deze niet stabiel is over datadistributies op een manier die algemene voorspellende kracht toestaat.
Praktische Richtlijnen: Beoefenaars mogen niet uitgaan van een universele stapgrootte of radius. In plaats daarvan moeten zij de diagnostiek afstemmen op hun specifieke operatie:
- Voor single-direction search houdt lineariteit stand tot $\sim 10^{-2}$ .
- Voor sequentiële updates is de volgorde-gevoeligheid paar-specifiek en kan deze bij veel kleinere schalen optreden; het controleren van de Lie bracket is noodzakelijk.
- Aannames over low-rank mengings-covariantie of statische taak-subspaces moeten op basis van deze resultaten worden verworpen.

Het paper concludeert dat hoewel een gedeeld eerstegraads venster de single-direction search voorspelbaar maakt, de paarwijze taak-interacties vaak fragiel zijn op veel kleinere, paar-specifieke schalen, en dat de lokale calculus van adaptatie operatie-specifiek is in plaats van universeel.

Meer zoals dit