💻 computer science

Circuit Fine-Tuning for Compute-Efficient Transformer Adaptation

Dit artikel introduceert Circuit Fine-Tuning (CFT), een rekenefficiënt framework dat circuitontdekking met een nabij-nul geïnitialiseerd probe-hoofd benut om alleen de meest relevante subgraaf van een Vision Transformer te identificeren en te finetunen, waarbij een piek nauwkeurigheid aanzienlijk sneller wordt bereikt dan parameter-efficiënte baselines terwijl er geen parameters of inferentie-overhead worden toegevoegd.

Oorspronkelijke auteurs: Uri Z. Kialy, Gil Ben-Artzi

Gepubliceerd 2026-08-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Uri Z. Kialy, Gil Ben-Artzi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, superintelligente robothersenen hebt die al bijna elk boek in de bibliotheek heeft gelezen. Het weet perfect hoe het katten, auto's en wolken moet herkennen. Maar nu wil je het een nieuwe truc leren: het spotten van een specifiek type zeldzame paddenstoel. De oude manier hiervan was om de hele hersenen open te maken en elke enkele neuron opnieuw te trainen om over paddenstoelen te leren. Het werkte geweldig, maar het was alsof je een hele wolkenkrabber probeerde te herverven om slechts de kleur van één raam te veranderen — het duurde eeuwig, kostte een fortuin aan elektriciteit en was een enorme verspilling van inspanning.

Wetenschappers probeerden onlangs een kortere weg genaamd "Parameter-Efficient Fine-Tuning" (PEFT). Het idee was: "Waarom schilderen we het hele gebouw over? Laten we gewoon een paar nieuwe stickers toevoegen of een piepklein percentage van de verf aanpassen." Dit bespaarde geld op het aantal wijzigingen, maar er zat een addertje onder het gras. Zelfs als je slechts 3% van de hersenen veranderde, moest de computer de gehele hersenen nog steeds honderden rondes doorlopen om het goed te krijgen. Het was alsof je een racewagen bestuurt waarbij slechts één wiel wordt gedraaid; je verbruikt nog steeds gas op volle snelheid, je stuurt alleen minder. De grote vraag werd: kunnen we stoppen met het verspillen van tijd en elektriciteit door precies uit te zoeken welke delen van de hersenen daadwerkelijk de nieuwe truc moeten leren, en de rest met rust laten?

Hier komt de nieuwe paper, "Circuit Fine-Tuning" (CFT), in beeld. De auteurs, Uri Z. Kialy en Gil Ben-Artzi, stellen een slimme nieuwe manier voor om deze reusachtige AI-modellen aan te passen. In plaats van te gokken welke delen aangepast moeten worden of gewoon nieuwe stickers toe te voegen, gebruiken ze een techniek genaamd "circuit discovery" om de specifieke, verborgen paden binnen de AI te vinden die al goed zijn in het afhandelen van de nieuwe taak.

Hier is de tovertruc: Voordat de AI überhaupt begint met het leren van de nieuwe taak, geven de onderzoekers het een "near-zero" test. Stel je voor dat je de AI een leeg canvas geeft en vraat: "Als ik je nu een paddenstoel zou laten zien, welke delen van je hersenen zouden dan oplichten?" Omdat de test zo is opgezet dat de AI nog geen sterke meningen heeft, onthult dit de ruwe, natuurlijke paden die de hersenen gebruiken om die specifieke soort afbeelding te verwerken. De onderzoekers brengen dit "circuit" in kaart — een specifieke subgraaf van het netwerk van de AI — en bevriezen de rest. Ze laten alleen die specifieke, vooraf geïdentificeerde delen leren.

De resultaten zijn verrassend snel. Waar andere methoden misschien 44 tot 96 rondes (epochs) aan training nodig hebben om hun piekprestaties te bereiken, bereikt deze nieuwe methode haar hoogtepunt in ongeveer 20 rondes. Dat is een enorm verschil. In termen van pure rekenkracht gebruikt CFT 2,3 tot 6,6 keer minder energie (gemeten in training FLOPs) en neemt het tot 16 keer minder echte kloktijd in beslag. En het beste deel? Het voegt geen nieuwe onderdelen toe aan de AI en maakt het tijdens het daadwerkelijke gebruik later niet langzamer. Het is alsof je beseft dat je de motor niet hoeft te herbouwen om de race te winnen; je moest alleen weten welke tandwielen je moest schakelen.

De onderzoekers testten dit op een breed scala aan uitdagingen, van standaard beelddatasets tot lastige medische röntgenfoto's en zelfs een vision-language model (een AI die ziet en praat). In bijna alle gevallen bereikte CFT de top van de ranglijst met een fractie van de inspanning. Ze ontdekten dat de "circuits" die nodig zijn voor verschillende taken uniek zijn; het pad voor het herkennen van een vogel is totaal anders dan het pad voor het spotten van een tumor. Dit bewijst dat het oude idee van "gewoon een paar willekeurige delen aanpassen" niet de meest efficiënte manier is. Door te luisteren naar de natuurlijke reactie van de AI op de data voordat de training zelfs maar begint, laat CFT zien hoe we slimmer, sneller en met minder verspilling kunnen trainen.

Technische Samenvatting: Circuit Fine-Tuning voor Computer-Efficiënte Transformer Adaptatie

1. Probleemstelling

Hoewel Parameter-Efficiënte Fine-Tuning (PEFT) de standaard is geworden voor het aanpassen van Vision Transformers (ViTs) aan downstream-taken, heeft het veld parameter-efficiëntie grotendeels verward met computer-efficiëntie. De auteurs stellen dat het verminderen van het aantal trainbare parameters niet noodzakelijkerwijs de computationele kosten (FLOPs) of de wandkloktijd (wall-clock time) die nodig is om piekaccuratesse te bereiken, vermindert.

Huidige PEFT-methoden (additief of op gevoeligheid gebaseerd) vereisen vaak lange trainingsschema's (44–96 epochs) om te convergeren. Omdat de kosten van een trainingsiteratie worden gedomineerd door forward- en activatie-gradiëntpasses—die constant blijven ongeacht hoe weinig parameters worden bijgewerkt—is trage convergentie de primaire flessenhals. Het artikel stelt dat de dominante factor in efficiënte fine-tuning niet het aantal parameters is, maar de convergentiesnelheid (epochs tot piekaccuratesse).

2. Methodologie: Circuit Fine-Tuning (CFT)

De auteurs stellen Circuit Fine-Tuning (CFT) voor, een tweefasig framework dat is ontworpen om specifiek de subgraaf (het circuit) van een vooraf getraind model te identificeren en bij te werken dat het meest responsief is op een doelverdeling. In tegen tegenstelling tot traditionele PEFT introduceert CFT geen nieuwe parameters en vereist het geen architecturale wijzigingen.

Fase 1: Distributie-bewuste Circuit Ontdekking

Voordat de training begint, identificeert CFT welke modules (attention heads en MLP-blokken) cruciaal zijn voor de doeltaak.

Mechanisme: De methode maakt gebruik van Edge Attribution Patching met Integrated Gradients (EAP-IG).
Nieuwe Probe Head: In plaats van de attributie te baseren op een getrainde taak-head (die de voorkeuren van de classifier reflecteert), vervangt CFT de classificatie-head door een bijna nul-geïnitialiseerde probe head ( $\sigma = 10^{-5}$ $σ = 1 0^{- 5}$ ).
- Rationale: Een standaard willekeurige initialisatie creëert sterke, arbitraire klassevoorkeuren die de attributiescores vervormen. Bijna-nul initialisatie onderdrukt deze voorkeuren, waardoor de attributiescores de intrinsieke respons van de backbone op de doelverdeling reflecteren in plaats van de bias van de probe.
- Resultaat: Dit maakt het mogelijk dat een enkele probe-trek ( $R=1$ ) stabiele maskers oplevert, waardoor de noodzaak voor dure ensembles wordt vermeden.
Selectiestrategie: De methode berekent geaggregeerde belangrijkheidsscores over een kleine kalibratie-batch ( $N=32$ ). Nodes worden genormaliseerd naar hun parameteraantal om bias naar grotere modules te voorkomen. Een gulzig algoritme selecteert de top-nodes totdat een doel-parameterbudget (bijv. 15% van de backbone-parameters) is bereikt, waarbij volledige laagdekking waar mogelijk wordt gewaarborgd.

Fase 2: Sparse Circuit Adaptatie

Training: Alleen de parameters binnen de ontdekte subgraaf (het "circuit") en de nieuwe classificatie-head worden bijgewerkt. Alle andere backbone-parameters blijven bevroren.
Optimalisatie: CFT gebruikt een cosine learning rate schedule zonder warmup. De auteurs demonstreren dat warmup geen voordeel biedt voor CFT, in tegen tegenstelling tot andere methoden zoals SSF.
Inference: Omdat CFT alleen bestaande gewichtswaarden wijzigt, blijven de inference-architectuur, tensor-vormen en de computationele graaf identiek aan het originele model. Dit garandeert 1× inference-latentie en volledige compatibiliteit met standaard deployment-tools (bijv. FlashAttention, TensorRT).

3. Belangrijkste Bijdragen

Ontkoppeling van Parameter en Computer-efficiëntie: Het artikel demonstreert analytisch en empirisch dat het aantal parameters een slechte proxy is voor trainings-compute. Het pleit voor compute-to-accuracy (cumulatieve FLOPs en wandkloktijd) als een primaire efficiëntiemetriek.
Circuit Fine-Tuning (CFT): Een nieuwe methode die mechanistische interpreteerbaarheid (circuit ontdekking) operationaliseert als een pre-training selector. Door een bijna nul-geïnitialiseerde probe head te gebruiken, isoleert het de respons van de backbone op de doelverdeling, wat de selectie van een adaptatie-circuit mogelijk maakt voordat er enige gradiënt-gebaseerde training plaatsvindt.
Empirische Validatie: CFT wordt geëvalueerd over diverse backbones (ViT-B/16, Swin-v2-B, DINOv2, Gemma-3-4B-IT) en benchmarks (VTAB-1k, CBIS-DDSM, vision-language domeinen).

4. Experimentele Resultaten

De auteurs rapporteren resultaten over verschillende benchmarks, waarbij ze de superieure convergentiesnelheid en computer-efficiëntie van CFT benadrukken:

VTAB-1k (19 taken):
- Convergentie: CFT bereikt gemiddeld de piekaccuratesse in ~20 epochs. Sterke PEFT-baselines (bijv. SSF, SPT, GPS) vereisen 44–96 epochs.
- Computer-efficiëntie: CFT bereikt de piekaccuratesse met 2,3–6,6× minder trainings-FLOPs en tot wel 16× minder wandkloktijd vergeleken met baselines.
- Accuratesse: CFT komt binnen 0,7 punten van de sterkste baseline (GPS) terwijl het aanzienlijk minder compute gebruikt. Onder vaste korte budgetten (bijv. 10–35 epochs) presteert CFT consistent beter dan alle baselines.
CBIS-DDSM (Medische Beeldvorming):
- In een setting met een verschoven distributie en een vast budget van 5 epochs, bereikt CFT de hoogste accuratesse en AUC over drie verschillende backbones (ViT-B/16, Swin-v2-B, DINOv2), waarmee het Full Fine-Tuning en andere PEFT-methoden overtreft.
Vision-Language Model (Gemma-3 op CUB-200):
- In een haalbaarheidsstudie bereikte CFT (waarbij 17% van de parameters werd bijgewerkt) een Top-1 accuratesse van 71,3% in 5 epochs, wat zowel LoRA (waarbij ~0,5% werd bijgewerkt) als Full Fine-Tuning (100%) overtreft. Dit suggereert dat het concentreren van updates op attributie-geselecteerde modules effectiever is dan uniforme low-rank adaptatie of volledige updates onder korte budgetten.

5. Betekenis en Claims

Het artikel beweert dat Circuit Fine-Tuning een verschuiving vertegenwoordigt van het optimaliseren van parameterbudgetten naar het optimaliseren van computerbudgetten. Door gebruik te maken van mechanistische interpreteerbaarheid om de meest relevante computationele subgraaf voor een specifieke distributie vooraf te selecteren, elimineert CFT de noodzaak voor lange trainingsschema's en learning-rate warmup.

De auteurs benadrukken dat hun aanpak:

Nul parameters en nul inference-operaties toevoegt.
Geen architecturale wijzigingen vereist, wat naadloze deployment garandeert.
De state-of-the-art computer-efficiëntie bereikt door een hoge accuratesse te behalen met een fractie van de training-compute die nodig is voor huidige PEFT-standaarden.

Het werk suggereert dat het "circuit" verantwoordelijk voor een taak niet een universele set gewichten is, maar een taak-geconditioneerde subgraaf die efficiënt kan worden teruggevonden via attributie tegen een neutrale probe, wat snelle en efficiënte adaptatie van grote foundation modellen mogelijk maakt.