Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters

Technische Samenvatting: Fijnere Parameterstappen voor Low-Rank PEFT

Probleemstelling
Low-rank adapters, zoals LoRA, zijn de standaard voor Parameter-Efficient Fine-Tuning (PEFT). Echter, de rank-parameter $r$ in LoRA legt de resolutie van het parameterbudget vast. Voor grote projectiematrices (bijv. $2048 \times 2048$ in OPT-1.3B) voegt één enkele rank-increment 4.096 trainbare scalairen toe per projectie. Dit creëert grote, discrete gaten in de lage-budgetregio, wat resulteert in een ijl bemonsterde nauwkeurigheid–budgetcurve. Het onderzoek onderzoekt of een adapterfamilie met fijnere capaciteitsincrementen verschillende werkpunten kan onthullen of de geobserveerde nauwkeurigheid–budget afweging kan verbeteren ten opzichte van LoRA.

Methodologie
De auteurs stellen een gecontroleerde vergelijking voor tussen LoRA en fixed-component Canonical Polyadic (CP) tensor adapters.

1. Adapter Formule:

   • LoRA: Gebruikt de standaard update $\Delta W = BA$, waarbij de rank $r$ het aantal parameters bepaalt. Voor een $2048 \times 2048$ matrix staat één rank-stap gelijk aan 4.096 parameters.
   • CP Adapters: De matrix-update wordt gehervormd naar een vier-weg tensor ($32 \times 64 \times 32 \times 64$). De update wordt geparametriseerd als een som van $c$ rank-één componenten met genormaliseerde factoren:
     $$T(\Delta W) = \sum_{s=1}^{c} \lambda_s u^{(1)}_s \circ u^{(2)}_s \circ u^{(3)}_s \circ u^{(4)}_s$$
     waarbij de factoren een eenheidsnorm hebben. Eén CP-component bevat 193 trainbare scalairen (32+64+32+64 factoren + 1 scalaire), wat ongeveer 21 keer kleiner is dan een enkele LoRA rank-stap.

2. Experimenteel Protocol:

   • Model & Taken: OPT-1.3B model aangepast op drie classificatietaken: SST-2, RTE en BoolQ.
   • Doelwitten: Attention $q$-proj en $v$-proj modules (48 projecties in totaal).
   • Vergelijkingsmetriek: In plaats van alleen te vergelijken bij overeenkomstige parameteraantallen, definiëren de auteurs een "best-under-budget" curve $U_A(B)$. Voor een gegeven budgetplafond $B$, rapporteert dit de hoogst behaalde nauwkeurigheid door elke instelling met een parameteraantal $\le B$. Deze aanpak maakt de discretisering van haalbare budgetten expliciet.
   • Controles: Trainingsprotocollen, data-caps, seed-schema's (basisgrid: seeds 0–2; bevestiging: seeds 0–9), en checkpoint-selectie worden constant gehouden. Leersnelheden werden vastgesteld vóór de hoofd-sweep ($10^{-4}$ voor LoRA, $2 \times 10^{-4}$ voor CP).

Belangrijkste Resultaten
De studie laat zien dat het voordeel van fijnere parameterstappen sterk taakafhankelijk is:

• SST-2 (Vroege Plateau): Kleine CP-adapters (bijv. $c=2$) bereiken een nauwkeurigheidsplateau (~0.93) met een fractie van het LoRA $r=1$ budget. Het toevoegen van meer CP-componenten leidt echter niet tot een monotone verbetering van de prestaties, en geen enkele CP-instelling overtreft het beste LoRA-resultaat onder dezelfde budgetplafonds. De lage-budgetregio lijkt vroeg verzadigd te zijn.
• BoolQ (Geleidelijke Stijging en Verzadiging): De CP-curve vertoont een duidelijke, geleidelijke verbetering van $c=1$ tot $c=43$, wat nuttige intermediaire capaciteitsgroei onthult die de grove grid van LoRA mist. Echter, de curve verzadigt uiteindelijk iets onder het beste LoRA-resultaat ($0.739$ vs. $0.743$).
• RTE (Aanhoudende Kloof): LoRA presteert consistent beter dan CP over alle budgetniveaus. Zelfs met fijnere stappen en extra componenten slaagt CP er niet in de nauwkeurigheidskloof te dichten, wat suggereert dat voor deze taak de expressiviteit van de onbeperkte dichte rank-één richtingen van LoRA crucialer is dan de budgetgranulariteit.

Belangrijkste Bijdragen

1. Expliciete Budget Discretisering: Het artikel introduceert een "best-under-budget" vergelijkingskader dat expliciet visualiseert hoe verschillende adapterfamilies de parameterruimte discretiseren, waarbij verder wordt gekeken dan eenvoudige overeenkomstige parametervergelijkingen.
2. Gecontroleerde Tensorized Adapter Studie: De auteurs implementeren dit kader met behulp van fixed-component CP-adapters, wat een gecontroleerde testcase biedt waarbij de capaciteitsparameter-stapgrootte aanzienlijk kleiner is dan die van LoRA.
3. Taakafhankelijke Diagnostiek: De studie toont aan dat fijnere parameterstappen fungeren als een diagnostisch instrument. Ze onthullen de vorm van de budget-responscurve (bijv. vroege verzadiging versus geleidelijke groei), maar garanderen niet inherent een superieure nauwkeurigheid–budget curve.

Betekenis en Claims
De auteurs geven expliciet aan dat zij niet beweren dat de fixed-component CP-adapter een nieuwe state-of-the-art PEFT-methode is. In plaats daarvan ligt de betekenis in het isoleren van het effect van budgetgranulariteit.

Het artikel concludeert dat hoewel fijnere parameterstappen nuttig zijn voor het diagnosticeren van de PEFT-budgetgevoeligheid en het onthullen van werkpunten tussen LoRA-ranks, ze niet automatisch de expressiviteitskloven overwinnen. In sommige gevallen (RTE) is de flexibiliteit van de update-structuur van LoRA belangrijker dan de resolutie van de budgetgrid; in andere gevallen (BoolQ) onthullen fijnere stappen intermediaire prestatiewinsten; en in andere gevallen (SST-2) verzadigt de taak zo vroeg dat de gridresolutie minder kritisch is. Het werk dient als een gecontroleerde studie naar hoe de discretisering van de capaciteitsparameter de geobserveerde prestatielandschap beïnvloedt.