Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters

Technisches Resümee: Feinere Parameter-Schritte für Low-Rank PEFT

Problemstellung
Low-Rank-Adapter, wie etwa LoRA, sind Standard für das parametereffiziente Fine-Tuning (PEFT). Jedoch fixiert der Rang-Parameter $r$ in LoRA die Auflösung des Parameterbudgets. Für große Projektionsmatrizen (z. B. $2048 \times 2048$ in OPT-1.3B) fügt ein einziger Rang-Inkrement 4.096 trainierbare Skalare pro Projektion hinzu. Dies erzeugt große, diskrete Lücken im Niedrigbudget-Bereich, was zu einer spärlich abgetasteten Genauigkeits–Budget-Kurve führt. Die Arbeit untersucht, ob eine Adapter-Familie mit feineren Kapazitätsinkramenten andere Betriebspunkte aufzeigen oder den beobachteten Genauigkeits–Budget-Trade-off im Vergleich zu LoRA verbessern kann.

Methodik
Die Autoren schlagen einen kontrollierten Vergleich zwischen LoRA und festkomponentigen Canonical Polyadic (CP) Tensor-Adaptern vor.

1. Adapter-Formulierung:

   • LoRA: Verwendet das Standard-Update $\Delta W = BA$, wobei der Rang $r$ die Parameteranzahl bestimmt. Für eine $2048 \times 2048$ Matrix entspricht ein LoRA-Rang-Schritt 4.096 Parametern.
   • CP-Adapter: Das Matrix-Update wird in einen vier-dimensionalen Tensor ($32 \times 64 \times 32 \times 64$) umgeformt. Das Update wird als Summe von $c$ Rang-eins-Komponenten mit normierten Faktoren parametrisiert:
     $$T(\Delta W) = \sum_{s=1}^{c} \lambda_s u^{(1)}_s \circ u^{(2)}_s \circ u^{(3)}_s \circ u^{(4)}_s$$
     wobei die Faktoren eine Einheitsnorm besitzen. Eine CP-Komponente speichert 193 trainierbare Skalare (32+64+32+64 Faktoren + 1 Skalar), was etwa 21-mal kleiner ist als ein einzelner LoRA-Rang-Schritt.

2. Experimentelles Protokoll:

   • Modell & Aufgaben: OPT-1.3B Modell, adaptiert auf drei Klassifikationsaufgaben: SST-2, RTE und BoolQ.
   • Targets: Attention $q$-proj und $v$-proj Module (insgesamt 48 Projektionen).
   • Vergleichsmetrik: Anstatt nur bei identischer Parameteranzahl zu vergleichen, definieren die Autoren eine „Best-under-budget“-Kurve $U_A(B)$. Für eine gegebene Budgetobergrenze $B$ wird hierbei die höchste erreichte Genauigkeit aller Einstellungen mit einer Parameteranzahl $\le B$ berichtet. Dieser Ansatz macht die Diskretisierung der verfügbaren Budgets explizit.
   • Kontrollen: Trainingsprotokolle, Daten-Caps, Seed-Schedules (Basis-Grid: Seeds 0–2; Bestätigung: Seeds 0–9) und Checkpoint-Selektion werden konstant gehalten. Lernraten wurden vor dem Haupt-Sweep fixiert ($10^{-4}$ für LoRA, $2 \times 10^{-4}$ für CP).

Wichtigste Ergebnisse
Die Studie zeigt, dass der Nutzen feinerer Parameter-Schritte stark aufgabeabhängig ist:

• SST-2 (Frühes Plateau): Kleine CP-Adapter (z. B. $c=2$) erreichen ein Genauigkeitsplateau (~0,93) mit einem Bruchteil des LoRA $r=1$ Budgets. Das Hinzufügen weiterer CP-Komponenten verbessert die Leistung jedoch nicht monoton, und kein CP-Setting übertrifft das beste LoRA-Ergebnis unter denselben Budgetobergrenzen. Der Niedrigbudget-Bereich scheint früh gesättigt zu sein.
• BoolQ (Gradueller Anstieg und Sättigung): Die CP-Kurve zeigt eine klare, graduelle Verbesserung von $c=1$ bis $c=43$ und offenbart damit nützliche Zwischenstufen des Kapazitätswachstums, die das grobe Raster von LoRA übersieht. Dennoch sättigt die Kurve schließlich etwas unter dem besten LoRA-Ergebnis ($0,739$ gegenüber $0,743$).
• RTE (Persistente Lücke): LoRA übertrifft CP konsistent über alle Budgetstufen hinweg. Selbst mit feineren Schritten und zusätzlichen Komponenten kann CP die Genauigkeitslücke nicht schließen, was darauf hindeutet, dass für diese Aufgabe die Expressivität von LoRAs unbeschränkten, dichten Rang-eins-Richtungen entscheidender ist.

Kernbeiträge

1. Explizite Budget-Diskretisierung: Die Arbeit führt einen „Best-under-budget“-Vergleichsrahmen ein, der explizit visualisiert, wie verschiedene Adapter-Familien den Parameterraum diskretisieren, und geht damit über einfache Vergleiche bei gleicher Parameteranzahl hinaus.
2. Kontrollierte Untersuchung tensorisierter Adapter: Die Autoren instanziieren diesen Rahmen mittels festkomponentiger CP-Adapter und bieten damit einen kontrollierten Testfall, bei dem die Kapazitätsschrittweite des Parameters signifikant kleiner ist als bei LoRA.
3. Aufgabenabhängige Diagnostik: Die Studie demonstriert, dass feinere Parameter-Schritte als diagnostisches Werkzeug dienen. Sie machen die Form der Budget-Response-Kurve sichtbar (z. B. frühe Sättigung vs. graduelles Wachstum), garantieren aber nicht inhärent einen überlegenen Genauigkeits–Budget-Trade-off.

Bedeutung und Ansprüche
Die Autoren stellen explizit klar, dass sie nicht behaupten, der festkomponentige CP-Adapter sei eine neue State-of-the-Art PEFT-Methode. Die Bedeutung liegt vielmehr in der Isolierung des Effekts der Budget-Granularität.

Die Arbeit kommt zu dem Schluss, dass feinere Parameter-Schritte zwar nützlich sind, um die Sensitivität des PEFT-Budgets zu diagnostizieren und Betriebspunkte zwischen den LoRA-Rängen aufzuzeigen, sie aber nicht automatisch die Lücken in der Expressivität überwinden können. In einigen Fällen (RTE) ist die Flexibilität der Update-Struktur von LoRA wichtiger als die Auflösung des Budget-Gitters; in anderen (BoolQ) zeigen feinere Schritte Zwischengewinne in der Leistung auf; und in anderen Fällen (SST-2) sättigt die Aufgabe so früh, dass die Gitterschärfe weniger kritisch ist. Die Arbeit dient als kontrollierte Studie darüber, wie die Diskretisierung des Kapazitätsparameters die beobachtete Leistungslandschaft beeinflusst.