🤖 machine learning

FRAME: Learning the Adaptation Domain with a Mixture of Fractional-Fourier Experts

Dit artikel introduceert FRAME, een parameter-efficiënte fine-tuning methode die gebruikmaakt van een Mixture of Experts met leerbare fractionele Fourier-ordes om updates dynamisch aan te passen over een ruimtelijk-spectraal continuüm, waardoor superieure prestaties en verminderde interferentie worden bereikt in vergelijking met bestaande LoRA en spectrale baselines.

Oorspronkelijke auteurs: Tom Saliencro, Maya Lindqvist, Rohan Desai, Priya Nair, Daniel Whitmore

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tom Saliencro, Maya Lindqvist, Rohan Desai, Priya Nair, Daniel Whitmore

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, bevroren bibliotheek van kennis hebt (een Large Language Model) die je een nieuwe vaardigheid wilt aanleren, zoals het schrijven van code of het oplossen van wiskundeproblemen. Je wilt niet de hele bibliotheek herschrijven omdat dat te duur en te traag is. In plaats daarvan wil je een klein "plakzoutje" of een "spiekbriefje" toevoegen (een techniek genaamd PEFT of Parameter-Efficient Fine-Tuning) dat het model precies leert wat het moet weten.

Een lange tijd hadden onderzoekers twee hoofdwijzen om deze spiekbriefjes te schrijven:

De "Ruimtelijke" manier (LoRA): De aantekeningen schrijven in de taal van de oorspronkelijke tekst (zoals standaard Engels).
De "Spectrale" manier (Fourier): De aantekeningen schrijven in de taal van frequenties en patronen (zoals muzikale noten of radiogolven).

Het probleem? Soms is de "Ruimtelijke" manier het beste, en soms is de "Spectrale" manier het beste. Dat hangt af van de taak, het specifieke deel van het model en zelfs van het specifieke woord dat wordt verwerkt. Maar eerdere methoden dwongen je om voor de hele klus één manier te kiezen.

Maak kennis met FRAME: De "Afstembare Lens" Adapter

De auteurs introduceren een nieuwe methode genaamd FRAME (Fractional-Fourier Mixture of Experts). Zo werkt het, met eenvoudige analogieën:

1. De "Zoomlens" Analogie

Stel je voor dat de "Ruimtelijke" manier is als kijken naar een schilderij met het blote oog (elke penseelstreek zien). De "Spectrale" manier is als kijken naar het schilderij door een prisma dat het uiteenvalt in pure kleuren (de frequentie van het licht zien).

De auteurs realiseerden zich dat er een heel spectrum aan lenzen tussenin zit. Je kunt een lens hebben die iets gekanteld is, of die halverwege tussen het oog en het prisma in zit. Dit wordt de Fractional-Fourier Transform genoemd.

FRAME geeft elke "expert" (een kleine hulpmodule) zijn eigen afstembare draaiknop.
De ene expert draait de knop naar 0 (het blote oog).
Een andere expert draait de knop naar 1 (het prisma).
Een derde expert draait de knop naar 0,4 (een wazig, halverwege beeld).

Het model leert precies waar de knop moet worden ingesteld voor elke specifieke taak en elk specifiek woord.

2. De "Gespecialiseerde Team" Analogie

Denk aan FRAME als een team van specialisten die aan een project werken.

Bij oudere methoden werd iedereen op het team gedwongen om dezelfde taal te spreken (bijv. iedereen spreekt Engels).
In FRAME is het team een Mixture of Experts. Wanneer er een nieuw woord binnenkomt, kijkt een "router" (als een projectmanager) ernaar en vraagt: "Wie is het best geschikt om dit af te handelen?"
- Als het woord een simpel feit is, stuurt de router het naar de "Ruimtelijke" expert.
- Als het woord deel uitmaakt van een complex wiskundig patroon, stuurt de router het naar de "Spectrale" expert.
- Als het ergens tussenin zit, gaat het naar een expert met een "tussenliggende" instelling.

Omdat elke expert de data bekijkt door een andere "lens", staan ze elkaar niet in de weg. Het is als een team waarbij de één naar het grote plaatje kijkt, de ander naar de fijne details en een derde naar het ritme van de tekst. Ze zijn gecorreleerd, wat betekent dat ze elkaars werk niet herhalen of elkaar niet in de war brengen.

3. De "Magische Snelkoppeling"

Je zou kunnen denken: "Wauw, het berekenen van al die verschillende lenzen moet supertraag en duur zijn."
De auteurs vonden een slimme wiskundige afkorting (met behulp van iets dat een chirp-FFT wordt genoemd). Het is als een magische rekenmachine die onmiddellijk tussen deze verschillende weergaven kan schakelen zonder het zware werk daadwerkelijk te hoeven doen.

Resultaat: FRAME is bijna net snel als de oude methoden, maar veel slimmer.

Wat hebben ze ontdekt?

De paper testte dit op twee grote AI-modellen (LLaMA en Qwen) over vier soorten taken:

Common sense (het beantwoorden van lastige vragen)
Wiskunde (het oplossen van problemen)
Code (het schrijven van software)
Kennis (het ophalen van feiten)

De Resultaten:

Betere Prestaties: FRAME versloeg alle vorige beste methoden, inclus\nclusief de "Ruimtelijke" methoden en de "Spectrale" methoden.
Slimmere Specialisatie: Het model leerde daadwerkelijk de knoppen anders in te stellen voor verschillende taken. Bijvoorbeeld: de vroege lagen van het model gaven de voorkeur aan de ene instelling, terwijl latere lagen de voorkeur gaven aan een andere.
Efficiëntie: Het behaalde deze resultaten terwijl het minder actieve parameters gebruikte (minder "rekenkracht" per woord) dan veel concurrenten.

De Kern van het Verhaal

De paper betoogt dat het "domein" (de manier waarop we data representeren) geen vaste regel moet zijn. Het moet een leerbare keuze zijn. FRAME bewijst dat door AI-modellen een draaiknop te geven waarmee ze de manier waarop ze data "zien" kunnen aanpassen — variërend van ruwe tekst tot pure patronen — ze sneller kunnen leren, minder fouten maken en complexe taken beter kunnen afhandelen dan wanneer ze gedwongen zouden worden om slechts één manier van denken aan te houden.

Technische Samenvatting: FRAME (Fractional-Fourier Mixture of Experts)

1. Probleemstelling

Parameter-Efficient Fine-Tuning (PEFT) methoden, in het bijzonder Low-Rank Adaptation (LoRA), herparametriseren gewichtsupdates doorgaans binnen een vaste basis. De dominante aanpak opereert in het ruimtelijke domein (canonieke coördinaten), terwijl een groeiende lijn van spectrale methoden opereert in een vast Fourier-domein. Het artikel betoogt dat deze dichotomie een ononderzocht ontwerpkeuze is: geen enkele basis is optimaal voor alle taken, lagen of tokens.

Bestaande methoden committeren zich ofwel aan het ruimtelijke domein ( $a=0$ ), ofwel aan het Fourier-domein ( $a=1$ ), wat potentieel capaciteit verspilt als de optimale update-representatie in een intermediair domein ligt. Bovendien lijden fixed-domain adapters vaak onder interferentie bij het samenvoegen of uitvoeren van multi-task learning, omdat updates mogelijk overlappende subruimten bezetten. Het kernproblein is dat het adaptatiedomein zelf een leerbare vrijheidsgraad zou moeten zijn in plaats van een vaste conventie.

2. Methodologie: FRAME

De auteurs stellen FRAME (Fractional-Fourier Mixture of Experts) voor, een PEFT-adapter die het adaptatiedomein behandelt als een leerbare, per-expert kwantiteit.

Kernmechanisme

FRAME maakt gebruik van de Fractional-Fourier Transform (FrFT), een een-parameter familie van unitaire transformaties die continu interpoleert tussen het ruimtelijke domein en het Fourier-domein.

De Parameter: De transformatie wordt gedefinieerd door een orde $a \in [0, 1]$ $a \in [0, 1]$ .
- $a=0$ : Identiteitstransformatie (Ruimtelijk domein, equivalent aan standaard LoRA).
- $a=1$ : Standaard Fourier-transformatie (Spectraal domein).
- $0 < a < 1$ : Intermediaire domeinen die een rotatie in het tijd-frequentievlak vertegenwoordigen.
Architectuur: FRAME is een Mixture-of-Experts (MoE) adapter. Elke expert $i$ $i$ bezit:
1. Standaard low-rank factoren $A_i \in \mathbb{R}^{r \times d}$ en $B_i \in \mathbb{R}^{d_{out} \times r}$ .
2. Een leerbare scalaire orde $a_i \in [0, 1]$ .
Forward Pass: Voor een token $x$ wordt de update berekend als:
$\Delta W_i x = B_i A_i \text{Re}\{\Phi_{a_i} x\}$
waarbij $\Phi_{a_i}$ de discrete FrFT van orde $a_i$ is. Het token wordt eerst geroteerd naar het specifieke fractionele domein van de expert, waarna het reële deel wordt genomen en de low-rank projectie wordt toegepast.
Routing: Een router selecteert de top- $k$ experts voor elk token, waardoor verschillende tokens simultaan in verschillende domeinen kunnen worden aangepast.

Efficiëntie en Optimalisatie

Computationele Kosten: Het expliciet materialiseren van de FrFT-matrix zou $O(d^2)$ kosten. FRAME gebruikt een chirp–FFT surrogaat (Ozaktas et al., 1996) die de transformatie berekent in $O(d \log d)$ tijd via pre-chirp vermenigvuldiging, een FFT, en post-chirp vermenigvuldiging. Dit voegt verwaarloosbare overhead toe vergeleken met standaard MoE-LoRA.
Optimalisatiestrategie:
- Gescheiden Optimizers: De orde-scalaren $\{a_i\}$ en de matrixfactoren $\{A_i, B_i\}$ worden getraind met gescheiden optimizers. De leersnelheid voor orden ( $\eta_a$ ) is aanzienlijk kleiner dan die voor matrices ( $\eta$ ) omdat kleine veranderingen in $a$ het gehele domein roteren, terwijl matrixupdates dens zijn.
- Georganiseerde Load Balancing: Om te voorkomen dat experts naar één enkel domein convergeren, verdelen de auteurs de experts in $G$ "orde-banden" (geïnitialiseerd op een uniform rooster). Een balancing loss wordt toegepast binnen elke band om diverse domeinbenutting te waarborgen zonder globale uniformiteit af te dwingen.

3. Belangrijkste Bijdragen

Herformulering van het Domein: Het artikel herformuleert de ruimtelijke-versus-spectrale dichotomie als een enkele continue as (de fractionele orde) en toont aan dat het optimale adaptatiedomein varieert per taak, laag en token.
FRAME Architectuur: Introductie van een MoE-adapter met per-expert leerbare orden, een $O(d \log d)$ transformatie-surrogaat, en een specifieke optimalisatieregel voor de domeinparameters.
Theoretische Garanties:
- Strikte Generalisatie: FRAME generaliseert strikt zowel ruimtelijke LoRA als Fourier-domein adapters.
- Decorrelatie: Theoretisch bewijs dat experts met goed gescheiden orden wederzijds incoherent (gedecorreleerd) zijn, wat interferentie tussen taken en experts vermindert.
- Stabiliteit: Bewijzen dat gradiënten van de orde begrensd zijn, wat zorgt voor stabiele training.
Empirische Prestaties: FRAME presteert beter dan sterke ruimtelijke en spectrale baselines (inclusief FlyLoRA, Fourier-MoE, en HMoRA) op commonsense, wiskunde, code en kennis benchmarks op LLaMA-3.1-8B en QWEN2.5-7B, terwijl een laag aantal actieve parameters behouden blijft.

4. Experimentele Resultaten

Prestaties: Op LLaMA-3.1-8B bereikte FRAME een gemiddelde commonsense accuratesse van 87,1%, waarmee het de sterkste baseline (MoA, 86,3%) met +0,8% en vanilla LoRA met +2,6% versloeg. Vergelijkbare winsten werden waargenomen op QWEN2.5-7B.
Efficiëntie: FRAME activeert slechts 0,31% van de parameters (vergelijkbaar met of lager dan veel MoE-baselines) terwijl het de beste accuratesse behaalt.
Ablatieonderzoeken:
- Het fixeren van de orde op $a=0$ (ruimtelijk) of $a=1$ (spectraal) resulteerde in significante prestatieverliezen (−1,4% en −1,1% respectievelijk), wat bevestigt dat een enkel vast domein onvoldoende is.
- Het gebruik van een vast divers rooster van orden (niet geleerd) herstelde slechts een deel van de prestatiekloof, wat het belang van het leren van de specifieke orde per expert benadrukt.
- De chirp–FFT surrogaat veroorzaakte minder dan 7% trainingstijd overhead vergeleken met ruimtelijke MoE-LoRA, terwijl een dense transformatie-implementatie 3× trager was.
Mechanisme-analyse:
- Specialisatie: Geleerde orden specialiseerden zich naar taak en laagdiepte (verschuivend van nabij-ruimtelijk in vroege lagen naar meer spectraal in latere lagen).
- Decorrelatie: De inter-expert coherentie nam monotoon af naarmate het verschil in hun orden toenam, wat de theoretische decorrelatie-eigenschap valideert.
- Token Routing: Verschillende typen tokens (bijv. cijfers versus functiewoorden) werden systematisch naar verschillende orden gerouteerd.

5. Betekenis en Claims

Het artikel claimt dat het adaptatiedomein een leerbare ontwerpkeuze is, geen vaste conventie. Door een continu spectrum van domeinen te introduceren via de fractionele Fourier-orde, stelt FRAME het model in staat om low-rank updates te plaatsen in het domein waar ze het meest compact en het minst interfererend zijn.

De auteurs benadrukken drie specifieke voordelen:

Expressiviteit: Een mixture die meerdere orden beslaat, representeert updates die geen enkele single-domain adapter van dezelfde rang kan vangen.
Decorrelatie: Verschillende orden induceren wederzijds incoherente subruimten, wat de interferentie tussen experts en taken natuurlijk vermindert zonder dat harde orthogonaliteitsrestricties nodig zijn.
Efficiëntie: Het leerbare domein voegt verwaarloosbare computationele kosten toe dankzij de efficiënte chirp–FFT surrogaat.

Het artikel concludeert dat FRAME een "breed bruikbare as" biedt voor adaptatie, wat suggereert dat de fractionele lens kan worden toegepast op full fine-tuning, aandachtmechanismen of continual learning, hoewel dit als toekomstig werk wordt beschouwd. De auteurs merken beperkingen op met betrekking tot de non-zero overhead van de transformatie en de gevoeligheid voor routing collapse, die zij weliswaar mitigeren, maar niet volledig elimineren.