🤖 machine learning

FRAME: Learning the Adaptation Domain with a Mixture of Fractional-Fourier Experts

Dieses Paper führt FRAME ein, eine parametereffiziente Fine-Tuning-Methode, die eine Mixture of Experts mit lernbaren fraktionalen Fourier-Ordnungen verwendet, um Updates dynamisch über ein räumlich-spektrales Kontinuum hinweg anzupassen und dadurch im Vergleich zu bestehenden LoRA- und Spektral-Baselines eine überlegene Leistung sowie reduzierte Interferenzen zu erreichen.

Ursprüngliche Autoren: Tom Saliencro, Maya Lindqvist, Rohan Desai, Priya Nair, Daniel Whitmore

Veröffentlicht 2026-07-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tom Saliencro, Maya Lindqvist, Rohan Desai, Priya Nair, Daniel Whitmore

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, eingefrorene Bibliothek des Wissens (ein Large Language Model) und möchten ihr eine neue Fähigkeit beibringen, wie zum Beispiel das Schreiben von Code oder das Lösen von mathematischen Problemen. Sie wollen nicht die gesamte Bibliothek umschreiben, da dies zu teuer und zu langsam wäre. Stattdessen möchten Sie eine kleine „Notiz“ oder ein „Spickzettel“ hinzufügen (eine Technik namens PEFT oder Parameter-Efficient Fine-Tuning), um dem Modell genau das beizubringen, was es wissen muss.

Lange Zeit hatten Forscher zwei Hauptwege, um diese Spickzettel zu schreiben:

Der „räumliche“ Weg (LoRA): Die Notizen in der Sprache des Originaltextes zu schreiben (wie Standard-Englisch).
Der „spektrale“ Weg (Fourier): Die Notizen in der Sprache von Frequenzen und Mustern zu schreiben (wie Musiknoten oder Radiowellen).

Das Problem dabei ist: Manchmal ist der „räumliche“ Weg am besten, und manchmal ist der „spektrale“ Weg am besten. Es kommt auf die Aufgabe an, auf den spezifischen Teil des Modells und sogar auf das spezifische Wort, das gerade verarbeitet wird. Aber bisherige Methoden zwangen einen dazu, sich für einen Weg für die gesamte Aufgabe zu entscheiden.

Hier kommt FRAME: Der „abstimmbare Linsen“-Adapter

Die Autoren stellen eine neue Methode vor: FRAME (Fractional-Fourier Mixture of Experts). So funktioniert sie, erklärt anhand einfacher Analogien:

1. Die „Zoomlinsen“-Analogie

Stellen Sie sich vor, der „räumliche“ Weg ist, als würde man ein Gemälde mit dem bloßen Auge betrachten (jeden Pinselstrich sehen). Der „spektrale“ Weg ist, als würde man das Gemälde durch ein Prisma betrachten, das es in reine Farben zerlegt (die Frequenz des Lichts sehen).

Die Autoren erkannten, dass es ein ganzes Spektrum an Linsen dazwischen gibt. Man kann eine Linse haben, die leicht geneigt ist oder halbwegs zwischen dem Auge und dem Prisma liegt. Dies nennt man die Fractional-Fourier-Transformation.

FRAME gibt jedem „Experten“ (einem kleinen Hilfsmodul) seinen eigenen abstimmbaren Regler.
Ein Experte dreht den Regler vielleicht auf 0 (das bloße Auge).
Ein anderer dreht ihn auf 1 (das Prisma).
Ein dritter dreht ihn auf 0,4 (eine verschwommene Sichtweise dazwischen).

Das Modell lernt genau, wo es den Regler für jede einzelne Aufgabe und jedes einzelne Wort einstellen muss.

2. Die „Spezialisten-Team“-Analogie

Betrachten Sie FRAME als ein Team von Spezialisten, die an einem Projekt arbeiten.

Bei älteren Methoden war das gesamte Team gezwungen, dieselbe Sprache zu sprechen (z. B. alle sprechen Englisch).
In FRAME ist das Team ein Mixture of Experts (Gemisch aus Experten). Wenn ein neues Wort eintrifft, schaut ein „Router“ (wie ein Projektmanager) darauf und fragt: „Wer ist am besten geeignet, dies zu bearbeiten?“
- Wenn das Wort ein einfacher Fakt ist, leitet der Router es vielleicht an den „räumlichen“ Experten weiter.
- Wenn das Wort Teil eines komplexen mathematischen Musters ist, leitet der Router es an den „spektralen“ Experten weiter.
- Wenn es etwas dazwischen ist, geht es an einen Experten mit einer „Mittelweg“-Einstellung.

Weil jeder Experte die Daten durch eine andere „Linse“ betrachtet, stehen sie sich nicht im Weg. Es ist, als hätte man ein Team, bei dem eine Person das große Ganze sieht, eine andere die feinen Details und eine dritte den Rhythmus des Textes. Sie sind dekorelliert, was bedeutet, dass sie sich nicht gegenseitig in die Quere kommen oder verwirren.

3. Die „Magische Abkürzung“

Sie denken vielleicht: „Wow, die Berechnung all dieser verschiedenen Linsen muss super langsam und teuer sein.“
Die Autoren haben eine clevere mathematische Abkürzung gefunden (unter Verwendung von etwas namens Chirp-FFT). Es ist wie ein magischer Taschenrechner, der blitzschnell zwischen diesen verschiedenen Ansichten wechseln kann, ohne die schwere Rechenarbeit tatsächlich leisten zu müssen.

Ergebnis: FRAME ist fast so schnell wie die alten Methoden, aber viel intelligenter.

Was haben sie herausgefunden?

Die Autoren testeten dies an zwei großen KI-Modellen (LLaMA und Qwen) bei vier Arten von Aufgaben:

Common Sense (Beantwortung kniffliger Fragen)
Mathematik (Lösen von Problemen)
Code (Schreiben von Software)
Wissen (Abruf von Fakten)

Die Ergebnisse:

Bessere Leistung: FRAME schlug alle bisherigen besten Methoden, einschließlich der „räumlichen“ und der „spektralen“ Methoden.
Intelligente Spezialisierung: Das Modell lernte tatsächlich, die Regler für verschiedene Aufgaben unterschiedlich einzustellen. Zum Beispiel bevorzugten frühe Schichten des Modells eine andere Einstellung als spätere Schichten.
Effizienz: Es erreichte diese Ergebnisse bei der Verwendung weniger aktiver Parameter (weniger „Rechenleistung“ pro Wort) als viele Konkurrenten.

Das Fazit

Die Arbeit argumentiert, dass der „Bereich“ (die Art und Weise, wie wir Daten repräsentieren) keine feste Regel sein sollte. Er sollte eine lernbare Entscheidung sein. FRAME beweist, dass KI-Modelle schneller lernen, weniger Fehler machen und komplexe Aufgaben besser bewältigen können, wenn man ihnen einen Regler gibt, mit dem sie steuern können, wie sie Daten „sehen“ – von rohem Text bis hin zu reinen Mustern – anstatt sie zu zwingen, nur eine einzige Denkweise zu verfolgen.

Technisches Resümee: FRAME (Fractional-Fourier Mixture of Experts)

1. Problemstellung

Methoden des parametereffizienten Fine-Tunings (PEFT), insbesondere Low-Rank Adaptation (LoRA), reparametrisieren Gewichtsaktualisierungen typischerweise innerhalb einer festen Basis. Der dominante Ansatz operiert im Räumlichen Bereich (kanonische Koordinaten), während eine wachsende Reihe von Spektralmethoden in einem festen Fourier-Bereich operiert. Die Arbeit argumentiert, dass diese Dichotomie eine ungeprüfte Designentscheidung darstellt: Keine einzelne Basis ist über alle Aufgaben, Schichten oder Token hinweg optimal.

Bestehende Methoden verpflichten sich entweder zum räumlichen Bereich ( $a=0$ ) oder zum Fourier-Bereich ( $a=1$ ), was potenziell Kapazität verschwendet, wenn die optimale Repräsentation der Aktualisierung in einem intermediären Bereich liegt. Darüber hinaus leiden Fixed-Domain-Adapter oft unter Interferenzen beim Zusammenführen oder beim Multi-Task-Learning, da Aktualisierungen möglicherweise überlappende Subräume besetzen. Das Kernproblem besteht darin, dass der Adaptationsbereich selbst ein lernbarer Freiheitsgrad sein sollte und keine feste Konvention.

2. Methodik: FRAME

Die Autoren schlagen FRAME (Fractional-Fourier Mixture of Experts) vor, einen PEFT-Adapter, der den Adaptationsbereich als eine pro Expertengruppe lernbare Größe behandelt.

Kernmechanismus

FRAME nutzt die Fraktionale Fourier-Transformation (FrFT), eine einparametrige Familie unitärer Transformationen, die kontinuierlich zwischen dem räumlichen und dem Fourier-Bereich interpoliert.

Der Parameter: Die Transformation ist definiert durch eine Ordnung $a \in [0, 1]$ $a \in [0, 1]$ .
- $a=0$ : Identitätstransformation (räumlicher Bereich, äquivalent zu Standard-LoRA).
- $a=1$ : Standard-Fourier-Transformation (Spektralbereich).
- $0 < a < 1$ : Intermediäre Bereiche, die eine Rotation in der Zeit-Frequenz-Ebene darstellen.
Architektur: FRAME ist ein Mixture-of-Experts (MoE) Adapter. Jeder Experte besitzt:
1. Standardmäßige Low-Rank-Faktoren $A_i \in \mathbb{R}^{r \times d}$ und $B_i \in \mathbb{R}^{d_{out} \times r}$ .
2. Eine lernbare Skalarordnung $a_i \in [0, 1]$ .
Forward Pass: Für ein Token $x$ wird die Aktualisierung wie folgt berechnet:
$\Delta W_i x = B_i A_i \text{Re}\{\Phi_{a_i} x\}$
wobei $\Phi_{a_i}$ die diskrete FrFT der Ordnung $a_i$ ist. Das Token wird zuerst in den spezifischen fraktionalen Bereich des Experten rotiert, der Realteil wird gebildet und die Low-Rank-Projektion angewendet.
Routing: Ein Router wählt die Top- $k$ Experten für jedes Token aus, was es ermöglicht, dass verschiedene Token gleichzeitig in unterschiedlichen Domänen adaptiert werden.

Effizienz und Optimierung

Rechenaufwand: Die explizite Materialisierung der FrFT-Matrix würde $O(d^2)$ kosten. FRAME verwendet einen Chirp–FFT-Surrogat (Ozaktas et al., 1996), der die Transformation in $O(d \log d)$ Zeit via Pre-Chirp-Multiplikation, einer FFT und Post-Chirp-Multiplikation berechnet. Dies verursacht einen vernachlässigbaren Overhead im Vergleich zu Standard-MoE-LoRA.
Optimierungsstrategie:
- Separate Optimierer: Die Ordnungs-Skalare $\{a_i\}$ und die Matrixfaktoren $\{A_i, B_i\}$ werden mit separaten Optimierern trainiert. Die Lernrate für Ordnungen ( $\eta_a$ ) ist signifikant kleiner als für Matrizen ( $\eta$ ), da kleine Änderungen in $a$ den gesamten Bereich rotieren, während Matrix-Updates dicht sind.
- Gruppierter Lastausgleich (Grouped Load Balancing): Um zu verhindern, dass Experten in eine einzige Domäne kollabieren, partitionieren die Autoren die Experten in $G$ „Ordnungs-Bänder“ (initialisiert auf einem uniformen Gitter). Ein Balancing-Loss wird innerhalb jedes Bandes angewendet, um eine diverse Nutzung der Domänen sicherzustellen, ohne globale Uniformität zu erzwingen.

3. Zentrale Beiträge

Reframing der Domäne: Die Arbeit definiert die räumliche-vs.-spektrale Dichotomie als eine einzige kontinuierliche Achse (die fraktionale Ordnung um) und zeigt, dass der optimale Adaptationsbereich je nach Aufgabe, Schicht und Token variiert.
FRAME-Architektur: Einführung eines MoE-Adapters mit pro-Experte lernbaren Ordnungen, einem $O(d \log d)$ Transformations-Surrogat und einem spezifischen Optimierungsregime für die Domänenparameter.
Theoretische Garantien:
- Strikte Generalisierung: FRAME generalisiert sowohl räumliches LoRA als auch Fourier-Domänen-Adapter strikt.
- Dekorrelation: Theoretischer Beweis, dass Experten mit gut getrennten Ordnungen gegenseitig inkohärent (dekoreliert) sind, was Interferenzen zwischen Aufgaben und Experten reduziert.
- Stabilität: Beweise, dass Ordnungs-Gradienten beschränkt sind, was ein stabiles Training gewährleistet.
Empirische Leistung: FRAME übertrifft starke räumliche und spektrale Baselines (einschließlich FlyLoRA, Fourier-MoE und HMoRA) in Benchmarks zu Common Sense, Mathematik, Code und Wissen auf LLaMA-3.1-8B und QWEN2.5-7B, während es ein niedriges aktives Parameterbudget beibehält.

4. Experimentelle Ergebnisse

Leistung: Auf LLaMA-3.1-8B erreichte FRAME eine durchschnittliche Common-Sense-Genauigkeit von 87,1 %, womit es die stärkste Baseline (MoA, 86,3 %) um +0,8 % und das ursprüngliche LoRA um +2,6 % übertraf. Ähnliche Gewinne wurden bei QWEN2.5-7B beobachtet.
Effizienz: FRAME aktiviert nur 0,31 % der Parameter (vergleichbar mit oder niedriger als viele MoE-Baselines), während es die beste Genauigkeit erzielt.
Ablationsstudien:
- Das Fixieren der Ordnung auf $a=0$ (räumlich) oder $a=1$ (spektral) führte zu signifikanten Leistungseinbußen (−1,4 % bzw. −1,1 %), was bestätigt, dass eine einzige feste Domäne unzureichend ist.
- Die Verwendung eines festen, diversen Gitters von Ordnungen (nicht gelernt) konnte nur einen Teil der Leistungslücke schließen, was die Notwendigkeit unterstreicht, die spezifische Ordnung pro Experte zu lernen.
- Der Chirp–FFT-Surrogat verursachte weniger als 7 % Trainingszeit-Overhead im Vergleich zu räumlichem MoE-LoRA, während eine dichte Transformations-Implementierung 3× langsamer war.
Mechanismus-Analyse:
- Spezialisierung: Gelernte Ordnungen spezialisierten sich nach Aufgabe und Schichttiefe (Verschiebung von nahezu räumlich in frühen Schichten hin zu eher spektral in späteren Schichten).
- Dekorrelation: Die Inter-Experten-Kohärenz nahm monoton ab, wenn der Unterschied in ihren Ordnungen zunahm, was die theoretische Dekorrelations-Eigenschaft validiert.
- Token-Routing: Unterschiedliche Token-Typen (z. B. Zahlen vs. Funktionswörter) wurden systematisch an unterschiedliche Ordnungen geroutet.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass der Adaptationsbereich eine lernbare Designentscheidung ist und keine feste Konvention. Durch die Einführung eines kontinuierlichen Spektrums von Domänen via der fraktionalen Fourier-Ordnung ermöglicht FRAME es dem Modell, Low-Rank-Updates in dem Bereich zu platzieren, in dem sie am kompaktesten und am wenigsten interferierend sind.

Die Autoren betonen drei spezifische Vorteile:

Expressivität: Ein Mixture, das mehrere Ordnungen umfasst, repräsentiert Aktualisierungen, die kein Single-Domain-Adapter gleicher Rang erfassen kann.
Dekorrelation: Unterschiedliche Ordnungen induzieren gegenseitig inkohärente Subräume, was die Interferenz zwischen Experten und Aufgaben natürlich reduziert, ohne harte Orthogonalitäts-Constraints zu erfordern.
Effizienz: Die lernbare Domäne fügt aufgrund des effizienten Chirp–FFT-Surrogats vernachlässigbare Rechenkosten hinzu.

Das Paper schließt mit der Feststellung, dass FRAME eine „breit nutzbare Achse“ für die Adaptation bietet, und legt nahe, dass die fraktionale Perspektive auch auf Full Fine-Tuning, Attention-Mechanismen oder Continual Learning angewendet werden könnte, was jedoch als zukünftige Arbeit offen bleibt. Die Autoren weisen auf Einschränkungen bezüglich des Nicht-Null-Overheads der Transformation und der Sensitivität gegenüber Routing-Kollaps hin, die sie zwar mildern, aber nicht vollständig eliminieren können.