AuthorMix: Modular Authorship Style Transfer via Layer-wise Adapter Mixing

1. Problemstellung

Das Ziel des Authorship Style Transfer (Stiltransfer von Autoren) besteht darin, einen Text so umzuschreiben, dass er den Schreibstil eines Zielautors annimmt, während die semantische Bedeutung des Originaltextes erhalten bleibt.

Bestehende Methoden leiden unter zwei Hauptproblemen:

• Hohe Kosten und mangelnde Flexibilität: Die meisten Ansätze trainieren ein einziges, monolithisches Modell auf großen Korpora, um alle Zielstile gleichzeitig zu modellieren. Dies ist rechenintensiv und erschwert die Anpassung an neue, ressourcenarme Zielautoren.
• Kompromisse zwischen Stil und Bedeutung: Um den Stil anzupassen, opfern viele Modelle oft die semantische Treue (Meaning Preservation). Insbesondere bei ressourcenarmen Szenarien (wenige Beispiele für den Zielstil) neigen bestehende Modelle dazu, den Inhalt zu verzerren oder benötigen aufwendige Zwischenschritte (z. B. Neutralisierung des Textes), was zu semantischem Drift führt.

2. Methodik: AuthorMix

Die Autoren schlagen AuthorMix vor, ein leichtgewichtiges, modulares und interpretierbares Framework, das in zwei Hauptphasen unterteilt ist. Der Kernansatz basiert auf dem Layer-wise Adapter Mixing (schichtweises Mischen von Adaptern).

Phase 1: Training von Autoren-Adaptern (Author Adapter Training)

• Es werden individuelle LoRA-Adapter (Low-Rank Adaptation) für eine kleine Anzahl von „High-Resource"-Autoren (Autoren mit großen Textmengen) trainiert.
• Datengenerierung: Für jeden High-Resource-Autor werden Pseudo-Parallel-Daten erstellt. Ein Sprachmodell paraphrasiert die Originaltexte in einen neutralen Stil (Entfernung von stilistischen Markern bei Beibehaltung der Bedeutung).
• Fine-Tuning: Ein separater LoRA-Adapter wird trainiert, um den neutralisierten Text zurück in den Originalstil des Autors zu übersetzen. Dies geschieht für $n$ verschiedene Autoren, wodurch eine Bibliothek $\mathcal{A} = \{\theta_1, ..., \theta_n\}$ an stil-spezifischen Adaptern entsteht.

Phase 2: Gewichtetes Mischen (Weight Mixing)

Für einen neuen, ressourcenarmen Zielautor (mit nur wenigen Beispielen) wird kein neues Modell trainiert. Stattdessen wird ein maßgeschneiderter Adapter durch das Mischen der existierenden High-Resource-Adapter konstruiert.

• Layer-wise Mixing: Im Gegensatz zu früheren Ansätzen, die nur globale Gewichte pro Adapter lernen, optimiert AuthorMix schichtspezifische Gewichte ($W_{i,j}$). Für jede Schicht $j$ eines Transformers wird der Ziel-Adapter $\hat{\theta}_j$ als lineare Kombination der Schichten der $n$ Quell-Adapter berechnet:
  $$\hat{\theta}_j = \sum_{i=1}^{n} W_{i,j} \cdot \theta^{(i)}_j$$
• Optimierungsziele: Die Gewichte $W$ werden so optimiert, dass ein Joint Score maximiert wird, der zwei Komponenten kombiniert:
  1. Toward Score: Misst, wie nah der generierte Text am Stil des Zielautors liegt.
  2. Mutual Implication Score (MIS): Misst die semantische Ähnlichkeit zwischen Quelltext und umgeschriebenem Text (Bedeutungserhalt).
• Optimierungsmethoden: Zwei Ansätze werden verglichen:
  1. LoRAHub: Gradientenfreie Optimierung (NGOpt).
  2. GRPO (Group Relative Policy Optimization): Ein Reinforcement-Learning-Ansatz, der die Gewichte direkt als Policy lernt.
• Adapter-Subset Selection: Um die Suche effizient zu gestalten, werden nur die Top-$k$ stilistisch ähnlichsten High-Resource-Autoren für das Mischen ausgewählt (basierend auf Embedding-Ähnlichkeit).

3. Wichtige Beiträge

1. AuthorMix Framework: Ein modulares System, das effizient Stiltransfer-Modelle für beliebige Zielautoren erzeugt, ohne das Basis-Modell neu zu trainieren.
2. Layer-wise Mixing: Die Einführung von schichtspezifischen Mischgewichten, die eine feinere Kontrolle ermöglichen und interpretierbar machen (welcher Autor trägt zu welcher Schicht bei?).
3. Reinforcement Learning für Adapter-Mixing: Erstmals wird GRPO zur Optimierung von Adapter-Mischgewichten eingesetzt, was laut Paper deutlich besser funktioniert als gradientenfreie Methoden.
4. Ressourceneffizienz: Das Training eines Zielmodells dauert nur ca. 40 Minuten auf einer GPU und erfordert keine großen Datensätze, im Gegensatz zu monolithischen Ansätzen.

4. Ergebnisse

Die Evaluation erfolgte auf 100 Quell-Ziel-Autoren-Paaren (basierend auf Project Gutenberg-Daten) unter Verwendung von LLaMA-3.1-8B als Basis-Modell.

• Überlegenheit in der Bedeutungserhaltung: AuthorMix (insbesondere die GRPO-Variante mit Layer-wise Mixing) erzielt den höchsten Joint Score (0,34) und übertrifft damit State-of-the-Art-Modelle wie ASTRAPOP, TinyStyler und STYLL sowie GPT-5.1 (Few-Shot).
• MIS (Meaning Preservation): AuthorMix erreicht einen MIS-Score von 0,83 (im Vergleich zu 0,75 bei TinyStyler und 0,63 bei ASTRAPOP). Dies zeigt, dass der Inhalt viel besser erhalten bleibt, ohne dass der Stiltransfer leidet.
• Vergleich der Methoden:
  • Layer-wise vs. Adapter-wise: Layer-wise Mixing übertrifft konsistent das einfache Mischen ganzer Adapter.
  • GRPO vs. LoRAHub: GRPO erzielt bessere Stiltransfer-Ergebnisse (höherer Toward-Score) und nutzt die Layer-Struktur effektiver. LoRAHub (gradientenfrei) scheitert oft daran, sinnvolle Layer-Gewichte zu finden (nahe Null).
  • Einfluss von $k$: Die Leistung steigt stark, wenn von einem einzelnen Adapter ($k=1$) auf zwei oder mehr Adapter ($k \ge 2$) gewechselt wird. Der optimale Punkt liegt bei $k=4$ für GRPO-Layer-Mixing.
• Interpretierbarkeit: Die Analyse der gelernten Gewichte zeigt, dass stilistische Informationen oft in den mittleren Schichten des Modells konzentriert sind, während tiefe Schichten oft unterdrückt werden (negative Gewichte), um unerwünschte Stilelemente zu entfernen.

5. Bedeutung und Fazit

AuthorMix adressiert das Dilemma zwischen hoher Anpassungsfähigkeit und Recheneffizienz im Stiltransfer.

• Skalierbarkeit: Da nur kleine Adapter-Bibliotheken vortrainiert werden müssen, kann das System leicht auf neue Autoren erweitert werden, indem nur die Mischgewichte für den neuen Zielstil gelernt werden.
• Effizienz: Die Anpassung an einen neuen Zielautor kostet nur ca. 40 Minuten Rechenzeit pro Ziel, während monolithische Modelle oft Tage an Training benötigen.
• Qualität: Das Paper demonstriert, dass durch das gezielte Mischen von Experten-Adaptern (LoRA) auf Schichtebene sowohl der Stil als auch die semantische Treue besser erhalten werden können als bei großen, einheitlichen Modellen.

Zusammenfassend bietet AuthorMix einen vielversprechenden Weg für Low-Resource Style Transfer, der besonders für Anwendungen wie personalisierte Tutoren, Chatbots oder literarische Anpassungen relevant ist, bei denen sowohl der individuelle Stil als auch die inhaltliche Korrektheit entscheidend sind.