TiTok: Transfer Token-level Knowledge via Contrastive Excess to Transplant LoRA

1. Problemstellung

Große Sprachmodelle (LLMs) sind in vielen Anwendungen etabliert, aber das Fine-Tuning ist rechen- und speicherintensiv. Parameter-Effizientes Fine-Tuning (PEFT) wie LoRA (Low-Rank Adaptation) löst dies, indem nur eine kleine Teilmenge der Parameter aktualisiert wird. Ein zentrales Problem besteht jedoch darin, dass LoRA-Adapter an das spezifische Basis-Modell gebunden sind und nicht direkt auf andere Backbone-Modelle übertragen werden können.

Bisherige Ansätze zur Lösung dieses Problems haben Schwächen:

• Knowledge Distillation (KD): Erfordert oft Zugriff auf die originalen Trainingsdaten des Zielaufgabenbereichs, die häufig nicht verfügbar oder teuer zu beschaffen sind.
• TransLoRA: Nutzt synthetische Daten, erfordert aber zusätzlich ein trainiertes Diskriminator-Modell, um die Qualität der synthetischen Daten zu filtern. Dies erhöht die Komplexität und den Rechenaufwand erheblich.

2. Methodik: TITOK

Das Paper stellt TITOK (Transplanting LoRA through Token-Level Knowledge) vor, ein Framework, das LoRA-Wissen ohne zusätzliche Modelle oder Zugriff auf Originaldaten überträgt. Der Kernansatz ist die selektive Übertragung von Wissen auf Token-Ebene mittels eines Konzepts namens „Token-wise Contrastive Excess".

Der Prozess läuft in vier Hauptschritten ab:

A. Synthetische Datengenerierung

Anstatt das Zielmodell zu verwenden, generiert das Quell-Expertenmodell (Source Base + LoRA) synthetische Daten (Abfragen und Labels) basierend auf wenigen Beispielen (Few-Shot). Dies ersetzt die Notwendigkeit, das Original-Dataset zu besitzen.

B. Berechnung des „Excess Score" (Kontrastiver Überschuss)

Dies ist das Herzstück von TITOK. Um zu identifizieren, welche Tokens das spezifische LoRA-Wissen enthalten, wird ein Token-für-Token-Vergleich angestellt:

• Amateur: Das reine Basis-Modell (ohne LoRA).
• Experte: Das Basis-Modell mit dem trainierten LoRA-Adapter.
• Berechnung: Für jedes Token $y_i$ in einer generierten Antwort wird die Differenz der Log-Likelihoods berechnet:
  $$S(y_i) = \log P_{\text{Expert}}(y_i | q, y_{<i}) - \log P_{\text{Amateur}}(y_i | q, y_{<i})$$
  Ein hoher Score bedeutet, dass das LoRA-Modell diesem Token mit hoher Sicherheit eine Bedeutung beimisst, während das Basis-Modell unsicher ist. Diese Tokens enthalten das entscheidende, aufgabenspezifische Wissen.

C. Zwei-Stufen-Filterung

Anstatt alle generierten Daten zu nutzen, wendet TITOK eine selektive Filterung an:

1. Sample Filtering: Es werden nur die synthetischen Beispiele (Samples) behalten, deren durchschnittlicher Excess-Score über alle Tokens am höchsten ist.
2. Token Selection: Innerhalb der verbleibenden Samples werden nur die Top-$k\%$ der Tokens mit den höchsten Excess-Scores für das Training des Ziel-LoRA verwendet. Das Zielmodell lernt also nur von den „wichtigsten" Teilen der Daten.

D. Tokenizer-Alignment

Da Quell- und Zielmodelle unterschiedliche Tokenizer haben können, wird ein robuster Algorithmus eingeführt, der die Masken (welche Tokens behalten werden sollen) von der Quell-Token-Sequenz auf die Ziel-Token-Sequenz überträgt. Dies geschieht durch eine Dual-Pointer-Methode, die Textspannen abgleicht und Scores für viele-zu-eins oder viele-zu-viele Zuordnungen mittelt.

3. Hauptbeiträge

• Neues Paradigma: TITOK ersetzt die diskriminatorenbasierte Filterung (wie bei TransLoRA) durch eine interne, modellbasierte Signalerkennung auf Token-Ebene.
• Keine zusätzlichen Modelle: Es werden keine Diskinatoren oder externen Modelle benötigt, was den Overhead minimiert.
• Robustheit gegenüber Tokenizern: Der vorgeschlagene Alignment-Algorithmus ermöglicht den Transfer zwischen Modellen unterschiedlicher Architekturen und Tokenizer.
• Dateneffizienz: Die Methode funktioniert ohne Zugriff auf die originalen Trainingsdaten des Zielbereichs, sondern nutzt nur wenige Seed-Prompts zur Generierung synthetischer Daten.

4. Ergebnisse

Die Autoren evaluieren TITOK auf drei Benchmarks: Big-Bench Hard (BBH), MMLU (Wissens- und Reasoning-Aufgaben) und LaMP (Personalisierungsaufgaben). Die Experimente decken verschiedene Transfer-Szenarien ab (gleiche Familie, verschiedene Familien, verschiedene Größen, verschiedene Versionen).

• Leistungssteigerung: TITOK erzielt im Durchschnitt +4% bis +10% Verbesserungen gegenüber Baselines.
  • Gegenüber dem untrainierten Zielmodell (Vanilla): +9,94%.
  • Gegenüber klassischer Knowledge Distillation (KD): +8,5%.
  • Gegenüber TransLoRA: +4,4%.
• Effizienz: TITOK ist ca. 1,5- bis 2,5-mal schneller als TransLoRA, da das Training eines Diskriminators entfällt.
• Generalisierung: Die Methode funktioniert auch, wenn die synthetischen Daten aus einem anderen Aufgabenbereich stammen oder wenn das Quell-LoRA schwächer ist als das Zielmodell.
• Ablationsstudie: Sowohl das Sample-Filtering als auch das Token-Selection sind essenziell; die Kombination beider Schritte liefert die besten Ergebnisse.

5. Bedeutung

TITOK bietet einen einfachen, aber leistungsstarken Ansatz für den effizienten Wissenstransfer zwischen LLMs. Es adressiert die Limitierungen bestehender Methoden, indem es:

1. Die Abhängigkeit von teuren Diskinatoren eliminiert.
2. Den Fokus von der gesamten Sequenz auf die informativsten Token verlagert, was den Lernprozess präzisiert.
3. Eine praktische Lösung für Szenarien bietet, in denen Originaldaten nicht verfügbar sind (Data-Free Transfer).

Das Paper demonstriert, dass durch die gezielte Nutzung von internen Modellunterschieden (Contrastive Excess) hochwertige Wissenstransfers möglich sind, ohne die Komplexität des Pipelines unnötig zu erhöhen. Dies ist besonders relevant für die schnelle Anpassung von LLMs in realen Umgebungen, wo Modelle häufig aktualisiert oder zwischen verschiedenen Architekturen migriert werden müssen.