🤖 machine learning

The Appeal and Reality of Recycling LoRAs with Adaptive Merging

Diese Arbeit untersucht die Machbarkeit des adaptiven Zusammenführens von nutzerbeitragenen LoRAs aus dem Hugging Face Hub und zeigt auf, dass diese Methoden zwar das Basismodell übertreffen, ihr Nutzen jedoch weitgehend auf einen Regularisierungseffekt statt auf einen aufgabenübergreifenden Transfer zurückzuführen ist, da sie gegenüber dem Training eines neuen LoRAs nur einen begrenzten Vorteil bieten und selbst mit zufällig initialisierten Parametern ähnlich abschneiden.

Ursprüngliche Autoren: Haokun Liu, Gyung Hyun Je, Marco Ciccone, Zhenlin Xu, Prasanth YSS, Colin Raffel

Veröffentlicht 2026-07-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Haokun Liu, Gyung Hyun Je, Marco Ciccone, Zhenlin Xu, Prasanth YSS, Colin Raffel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hättest ein riesiges, superintelligentes Robotergehirn (nennen wir es das „Basismodell“), das ein bisschen über alles weiß, aber in nichts ein Meister ist. Nun stell dir vor, tausende Menschen hätten winzige, spezialisierte „Skill-Chips“ namens LoRAs für diesen Roboter gebaut. Ein Chip macht ihn großartig in Mathe, ein anderer perfekt im Schreiben von Poesie, ein weiterer im Verständnis von medizinischem Fachjargon. Diese Chips schweben im Internet herum, frei für jeden zugänglich.

Die große Frage, die Forscher stellten, war: Wenn wir eine zufällige Handvoll dieser Chips aus dem Internet nehmen und sie zusammenkleben, erhalten wir dann einen Super-Roboter, der besser ist, als wenn man dem Basis-Roboter einfach eine neue Fähigkeit von Grund auf neu beibringt?

Dies ist die Geschichte des „Recyclings“ von LoRAs. Die Forscher sammelten fast 1.000 dieser benutzerdefinierten Chips aus dem Hugging Face Hub (einer riesigen Bibliothek für KI-Modelle) und versuchten, sie mit ausgefeilten „adaptiven Merging-Techniken“ zu verschmelzen. Sie wollten sehen, ob sie diese vorgefertigten Fähigkeiten mischen und kombinieren können, um neue Probleme zu lösen, ohne einen neuen Chip von Grund auf neu trainieren zu müssen.

Die große Überraschung: Der „magische Kleber“ könnte ein Trick sein

Hier ist die Wendung: Das ausgefeilte Verschmelzen funktionierte eigentlich nicht so gut, wie alle gehofft hatten.

Als die Forscher versuchten, diese recycelten Chips zu verschmelzen, um eine neue Aufgabe zu lösen, fanden sie heraus, dass die „Magie“ des Mischens größtenteils eine Illusion war.

Der Realitätscheck: Wenn man einen kleinen Datensatz (etwa 100 Beispiele) hat, um dem Roboter eine neue Aufgabe beizubringen, ist es fast immer besser, einfach einen brandneuen LoRA gezielt mit diesen Daten zu trainieren.
Der „Zufalls“-Schock: Noch seltsamer war: Selbst wenn sie den neuen, frisch trainierten LoRA in die Mischung aufnahmen, spielte es keine Rolle, welche anderen Chips sie hinzufügten! Sie konnten 30 Chips aus dem Internet nehmen, oder sie konnten 30 Chips nehmen, die nur aus zufälligen Zahlen bestanden (wie das Rauschen eines Fernsehers), und das Ergebnis war fast dasselbe.

Das Paper legt nahe, dass die Verbesserung nicht durch das „Wissen“ innerhalb der recycelten Chips zustande kam. Stattdessen scheint es, dass der Akt des Verschmelzens wie ein Sicherheitsnetz oder ein Regularisierer wirkt. Es ist wie der Versuch, einen Stapel Teller zu balancieren; das Hinzufügen weiterer zufälliger Teller hilft dem Stapel vielleicht tatsächlich dabei, stabil zu bleiben – nicht weil die Teller nützlich sind, sondern weil der Prozess des Balancierens das System dazu zwingt, vorsichtiger zu sein.

Warum sagten frühere Studien, dass es funktioniert?

Du fragst dich vielleicht: „Aber haben nicht andere Paper gesagt, dass das Verschmelzen von LoRAs fantastisch ist?“

Die Autoren vermuten, dass diese früheren Studien etwas zu perfekt waren. Sie verwendeten oft „In-house“-Chips – Chips, die sie selbst in einer kontrollierten Laborumgebung erstellt hatten, in der sie genau wussten, welche Chips zueinander passen. Es ist, als würde man ein Rezept testen, indem man nur Zutaten verwendet, die man im selben Laden gekauft hat und von denen man genau weiß, dass sie gut zusammenpassen.

In der realen Welt („in the wild“) sind die Chips chaotisch. Sie wurden von verschiedenen Menschen mit unterschiedlichen Daten und für unterschiedliche Ziele erstellt. Die Forscher fanden heraus, dass positiver Transfer (bei dem eine Fähigkeit einer anderen hilft) nur dann stattfindt, wenn die Chips hochgradig relevant für die Aufgabe sind. Wenn man einen „Mathe-Chip“ mit einem „Poesie-Chip“ mischt, um eine „Geschichtsprüfung“ zu lösen, hilft das nicht. Tatsächlich zeigt das Paper, dass die Leistung massiv einbricht, wenn man die relevantesten Chips aus einem Pool entfernt – sie wird schließlich nicht besser als die Verwendung von reinem Zufallsrauschen.

Das Urteil

Was ist also die Lehre für einen neugierigen Teenager?

Erwarte kein Gratis-Mittagessen: Du kannst nicht einfach eine Handvoll zufälliger KI-Fähigkeiten aus dem Internet schnappen, sie mischen und ein Wunder erwarten.
Training ist immer noch der König: Wenn du eine spezifische Aufgabe zu erledigen hast, ist es meistens der beste und zuverlässigste Weg, einen frischen, kleinen Adapter (LoRA) mit deinen eigenen Daten zu trainieren.
„Recycling“ ist knifflig: Obwohl das Verschmelzen manchmal das Basismodell schlagen kann, gewinnt es selten gegen eine einfache, frische Trainingssession. Und wenn du dich doch entscheidest zu verschmelzen, ist die spezifische Wahl der Chips weniger wichtig, als man denkt – besonders wenn du bereits den richtigen Chip für die Aufgabe in der Mischung hast.

Die Autoren kommen zu dem Schluss, dass die Idee, KI-Modelle zu recyceln, zwar spannend ist, die Realität aber etwas komplizierter ist. Der „positive Transfer“, auf den wir hoffen, ist real, aber er ist selten und zerbrechlich in der chaotischen, unkuratierten Welt öffentlicher KI-Modelle. Dies deutet darauf hin, dass wir entweder bessere Wege brauchen, um die richtigen „Juwelen“ im digitalen Müll zu finden, oder dass wir vielleicht grundlegend neu überdenken müssen, wie wir diese Modelle überhaupt bauen.

Technisches Resümee: Der Reiz und die Realität des Recyclings von LoRAs mit adaptivem Merging

Problemstellung

Die weite Verbreitung von fein abgestimmten Low-Rank Adaptation (LoRA)-Modulen für offene vortrainierte Modelle hat das Interesse am „Recycling“ dieser Module zur Leistungssteigerung bei neuen, ungesehenen Aufgaben geweckt. Die bestehende Forschung zu Model Merging und adaptivem Merging evaluiert Methoden typischerweise auf kuratierten, maßgeschneiderten Sätzen von LoRAs, die unter kontrollierten Bedingungen für spezifische Zielaufgaben trainiert wurden. Bisherige Arbeiten haben jedoch nicht systematisch untersucht, wie praktikabel das Recycling von LoRAs ist, die man „in der Wildnis“ auf öffentlichen Repositories wie dem Hugging Face Hub findet. Diese realen Pools sind durch extreme Heterogenität in Trainingsdaten, Hyperparametern und architektonischen Entscheidungen gekennzeichnet und verfügen oft nicht über die notwendigen Metadaten für eine informierte Auswahl. Diese Arbeit adresset die Lücke zwischen dem theoretischen Versprechen von adaptivem Merging und seinem praktischen Nutzen in realistischen, datenbeschränkten Szenarien unter Verwendung eines groß angelegten Pools von Nutzer-beitragenen LoRAs.

Methodik

Die Autoren führten eine groß angelegte empirische Studie unter Verwendung eines Pools von 958 Nutzer-beitragenen LoRAs durch, die auf dem Llama 3.1 8B-Instruct Modell trainiert wurden. Das Evaluations-Framework beinhaltete 62 diverse Downstream-Aufgaben mit einer strikten Datenbeschränkung von nur 100 Samples pro Aufgabe (80 für Training/Validierung, 20 für Validierung), um die Merging-Koeffizienten abzustimmen.

Framework und Designraum

Die Studie schlägt ein einheitliches Framework vor, um adaptive Merging-Methoden systematisch zu untersuchen, wobei vier zentrale Design-Dimensionen variiert werden:

Selektion: Strategien zur Auswahl einer Teilmenge von $k$ LoRAs aus dem Pool (z. B. Random, Evaluationsbasiert, Cosine Similarity, Quasi-FIM).
Granularität: Die Ebene, auf der die Merging-Koeffizienten gelernt werden (Modell, Layer, Sublayer oder Modul).
Koeffizienten-Aktivierung: Transformationen, die auf die Rohkoeffizienten angewendet werden (Linear, Softmax, Leaky ReLU).
Tuning: Optimierungsmethoden (Gradientenbasiert, Gradientenfrei oder gemeinsame Optimierung von Koeffizienten und LoRA-Parametern).

Die Autoren identifizierten eine spezifische Konfiguration („Ours“), die in vorläufigen Suchen am besten abschnitt: Evaluationsbasierte Selektion (Top- $k$ basierend auf der Validierungsgenauigkeit der Zielaufgabe), Modul-Level Granularität, Leaky ReLU Aktivierung und Gradientenbasiertes Tuning.

Baselines und Vergleiche

Die Studie verglich:

Nicht-adaptive Methoden: Einfaches Averaging, TIES Merging und Task Singular Vectors (TSV) Merging.
Adaptive Methoden: LoraHub, $\pi$ -Tuning, AdaMerging und die von den Autoren vorgeschlagene Methode („Ours“).
Kritische Baselines:
- Zero-shot Prompting: Das Basismodell ohne jegliche Adaptation.
- Target-Task LoRA: Ein LoRA, das direkt auf den 100 verfügbaren Samples der Zielaufgabe trainiert wurde. Dies ist eine entscheidende Baseline, die in der bisherigen Literatur oft übersehen wird, da adaptive Merging-Methoden ebenfalls diesen kleinen Datensatz nutzen, um die Koeffizienten abzustimmen.
- Random Initialisierte LoRAs: Ein Pool von LoRAs mit aus einer Normalverteilung neu initialisierten Parametern, um zu testen, ob das spezifische Wissen in recycelten LoRAs notwendig ist.

Kernergebnisse

1. Adaptives Merging vs. Basismodell

Adaptive Merging-Methoden unter Verwendung von recycelten LoRAs schneiden über die 62 Downstream-Aufgaben hinweg konsistent besser ab als Zero-shot Prompting des Basismodells. Nicht-adaptive Methoden schneiden im Allgemeinen schlechter ab als adaptive Methoden, und die Auswahl einer Teilmenge von LoRAs (z. B. 30) erzielt signifikant bessere Ergebnisse als das Averaging aller verfügbaren LoRAs.

2. Adaptives Merging vs. Target-Task LoRA

Im Vergleich zu einem LoRA, das direkt auf den Daten der Zielaufgabe trainiert wurde, bieten adaptive Merging-Methoden begrenzte und inkonsistente Vorteile.

Die meisten nicht-adaptiven Methoden schaffen es nicht, das einfache Target-Task LoRA zu übertreffen.
Adaptive Methoden (wie AdaMerging und „Ors“) erreichen eine Leistung, die mit dem Target-Task LoRA vergleichbar ist, übertreffen dieses jedoch selten signifikant.
Die Aufnahme des Target-Task LoRA in den Merging-Pool ist fast immer notwendig, damit adaptive Methoden ihre beste Leistung erzielen.

3. Die Rolle der Selektion und des „Positiven Transfers“

Eine bemerkenswerte Erkenntnis ist, dass, sobald das Target-Task LoRA in den Merging-Pool aufgenommen wurde, die Wahl der anderen recycelten LoRAs weitgehend irrelevant wird.

Random vs. Evaluierte Selektion: Die Leistungsdifferenz zwischen der sorgfältigen Auswahl von LoRAs basierend auf Evaluationswerten und der zufälligen Auswahl von LoRAs verschwindet, wenn das Target-Task LoRA vorhanden ist.
Random Initialisierung: Das Ersetzen der recycelten LoRAs durch zufällig initialisierte Parameter liefert eine ähnliche Leistung wie die Verwendung tatsächlicher recycelter LoRAs, sofern das Target-Task LoRA im Pool enthalten ist.
Koeffizientenverteilung: Eine Analyse der gelernten Merging-Koeffizienten zeigt, dass der Optimierungsprozess dem Target-Task LoRA, wenn es im Pool enthalten ist, ein signifikant höheres Gewicht zuweist als jedem recycelten LoRA, wodurch die anderen effektiv überschattet werden.

4. Kontrollierte vs. Realistische Settings

Die Autoren replizierten Experimente mit „In-house“-LoRAs (die auf Aufgaben trainiert wurden, die hochgradig relevant für die Zielaufgabe sind), um die kontrollierten Settings vorangegangener Arbeiten zu simulieren. In diesem Szenario wurde ein positiver Transfer beobachtet, und Merging übertraf die Target-Task LoRA Baseline. Dieser Vorteil nahm jedoch schnell ab, sobald die Relevanz der Quell-LoRAs abnahm, was darauf hindeutet, dass der beobachtete „positive Transfer“ in der bisherigen Literatur auf einen engen Bereich der Aufgabenähnlichkeit angewiesen ist, der in „In-the-wild“-Pools selten vorkommt.

Bedeutung und Behauptungen

Das Paper kommt zu dem Schluss, dass adaptive Merging zwar eine valide Technik zur Verbesserung gegenüber Zero-shot Baselines ist, ihr praktischer Nutzen für das Recycling von „In-the-wild“-LoRAs jedoch begrenzt ist.

Regularisierung vs. Transfer: Die Autoren legen nahe, dass die marginalen Gewinne des adaptiven Mergings gegenüber einem einfachen Target-Task LoRA wahrscheinlich auf einen Regularisierungseffekt (durch den überparametrisierten Koeffizientenraum oder implizites Ensembling) zurückzuführen sind und weniger auf einem echten „positiven Transfer“ von Wissen aus den recycelten LoRAs.
Methodische Kritik: Die Studie hebt eine Diskrepanz zwischen kontrollierten Benchmarks (wo Quellaufgaben kuratiert wurden, um relevant zu sein) und realistischen Settings (wo Quellaufgaben heterogen und oft irrelevant sind) hervor. Sie argumentt, dass frühere Erfolgsbehauptungen problematisch sein können, wenn sie auf reale Modell-Repositories angewendet werden.
Praktische Implikationen: Forscher, die adaptives Merging in Betracht ziehen, sollten zuerst verifizieren, ob es eine einfache Target-Task LoRA Baseline übertrifft. Das Paper plädiert für „In-the-wild“-Evaluationssettings und fordelt eine bessere Infrastruktur (standardisierte Metadaten, Lizenzierung und Provenienz) rund um öffentliche LoRA-Repositories, um das Recycling praktikabler zu machen.

Die Autoren stellen ihre Modell-Checkpoints und ihren Code zur Verfügung, um eine rigorose, realistische Evaluierung zukünftiger Recycling-Methoden zu ermöglichen.