🤖 machine learning

Gradient Transformer: Learning to Generate Updates for LLMs

Dieser Beitrag stellt Gradient Transformer vor, ein datenfreies Framework für Wissensdistillation, das Organisationen mit begrenzten Rechenressourcen ermöglicht, effektive Aktualisierungsvektoren für große Sprachmodelle zu generieren, indem Aktualisierungsvektoren von kleinen Sprachmodellen transformiert werden, die auf privaten Daten feinabgestimmt wurden, und dadurch eine sichere, organisationsübergreifende Zusammenarbeit ohne Offenlegung sensibler Informationen ermöglicht.

Ursprüngliche Autoren: Binh-Nguyen Nguyen, Khang Tran, NhatHai Phan, Issa Khalil

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Binh-Nguyen Nguyen, Khang Tran, NhatHai Phan, Issa Khalil

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind Inhaber eines kleinen Unternehmens und möchten einen superintelligenten KI-Assistenten (ein „Large Language Model" oder LLM) nutzen, um bei Ihren spezifischen, privaten Kundendaten zu helfen. Doch es gibt einen Haken: Sie können sich die enorme Rechenleistung nicht leisten, die nötig wäre, um diesem riesigen KI-System Ihre Geheimnisse beizubringen, und Sie können Ihre privaten Daten aufgrund von Datenschutzgesetzen nicht in die Cloud eines Fremden senden.

Andererseits können Sie es sich leisten, eine winzige, leichtgewichtige KI (ein „TinyLM") auf Ihrem eigenen Computer zu trainieren. Doch diese winzige KI ist nicht intelligent genug, um die schwere Arbeit allein zu erledigen.

Das Problem: Sie haben eine winzige, intelligente, aber kleine KI, die Ihre Geheimnisse kennt, und eine riesige, leistungsfähige KI, die das nicht tut. Sie müssen der riesigen KI beibringen, was die kleine gelernt hat, ohne der riesigen KI jemals Ihre privaten Daten zu zeigen.

Die Lösung: Der „Gradient Transformer"
Die Autoren dieses Papiers haben einen cleveren Mittelsmann erfunden, der Gradient Transformer heißt. Denken Sie an ihn als universellen Übersetzer für „Lern-Updates".

So funktioniert es, anhand einer einfachen Analogie:

1. Die „Lernnotizen" (Update-Vektoren)

Wenn Sie Ihre winzige KI auf Ihren privaten Daten trainieren, „lernt" sie nicht nur auf vage Weise; sie nimmt spezifische, winzige Anpassungen an ihrer internen Gehirnverdrahtung vor. Das Papier nennt diese Anpassungen „Update-Vektoren".

Analogie: Stellen Sie sich vor, Ihre winzige KI ist ein Schüler, der sich Notizen zu einem Lehrbuch macht. Der „Update-Vektor" ist die spezifische Liste von Korrekturen, die der Schüler in die Ränder schreibt, um die richtigen Antworten zu erhalten. Es ist nicht das Lehrbuch selbst (Ihre privaten Daten); es sind nur die Änderungen, die der Schüler an seinem Gehirn vorgenommen hat.

2. Der Übersetzer (Der Gradient Transformer)

Die Autoren haben einen speziellen KI-Übersetzer (den Gradient Transformer) entwickelt. Dieser Übersetzer wurde auf öffentlichen Daten (wie Open-Source-Lehrbüchern) trainiert, um die Beziehung zwischen „Schülernotizen" und „Professornotizen" zu verstehen.

Wie er lernt: Die Forscher nahmen öffentliche Daten, trainierten eine winzige KI und eine riesige KI darauf und beobachteten, wie sich ihre „Notizen" (Update-Vektoren) unterschieden. Sie lehrten den Übersetzer: „Wenn eine winzige KI diese spezifische Änderung vornimmt, muss die riesige KI diese spezifische entsprechende Änderung vornehmen."
Die Magie: Der Übersetzer lernt das Muster des Lernens, nicht den Inhalt der Daten.

3. Die Übertragung (Keine privaten Daten werden offengelegt)

Nun zurück zu Ihrem Unternehmen:

Sie trainieren Ihre winzige KI lokal auf Ihren privaten Daten.
Sie extrahieren die „Notizen" (die Update-Vektoren) aus Ihrer winzigen KI.
Sie senden nur die Notizen an den Dienstleister. Sie senden Ihre privaten Daten nicht.
Der Dienstleister speist Ihre „Notizen" in den Gradient Transformer ein.
Der Übersetzer generiert sofort einen neuen Satz „Notizen" für die riesige KI. Diese Notizen sagen der riesigen KI genau, wie sie ihr Gehirn anpassen muss, um dem zu entsprechen, was Ihre winzige KI gelernt hat, jedoch hochskaliert auf die Größe des Riesen.
Die riesige KI aktualisiert sich selbst mit diesen neuen Notizen.

Warum ist das eine große Sache?

Datenschutz an erster Stelle: Die riesige KI sieht Ihre privaten Daten niemals. Sie sieht nur die mathematische „Form" des Lernens, nicht den tatsächlichen Inhalt.
Kosteneffizient: Sie benötigen keinen Supercomputer, um die riesige KI zu trainieren. Sie benötigen nur einen kleinen Computer, um die winzige zu trainieren.
Teamarbeit: Wenn zehn verschiedene Unternehmen jeweils ihre eigene winzige KI haben, die auf ihren eigenen privaten Daten trainiert wurde, können alle ihre „Notizen" an den Übersetzer senden. Der Übersetzer kann sie kombinieren, um eine superriesige KI zu schaffen, die das kollektive Wissen aller zehn Unternehmen kennt, ohne dass ein Unternehmen jemals seine Geheimnisse mit den anderen teilt.

Die Ergebnisse

Das Papier testete dies an Aufgaben wie Matheaufgaben, gesundem Menschenverstand beim Schlussfolgern und dem Zusammenfassen von Gesprächen.

Die winzige KI allein war okay, aber nicht großartig.
Die direkt trainierte riesige KI (wenn Sie es sich leisten könnten) war die beste.
Der Gradient Transformer nahm die „Notizen" der winzigen KI und verwandelte sie in eine riesige KI, die fast so gut performte, als wäre sie direkt auf den privaten Daten trainiert worden, aber ohne die Daten jemals gesehen zu haben.

Tatsächlich war der Übersetzer selbst dann noch in der Lage, hochwertige Updates für die riesige KI zu generieren, wenn die winzige KI mit strengen Datenschutzmaßnahmen trainiert wurde (Hinzufügen von Rauschen, um die Daten zu verschleiern), was beweist, dass er robust und sicher ist.

Kurz gesagt: Der Gradient Transformer ist eine magische Brücke, die es einer kleinen, privaten KI ermöglicht, einer riesigen, öffentlichen KI beizubringen, wie sie klug sein kann, ohne jemals die Geheimnisse preiszugeben, die sie gelernt hat.

Technischer Überblick: Gradient Transformer: Lernen zur Generierung von Updates für LLMs

1. Problemformulierung

Large Language Models (LLMs) bieten überlegene Leistung, sind für Organisationen mit begrenzten Rechenressourcen jedoch häufig prohibitiv teuer zu feinabstimmen. Umgekehrt ist das Feinabstimmen kleinerer „TinyLMs" auf privaten Daten kosteneffektiv, führt jedoch zu suboptimaler Leistung. Bestehende Lösungen stehen vor einem Zielkonflikt: Organisationen akzeptieren entweder die schlechte Leistung von TinyLMs oder riskieren die Privatsphäre, indem sie private Daten an Drittanbieter senden, um LLMs zu feinabstimmen.

Aktuelle Ansätze des Knowledge Distillation haben Schwierigkeiten, dies zu lösen:

Schwach-zu-Stark-Distillation: Erfordert typischerweise den Datenaustausch zwischen dem schwachen (TinyLM) und dem starken (LLM) Modell, was Datenschutzbeschränkungen verletzt.
Datenfreie Distillation: Verlässt sich oft auf die Generierung synthetischer Daten, um private Datensätze nachzuahmen. Dieser Ansatz ist rechenintensiv, erfordert das Neutrainieren von Generatoren für neue Aufgaben und birgt erhebliche Datenschutzrisiken, da synthetische Daten versehentlich sensible Informationen preisgeben können.

Die Kernherausforderung besteht darin, einen Mechanismus zu entwickeln, der es Organisationen ermöglicht, ihre privaten Daten zur Verbesserung der LLM-Leistung zu nutzen, ohne die Daten selbst zu teilen, und gleichzeitig die strukturelle und kapazitive Diskrepanz zwischen TinyLMs und LLMs zu überwinden.

2. Methodik: GRAD-TRANSFORMER

Die Autoren schlagen GRAD-TRANSFORMER vor, ein datenfreies, schwach-zu-starkes Knowledge-Distillation-Framework. Anstatt Logits zu übertragen oder synthetische Daten zu generieren, lernt das Framework, die Update-Vektoren (Parameteränderungen) eines feinabgestimmten TinyLM direkt auf die Update-Vektoren eines Ziel-LLM abzubilden.

Kernarchitektur

Das Framework nutzt ein Transformer-basiertes Encoder-Decoder-Modell (speziell Flan-T5-Large), um die Transformation durchzuführen.

Blockweise Segmentierung: Um die hohe Dimensionalität der LLM-Parameter zu bewältigen, werden die Update-Vektoren in blockweise Einheiten segmentiert, die den Aufmerksamkeitsblöcken (Query, Key, Value und lineare Projektionen) entsprechen.
Sequenzmodellierung: Die blockweisen Update-Vektoren des TinyLM werden als Eingabesequenz behandelt. Das Modell projiziert diese in versteckte Zustände und generiert autoregressiv die entsprechenden blockweisen Update-Vektoren für den Ziel-LLM.
Trainingsprozess:
- Kuration des Schatten-Datensatzes: Ein Dienstleister verwendet einen öffentlichen Datensatz ( $D_p$ ), der dem privaten Bereich des Kunden ähnlich ist. Er feinabstimmt sowohl einen Schatten-TinyLM als auch einen Schatten-LLM auf Teilmengen von $D_p$ .
- Tuple-Generierung: Der Prozess erzeugt Tupel von Update-Vektoren: $(\Delta\tilde{\theta}_S, \Delta\tilde{\theta}_T)$ , die die Korrelation erfassen, wie TinyLM und LLM ihre Parameter auf denselben Daten aktualisieren.
- Optimierung: Der GRAD-TRANSFORMER wird trainiert, um den mittleren quadratischen Fehler (MSE) zwischen den vorhergesagten LLM-Update-Vektoren und den wahren Schatten-LLM-Update-Vektoren zu minimieren.

Inferenz-Pipeline

Kundenseite: Eine Organisation feinabstimmt einen TinyLM auf ihren privaten Daten unter Verwendung einer Lernmethode (z. B. LoRA oder DP-SGD) und berechnet den Update-Vektor $\Delta\theta_S$ .
Übertragung: Der Kunde sendet nur $\Delta\theta_S$ an den Dienstleister. Es werden keine privaten Daten geteilt.
Generierung: Der Anbieter speist $\Delta\theta_S$ in den trainierten GRAD-TRANSFORMER ein, um den Ziel-LLM-Update-Vektor $\Delta\theta_T$ zu generieren.
Bereitstellung: Der Anbieter aktualisiert die initialen LLM-Parameter ( $\theta^0_T + \Delta\theta_T$ ) und gibt das verbesserte Modell an den Kunden zurück.

Das Framework unterstützt die Zusammenarbeit mehrerer Organisationen, indem es Update-Vektoren mehrerer Kunden aggregiert, bevor das finale LLM-Update generiert wird.

3. Theoretische Analyse

Die Arbeit liefert informationstheoretische Schranken für die Generalisierung und den Nutzen des Frameworks:

Generalisierung: Der Generalisierungsfehler ist durch die gegenseitige Information zwischen den Modellparametern und dem Schatten-Datensatz begrenzt. Ein größerer Schatten-Datensatz reduziert diese Abhängigkeit und verbessert die Generalisierung.
Nutzen: Die Nutzen-Schranke (Leistung auf dem privaten Datensatz) hängt von der gegenseitigen Information zwischen den Verteilungen des Schatten- und des privaten Datensatzes (gemessen durch die KL-Divergenz) sowie von der Größe des privaten Datensatzes ab.
Lernmechanismus: Die Schranken legen nahe, dass die Wahl des Lernmechanismus auf Kundenseite (z. B. Regularisierungstechniken) die gegenseitige Information beeinflusst und somit den endgültigen Nutzen bestimmt.

4. Experimentelle Ergebnisse

Experimente wurden über sechs Benchmark-Datensätze hinweg durchgeführt, die mathematisches Schlussfolgern (AQuA-RAT, GSM8K), commonsense-Schlussfolgern (CommonsenseQA), diskretes Schlussfolgern (DROP) und Dialogzusammenfassung (SAMSum, DialogSum) abdecken.

Leistung: GRAD-TRANSFORMER übertraf konsistent state-of-the-art Baselines für schwach-zu-starke Distillation (W2S, Conf, VisSup).
- Es erreichte eine durchschnittliche Performance Gap Recovered (PGR) von 91,88 %, verglichen mit 58,94 % für die beste Baseline, was einer Verbesserung von 55,89 % entspricht.
- In Multi-Client-Szenarien lag die durchschnittliche PGR bei 85,01 %, was die 69,97 % der besten Baseline deutlich übertrifft.
Datenschutz: Das Framework blieb unter strengen Differential-Privacy (DP)-Beschränkungen robust. Selbst wenn Kunden DP-SGD mit einem engen Datenschutzbudget ( $\epsilon = 0,1$ ) verwendeten, behielt GRAD-TRANSFORMER eine hohe Leistung bei (z. B. 62,35 % Genauigkeit auf DROP), während die Leistung des TinyLM signifikant abfiel.
Skalierbarkeit: Die Methode erwies sich über verschiedene Modellgrößen hinweg als effektiv und generierte erfolgreich Updates für einen 14B-LLM basierend auf einem 0,5B-TinyLM (eine 28-fache Skalierung).
Effizienz: Das Feinabstimmen eines 3B-TinyLM und das Generieren des LLM-Updates war deutlich schneller (bis zu 83 % Zeitersparnis) als das direkte Feinabstimmen eines 14B-LLM.

5. Bedeutung und Beiträge

Die Arbeit beansprucht folgende Beiträge:

Erste datenfreie schwach-zu-starke Distillation: Sie stellt die erste Methode vor, die direkt LLM-Update-Vektoren aus TinyLM-Update-Vektoren generiert und eine datenschutzkonforme Feinabstimmung ermöglicht, ohne auf private Daten zugreifen zu müssen.
Neuartige Architektur: Der Vorschlag von GRAD-TRANSFORMER, einem Transformer-basierten Encoder-Decoder, der die Abbildung zwischen den Räumen der Update-Vektoren unterschiedlicher Modellgrößen lernt.
Praktische Validierung: Umfassende theoretische Analyse und empirische Ergebnisse zeigen, dass die Methode bestehende Baselines übertrifft, selbst unter strengen Differential-Privacy-Bedingungen, und einen gangbaren Weg für Organisationen bietet, bei LLM-Updates zusammenzuarbeiten, ohne die Datensicherheit zu gefährden.

Die Autoren betonen, dass dieses Framework den Engpass bei den Rechenkosten und dem Datenschutz adressiert und es Organisationen ermöglicht, nahezu maximale LLM-Leistung zu erreichen, indem sie ausschließlich lokale TinyLM-Updates nutzen.