Model-based Large Language Model Customization as Service

1. Problemstellung

Große Sprachmodelle (LLMs) wie Gemini oder ChatGPT sind in allgemeinen Aufgaben hervorragend, scheitern jedoch oft an domänenspezifischen Anwendungen (z. B. im Finanz- oder Gesundheitswesen), da ihnen der Zugriff auf relevante, private Daten fehlt.

Die aktuelle Praxis zur Anpassung (Customization) von LLMs erfordert, dass Kunden ihre sensiblen Rohdaten an den Anbieter (Server) hochladen, um das Modell zu feinabstimmen (Fine-Tuning). Dies birgt erhebliche Datenschutzrisiken.

Alternativen wie differenziell private (DP) Datengenerierung (Synthese von Daten unter DP-Rahmenbedingungen) sind zwar privatsphäreschonender, leiden jedoch unter einem fundamentalen Trade-off: Um die Privatsphäre zu garantieren, muss Rauschen hinzugefügt werden, was die Qualität der synthetischen Daten stark mindert. Dies führt zu einer geringen Effektivität des angepassten Modells („Disparate Impact"), da das LLM auf schlechten Daten trainiert wird.

2. Methodik: Llamdex Framework

Die Autoren stellen Llamdex (Large language model with domain expert) vor, ein neues Framework, das den Ansatz von „Daten-Upload" zu „Modell-Upload" ändert.

Kernkonzept:
Statt sensibler Daten lädt der Client einen vor-trainierten, domänenspezifischen Experten-Modell (z. B. ein XGBoost oder MLP, das auf den privaten Daten trainiert wurde) auf den Server hoch. Dieses Modell wird über lernbare Verbindungsmodule (Connecting Modules) in eine Zwischenschicht des gefrorenen Basis-LLMs eingefügt.

Architektur und Komponenten:

• Expertenmodell ($E_c$): Ein vom Client trainiertes Modell, das auf tabellarischen Daten basiert. Es kann optional mit DP-SGD trainiert werden, um die Parameter selbst zu schützen. Da nur die Parameter (und nicht die Daten) geteilt werden, ist der Datenschutz höher.
• Llamdex Encoder: Wandelt die Token-Embeddings des LLM (aus dem Eingabetext) in strukturierte Feature-Vektoren um, die das Expertenmodell verarbeiten kann.
  • Herausforderung: LLMs sind autoregressiv und geben keine direkten Feature-Vektoren aus.
  • Lösung: Nutzung eines vortrainierten Encoders-only Small Language Model (SLM, z. B. RoBERTa) und eines Token-Mapping-Moduls, um die Token-IDs des LLM in das Vokabular des SLM zu übersetzen und daraus Feature-Werte zu extrahieren.
• Llamdex Decoder: Wandelt die Ausgabe des Expertenmodells (eine Vorhersage) zurück in Embeddings um, die in den Embedding-Raum des LLM passen.
  • Herausforderung: Skalierungsunterschiede zwischen Experten-Ausgabe und LLM-Hidden-States.
  • Lösung: Einsatz einer Feed-Forward-Netzwerk-Schicht mit SwiGLU-Aktivierung und einer separaten Layer-Normalisierung, um die Skala anzupassen.
• Inferenz: Der Benutzer stellt eine Frage. Das Basis-LLM verarbeitet den Text bis zur Einfügeschicht. Der Encoder extrahiert die Features, das Expertenmodell berechnet die Antwort, der Decoder fügt diese als Embeddings in den LLM-Stream ein, und das LLM generiert die finale Textantwort.

Training ohne Datenzugriff:
Ein entscheidender Vorteil ist, dass der Server die Verbindungsmodule (Encoder/Decoder) ohne Zugriff auf die echten Client-Daten trainieren kann.

• Der Server generiert synthetische Daten basierend nur auf dem öffentlichen Schema (Spaltennamen, Typen, Bereiche).
• Diese synthetischen Daten werden genutzt, um die Mapping-Module zu trainieren.
• Experimente zeigen, dass diese Module auf reale Daten verallgemeinern, ohne die echte Datenverteilung zu kennen.

3. Hauptbeiträge

1. Neues Framework (Llamdex): Einführung eines Paradigmenwechsels von datenbasiertem zu modellbasiertem Customizing, das Datenschutz durch Modell-Upload statt Daten-Upload gewährleistet.
2. Algorithmus für Verbindungsmodule: Entwicklung eines Trainingsverfahrens für Encoder und Decoder, das ausschließlich öffentliches Schemawissen nutzt und keine privaten Daten (weder original noch gestört) benötigt.
3. Überlegene Leistung: Nachweis, dass Llamdex die Genauigkeit domänenspezifischer Aufgaben signifikant verbessert, während die Inferenzeffizienz erhalten bleibt.

4. Ergebnisse

Die Evaluation erfolgte auf vier realen Datensätzen (Titanic, Wine, Bank, Nursery) unter Verwendung von Mistral-7B als Basis-LLM.

• Genauigkeit (Effektivität):
  • Llamdex (mit MLP-Experten) übertrifft den State-of-the-Art bei privaten Datengenerierungsmethoden (wie PromptPATE, SeqPATE) um bis zu 26% unter gleichen Privatsphären-Budgets ($\epsilon$).
  • Im Vergleich zum Fine-Tuning mit echten Daten (LoRA) erreicht Llamdex bis zu 14% höhere Genauigkeit, obwohl es keinen direkten Zugriff auf die echten Daten hat. Dies liegt an der besseren Trennung von Kontextverständnis (LLM) und Aufgabenlösung (Expertenmodell).
• Effizienz:
  • Die Inferenzzeit von Llamdex ist vergleichbar mit dem Basis-LLM und deutlich schneller als API-basierte Ansätze (die oft externe Aufrufe erfordern), die im Experiment ca. 29-mal langsamer waren.
  • Der Speicherverbrauch ist ähnlich wie bei LoRA und deutlich geringer als bei API-Lösungen.
• Datenschutz:
  • Tests gegen Membership Inference Attacks (MIA) mit dem MICO-Adversary zeigen, dass DP-geschützte Expertenmodelle die Angriffsrate drastisch senken (z. B. TPR bei 10% FPR von 0,130 auf 0,059 bei $\epsilon=1,0$), bei gleichzeitig hoher Hauptaufgabe-Genauigkeit.

5. Bedeutung und Fazit

Llamdex löst das Dilemma zwischen Datenschutz und Modellleistung bei der Anpassung von LLMs.

• Für Unternehmen: Ermöglicht die Nutzung von LLMs in sensiblen Bereichen (Banken, Gesundheit), ohne sensible Daten aus der lokalen Infrastruktur zu entfernen.
• Technischer Fortschritt: Zeigt, dass die Integration spezialisierter Modelle in LLMs über learnbare Adapter effizienter und genauer ist als das reine Fine-Tuning auf synthetischen Daten.
• Zukunft: Das Framework ist modular und könnte zukünftig auf multimodale Daten oder komplexe Multi-Task-Szenarien erweitert werden.

Zusammenfassend bietet Llamdex eine robuste, datenschutzkonforme und hocheffiziente Lösung für die Customization von LLMs als Service, die den aktuellen Stand der Technik in Bezug auf das Privacy-Utility-Trade-off deutlich verbessert.