Federated Inference for Heterogeneous LLM Communication and Collaboration

Diese Positionspaper stellt \texttt{FedRefine} vor, ein neuartiges Framework für die federierte Inferenz, das eine kollaborative, datenschutzkonforme Verarbeitung durch heterogene Large Language Models mittels des Austauschs von KV-Caches ermöglicht, um die Leistung und Effizienz von On-Geräte-Modellen zu steigern.

Das Wesentliche

Titel: Wie kleine KI-Modelle gemeinsam Großes leisten – Eine Reise durch „FedRefine"

Stellen Sie sich vor, Sie haben einen kleinen, schlauen Roboter auf Ihrem Handy. Er ist gut, aber nicht perfekt. Wenn er eine schwierige Frage bekommt, stolpert er manchmal oder antwortet zu langsam. Normalerweise würde man sagen: „Schick die Frage an den riesigen Supercomputer in der Wolke!" Aber das ist wie ein langer, teurer Anruf, der viel Zeit und Daten kostet. Und manchmal wollen wir unsere privaten Fragen gar nicht an jemanden senden.

Was wäre, wenn Ihr kleiner Roboter nicht allein arbeiten müsste? Was wäre, wenn er sich mit anderen kleinen Robotern in der Nachbarschaft zusammentun könnte, um gemeinsam eine brillante Antwort zu finden, ohne dass jemand Ihre Geheimnisse erfährt?

Genau das ist die Idee hinter dem Papier „FedRefine". Hier ist die Erklärung, wie das funktioniert, mit ein paar einfachen Vergleichen:

1. Das Problem: Der „Neustart"-Effekt

Wenn zwei Roboter miteinander reden, tun sie das normalerweise wie Menschen: Sie schicken sich Wörter (Text) hin und her.

• Das Problem: Stellen Sie sich vor, Roboter A sagt: „Ich habe gerade über das Wetter gesprochen." Roboter B muss jetzt erst seinen ganzen Gedächtnisblock (seinen Kontext) neu aufbauen, um zu verstehen, was gemeint ist. Das dauert lange. In der KI-Welt nennt man das den „Prefill"-Verzug. Es ist, als würde man bei jedem Gespräch einen neuen Satz anfangen, anstatt einfach weiterzureden.

2. Die Lösung: Der „Gedächtnis-Austausch" (KV-Cache)

Statt sich die Wörter (Text) zu schicken, schicken sich die Roboter in FedRefine ihre Gedächtniszettel (technisch: KV-Cache).

• Die Analogie: Statt zu sagen: „Ich habe gestern einen blauen Ball gesehen", gibt Roboter A Roboter B einfach den Gedächtniszettel, auf dem steht: „Blauer Ball, gestern, im Park".
• Der Vorteil: Roboter B muss nicht erst raten oder neu nachdenken. Er nimmt den Zettel, klebt ihn an sein eigenes Gedächtnis und kann sofort weitermachen. Das ist viel schneller als das lange Erklären in Worten.

3. Die Magie: Der „Übersetzer" (Der Fuser)

Aber warten Sie! Roboter A und Roboter B sind unterschiedlich gebaut. Roboter A schreibt seine Gedächtniszettel in einer Sprache, die Roboter B nicht versteht.

• Die Lösung: Hier kommt der Übersetzer (im Papier „Fuser" genannt) ins Spiel. Er ist wie ein Dolmetscher, der die Gedächtniszettel von Roboter A so umschreibt, dass Roboter B sie sofort verstehen kann.
• Das Ergebnis: Sie können zusammenarbeiten, auch wenn sie völlig unterschiedliche Modelle sind (heterogen).

4. Der Schutz: Die „Versteckte Nachricht" (Privatsphäre)

Was ist, wenn die Frage sehr privat ist? „Wie repariere ich mein geheimes Versteck?"

• FedRefine nutzt einen Trick: Bevor die Roboter sich austauschen, wird die Frage von einem Roboter in eine harmlose, aber bedeutungsgleiche Geschichte umgeschrieben (z. B. „Wie repariere ich ein geheimes Spielzeug?").
• Die Roboter tauschen nur diese umgeschriebenen Informationen aus. Niemand sieht die eigentliche, private Frage. Es ist, als würde man eine Nachricht in einer Geheimsprache schreiben, die nur der Empfänger entziffern kann, aber der Inhalt bleibt für Außenstehende unlesbar.

5. Das große Bild: Ein Teamwork-Netzwerk

Stellen Sie sich ein Netzwerk aus vielen kleinen Robotern vor.

• Einseitig: Roboter A hilft Roboter B.
• Zweiseitig (Bidirektional): Roboter A hilft Roboter B, und gleichzeitig hilft Roboter B Roboter A. Sie tauschen ihre Gedächtniszettel hin und her und werden dadurch beide schlauer.
• Das Ergebnis: Das Papier zeigt, dass dieses Teamwork die Antworten viel genauer macht als wenn jeder Roboter allein arbeitet. Und das Beste: Es ist viel schneller als das Senden ganzer Texte, auch wenn die „Gedächtniszettel" etwas mehr Platz brauchen.

Zusammenfassung in einem Satz

FedRefine ist wie ein geheimes Teammeeting von kleinen KI-Robotern, bei dem sie sich nicht ihre ganzen Geschichten erzählen (was langsam ist), sondern sich einfach ihre Notizzettel austauschen, damit sie gemeinsam schneller und schlauer antworten können – und dabei ihre Geheimnisse sicher behalten.

Es ist ein neuer Weg, wie KI in der Zukunft auf unseren Geräten funktionieren könnte: Nicht allein, sondern als ein starkes, schützendes Team.

Technische Zusammenfassung

Titel: Federated Inference für heterogene LLM-Kommunikation und -Zusammenarbeit

Autoren: Zihan Chen, Zeshen Li, Howard H. Yang, Tony Q.S. Quek, Jihong Park

---

1. Problemstellung

Trotz der Fortschritte bei der lokalen Ausführung von Large Language Models (LLMs) auf Endgeräten (Edge Devices) bestehen erhebliche Einschränkungen:

• Leistungsmängel: On-Device-Modelle leiden im Vergleich zu vollskaligen Cloud-LLMs unter geringerer Inferenzgenauigkeit und Geschwindigkeit.
• Skalierbarkeitsprobleme: Ein vollständiges Offloading aller Eingabe- und Ausgabetokens in die Cloud ist nicht skalierbar und ignoriert die Potenziale lokaler Rechenleistung.
• Herausforderungen bei der Zusammenarbeit:
  • Latenz: Bei herkömmlichen Token-zu-Token-Kommunikationen (Text-to-Text, T2T) entsteht eine hohe Latenz, da für jedes neue Token der gesamte Kontext (Key-Value Cache) neu aufgebaut werden muss (Prefill-Verzögerung).
  • Privatsphäre: LLM-Eingaben und -Ausgaben sind oft menschenlesbar und können sensible Benutzerdaten offenlegen.
  • Heterogenität: Unterschiedliche Modellarchitekturen erschweren den Austausch von semantischen Informationen, die für eine Zusammenarbeit notwendig sind.

Das Ziel ist es, eine kollaborative Inferenz zu ermöglichen, die die lokalen Fähigkeiten nutzt, ohne die Privatsphäre zu gefährden oder durch Latenz behindert zu werden.

---

2. Methodik: Das FedRefine-Framework

Die Autoren stellen FedRefine (Federated Refinement) vor, ein neuartiges Framework für das kollaborative Inferieren heterogener LLMs. Der Kernansatz basiert auf zwei Säulen:

A. Von Self-Refinement zu Cache-to-Cache (C2C)

• Self-Refinement: LLMs verbessern ihre eigenen Ausgaben iterativ. Dies ist jedoch durch das interne Wissen des einzelnen Modells begrenzt.
• C2C-Kommunikation: Statt Text-Token zu senden, tauschen Geräte ihre Key-Value (KV) Caches aus.
  • Ein Sender-LLM (Transmitter) teilt seinen KV-Cache mit einem Empfänger-LLM (Receiver).
  • Ein vortrainierter Fuser (z. B. ein MLP-Netzwerk) projiziert den KV-Cache des Senders in den Raum des Empfängers.
  • Der Empfänger nutzt diesen projizierten Cache zusammen mit seinem eigenen Modell, um das nächste Token vorherzusagen, ohne die ursprünglichen Tokens des Senders zu sehen.
  • Vorteil: Dies umgeht die Prefill-Verzögerung und ermöglicht die Generierung vieler neuer Tokens mit geringer Latenz.

B. Bidirektionale Zusammenarbeit (Co-C2C)

• Das Framework erweitert das unidirektionale C2C zu einer bidirektionalen Kommunikation.
• Zwei Fuser (einer für jede Richtung) werden trainiert, um eine gegenseitige Verfeinerung (Mutual Refinement) zu ermöglichen.
• Geräte können gleichzeitig als Sender und Empfänger agieren, was eine fairere und anreizkompatible Zusammenarbeit fördert.

C. Skalierbarkeit und Privatsphäre

• Heterogenität: FedRefine erfordert keine identischen Modellarchitekturen. Die Fuser-Netzwerke überbrücken die Unterschiede zwischen verschiedenen LLMs (z. B. Qwen und Llama).
• Privatsphäre: Um die Privatsphäre zu wahren, werden die Eingabetokens vor der Inferenz umformuliert (Rephrased). Die Geräte senden keine rohen Fragen, sondern semantisch äquivalente, aber verschlüsselte Varianten. Der KV-Cache selbst enthält keine direkten Textinformationen, die Rückschlüsse auf den Inhalt zulassen.

---

3. Schlüsselbeiträge

1. Neues Paradigma: Einführung von FedRefine als erstes Framework, das KV-Caches über heterogene LLMs hinweg für die Inferenz nutzt, anstatt nur Text oder Gewichte auszutauschen.
2. Effizienzsteigerung: Durch den Austausch von KV-Caches statt Text-Token wird die Prefill-Latenz eliminiert, was zu einer signifikanten Geschwindigkeitssteigerung führt.
3. Privatsphäre-Erhalt: Kombination von Cache-Kommunikation mit Eingabe-Umformulierung, um Benutzerdaten zu schützen, ohne die Leistung drastisch zu beeinträchtigen.
4. Architektur-Agnostizismus: Das System funktioniert über verschiedene Modellgrößen und -typen hinweg (z. B. 0.5B bis 1.5B Parameter), was es für reale Edge-Szenarien geeignet macht.

---

4. Ergebnisse und Evaluation

Die Autoren führten eine Fallstudie mit einem Empfänger-Modell (Qwen3-0.6B) und vier verschiedenen Sender-Modellen (Qwen2.5-Varianten, Llama-3.2-1B) durch.

• Genauigkeit (Accuracy):

  • Federated Inference übertrifft die Standalone-Baseline des Empfängermodells deutlich.
  • Mit vier teilnehmenden Modellen konnte eine Genauigkeitssteigerung von 21,2 % gegenüber der unabhängigen Inferenz erreicht werden.
  • Der Einsatz von Privatsphäre-Schutz (umformulierte Eingaben) führte nur zu einem minimalen Genauigkeitsverlust von ca. 3 %.
  • C2C (Cache-Kommunikation) übertraf T2T (Text-Kommunikation) in der Genauigkeit um ca. 15 %.

• Latenz:

  • Obwohl die Umformulierung der Eingaben zusätzliche Zeit kostet, ist die Gesamtlatenz von FedRefine (C2C) deutlich niedriger als bei der T2T-Methode, da der Prefill-Prozess übersprungen wird.

• Kommunikationslast:

  • Ein Trade-off wurde identifiziert: Der Transfer eines KV-Caches für ein Token erfordert ca. 88 KB, während ein Text-Token nur 16 Bytes benötigt. FedRefine ist also datenintensiver, aber durch die Latenzersparnis gerechtfertigt, sofern die Bandbreite ausreicht.

---

5. Bedeutung und Zukunftsperspektiven

Das Paper definiert einen neuen Weg für die Zusammenarbeit von KI-Modellen in dezentralen Umgebungen:

• Paradigmenwechsel: Statt nur Gewichte (Federated Learning) oder Daten zu teilen, ermöglicht FedRefine den Austausch von Inferenz-Zuständen (KV Caches).
• Zukünftige Forschungsrichtungen:
  • Iterative lokale Verfeinerung: Entwicklung von Methoden für mehrstufige Verfeinerungsrunden zwischen Geräten.
  • Globale Federations-Iterationen: Nutzung der gegenseitigen Verfeinerung für kontinuierliche Systemverbesserungen.
  • Multi-Modalität: Anpassung der Cache-Kommunikation für multimodale Modelle (Text, Bild, Audio).
  • Prompt-Engineering: Entwicklung von Strategien zur Steuerung der Interaktion zwischen heterogenen Modellen im Rahmen der Federated Inference.

Fazit: FedRefine bietet einen vielversprechenden Ansatz, um die Grenzen lokaler LLMs zu überwinden, indem es die Rechenleistung heterogener Geräte vernetzt, dabei die Privatsphäre wahrt und die Inferenzgeschwindigkeit durch den direkten Austausch von internen Modellzuständen (KV Caches) maximiert.