Federated Inference for Heterogeneous LLM Communication and Collaboration

Dit position paper introduceert FedRefine, een nieuw federatief raamwerk dat heterogene on-device Large Language Models in staat stelt om via privacy-beschermende communicatie van KV-caches samen te werken voor verbeterde inferentieprestaties.

De kern

Stel je voor dat je een groep slimme vrienden hebt die elk een eigen kennisboek hebben, maar elk boek is anders groot en bevat verschillende soorten informatie. Soms is één vriend niet slim genoeg om een moeilijke vraag alleen te beantwoorden. In het verleden zouden ze dan allemaal hun hele boek naar een centrale meester (de 'cloud') sturen om het antwoord te krijgen. Maar dat is traag, kost veel energie en je moet je hele privé-boek openleggen, wat niet veilig is.

Dit artikel introduceert een nieuwe, slimme manier om samen te werken, genaamd FedRefine. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Vertaal-En-Wacht" Moeilijkheid

Normaal gesproken, als je vrienden met elkaar praten om een vraag op te lossen, moeten ze hun gedachten in woorden (tekst) omzetten en die naar elkaar sturen.

• Het nadeel: Het kost tijd om die woorden te verwoorden en te versturen. Bovendien is het alsof je je geheime gedachten hardop schreeuwt; iedereen kan ze horen.
• De heterogeniteit: Je vrienden hebben verschillende soorten boeken. De ene heeft een groot woordenboek, de andere een groot rekenboek. Ze kunnen niet zomaar hun boeken openleggen en vergelijken, want de pagina's passen niet bij elkaar.

2. De Oplossing: De "Geheime Notitie" (KV Cache)

In plaats van hun gedachten in woorden te verwoorden, laten de vrienden hun geheime notities uitwisselen. In de wereld van AI noemen we dit de KV Cache (Key-Value Cache).

• De Analogie: Stel je voor dat je niet de hele zin "Ik heb honger" zegt, maar in plaats daarvan een speciaal kaartje met de essentie van die zin overhandigt. Dit kaartje bevat de "smaak" van de zin zonder de daadwerkelijke woorden.
• Het voordeel: Omdat ze geen volledige zinnen hoeven te typen en te lezen, gaat het veel sneller. En omdat het kaartje eruitziet als willekeurige cijfers voor buitenstaanders, blijft je privacy gewaarborgd. Niemand kan eruit halen wat je precies dacht, alleen dat je een bepaalde richting opging.

3. Hoe FedRefine Werkt: De Twee-Weg Straat

Het artikel beschrijft twee manieren waarop deze vrienden samenwerken:

• Eenrichtingsverkeer (Unidirectional): Vriend A heeft een vraag. Hij stuurt zijn "geheime notitie" naar Vriend B. Vriend B gebruikt die notitie om zijn eigen antwoord te verfijnen. Het is alsof Vriend B een bril opzet die door Vriend A is gemaakt, zodat hij scherper ziet.
• Tweewegverkeer (Bidirectional): Dit is nog slimmer. Vriend A en Vriend B wisselen beide hun notities uit. Ze kijken elkaars notities, passen hun eigen gedachten aan, en sturen weer nieuwe notities terug. Het is een gesprek waarbij ze elkaar continu verbeteren, zonder ooit hun volledige verhaal te vertellen.

4. De Privacy-Oplossing: "Herschrijven"

Wat als Vriend B toch iets te veel zou kunnen afleiden uit de notitie?

• De truc: Voordat Vriend A zijn notitie verstuurt, schrijft hij de vraag eerst even "anders" op (rephrasing). Hij gebruikt een andere manier om hetzelfde te zeggen, zodat de notitie die hij verstuurt niets prijsgeeft over de originele vraag, maar wel genoeg informatie bevat om het antwoord te vinden.
• Het resultaat: Het is alsof je een vraag in een andere taal stelt, zodat de ander het antwoord kan geven, maar niet weet waarom je het vroeg.

5. Wat Ze Vonden (De Resultaten)

In hun proefopstelling lieten ze zien dat:

• Snelheid: Het uitwisselen van "notities" (KV Cache) is veel sneller dan het uitwisselen van volledige zinnen (tekst), omdat je minder hoeft te wachten op het "opbouwen" van de zin.
• Slimheid: Samenwerken maakt het antwoord veel beter. Als vier vrienden samenwerken, is het antwoord veel nauwkeuriger dan als ze het alleen proberen.
• Privacy: Zelfs als ze hun vragen "herschrijven" om privacy te beschermen, verliezen ze bijna niets aan kwaliteit. Het is alsof je een masker opzet, maar je kunt nog steeds perfect zien en praten.

Conclusie

FedRefine is een nieuwe manier voor slimme computers (AI) om samen te werken zonder dat ze hun geheime data hoeven te delen of wachten op trage verbindingen. Het is alsof een team van specialisten een probleem oplost door elkaar geheime hints te geven in plaats van elkaar hun hele levensverhaal te vertellen. Dit maakt AI sneller, slimmer en veiliger voor iedereen.

Technische samenvatting

Titel: Federated Inference voor Heterogene LLM-communicatie en Samenwerking

Auteurs: Zihan Chen, Zeshen Li, Howard H. Yang, Tony Q.S. Quek, Jihong Park.

---

1. Het Probleem

Hoewel edge-apparaten steeds krachtiger worden en lokale Large Language Models (LLMs) kunnen hosten, kampen deze modellen met beperkingen in prestaties en efficiëntie vergeleken met volledige cloud-LLMs.

• Laten en Privacy: Het volledig uitbesteden van inferentie naar de cloud (door alle tokens te verzenden) is niet schaalbaar en introduceert hoge latentie. Bovendien zijn in- en output-tokens vaak menselijk interpreteerbaar, wat privacyrisico's met zich meebrengt.
• Heterogeniteit: Bestaande samenwerkingen tussen modellen vereisen vaak identieke architecturen of uitwisseling van semantische informatie die afhankelijk is van de specifieke modelstructuur.
• Token-communicatie (T2T): Traditionele samenwerking via tekst (token-naar-token) vereist dat elk apparaat alle vorige tokens opnieuw decodeert om de Key-Value (KV) cache te herbouwen. Dit veroorzaakt aanzienlijke wachttijd (prefill-delay) en vertraagt het proces aanzienlijk.

2. Methodologie: FedRefine

Het paper introduceert FedRefine (Federated Refinement), een nieuw raamwerk voor federatieve inferentie dat de samenwerking tussen heterogene LLMs mogelijk maakt zonder privacy te schaden of hoge latentie te veroorzaken.

Kernconcepten:

• Cache-naar-Cache Communicatie (C2C): In plaats van tekstuele tokens uit te wisselen, wisselen apparaten hun interne KV-caches uit. Dit omzeilt de noodzaak om tokens opnieuw te decoderen en elimineert de prefilleer-tijd.
• Zelf-Refinement (SelfRefine): Het idee dat een model zijn eigen output kan verbeteren door iteratieve feedback. FedRefine breidt dit uit naar een federatieve setting waar modellen elkaars kennis benutten.
• Bidirectionele Samenwerking (Co-C2C):
  • Unidirectioneel: Een ontvanger (receiver) gebruikt de KV-cache van een zender (transmitter) via een voorgeprogrammeerde "fuser" (een klein neuronaal netwerk) om de inferentie te verfijnen.
  • Bidirectioneel: Twee modellen wisselen beide rollen uit en verfijnen elkaars inferentie, wat leidt tot een eerlijkere en meer incentive-compatible samenwerking.
• Privacybehoud: Om privacy te waarborgen, worden de invoertokens vooraf herformuleerd (rephrased) door het ontvangende model voordat ze worden verwerkt. Dit voorkomt dat de oorspronkelijke, gevoelige query's worden gelekt, terwijl de semantische betekenis behouden blijft voor de cache-uitwisseling.

Architectuur:
Het systeem bestaat uit een server die voorgeprogrammeerde Fusers ($F_{ij}$) beheert. Deze fusers projecteren de KV-cache van model $i$ naar de architectuur van model $j$. Dit maakt samenwerking mogelijk tussen volledig verschillende modellen (bijv. Qwen en Llama) zonder dat ze dezelfde structuur hoeven te hebben.

3. Belangrijkste Bijdragen

1. Nieuw Paradigma: Het introduceren van FedRefine als een framework voor federatieve inferentie dat specifiek is ontworpen voor heterogene LLMs.
2. Efficiënte Communicatie: Het vervangen van token-uitwisseling (T2T) door KV-cache-uitwisseling (C2C), wat de latentie drastisch verlaagt door het herbouwen van de context te vermijden.
3. Privacy-Preserving: Een strategie waarbij invoertokens worden herformuleerd, waardoor private informatie lokaal blijft terwijl de samenwerking effectief blijft.
4. Scalabiliteit: Een ontwerp dat schaalbaar is naar meerdere deelnemers (N-LLM systemen) via een netwerk van fusers, waarbij elk apparaat zowel zender als ontvanger kan zijn.

4. Resultaten

De auteurs hebben FedRefine getest in een case study met een heterogeen systeem bestaande uit een ontvanger (Qwen3-0.6B) en vier zenders (o.a. Qwen2.5-varianten en Llama-3.2-1B).

• Nauwkeurigheid:
  • Federatieve inferentie overtreft de standalone prestaties van het ontvangermodel aanzienlijk.
  • Met vier deelnemers leidt niet-geprivatiseerde KV-samenwerking tot een 21,2% stijging in nauwkeurigheid ten opzichte van de basislijn.
  • De privacy-bewuste versie (met herformuleerde tokens) toont slechts een 3% daling in nauwkeurigheid ten opzichte van de niet-geprivatiseerde versie, wat aantoont dat privacybeveiliging de prestaties nauwelijks beïnvloedt.
  • C2C (Cache) presteert significant beter dan T2T (Token), met een verschil van ongeveer 15% in nauwkeurigheid bij volledige deelname.
• Latentie:
  • Hoewel het herformuleren van queries extra tijd kost, blijft de totale latentie van de privacy-bewuste C2C-methode aanzienlijk lager dan die van de T2T-methode.
• Bandbreedte:
  • Er is een trade-off: het verzenden van een KV-cache voor één token vereist ongeveer 88 KB, terwijl tekst (T2T) slechts 16 bytes vereist. C2C is dus zwaarder voor de communicatiebandbreedte, maar compenseert dit door de enorme winst in reken-efficiëntie en nauwkeurigheid.

5. Significantie en Toekomstperspectief

Dit werk biedt een fundamentele verschuiving in hoe we denken over LLM-samenwerking op edge-apparaten.

• Efficiëntie: Het lost het probleem van hoge latentie bij samenwerking op door de interne representaties (KV-caches) direct te delen in plaats van de eindresultaten (tokens).
• Toekomstige Richtingen: Het paper schetst belangrijke onderzoeksrichtingen, waaronder:
  • Iteratieve lokale verfijning met cache-communicatie.
  • Continue globale federatie-iteraties voor systemische verbetering.
  • Uitbreiding naar multi-modale LLMs (beeld, tekst, geluid).
  • Ontwikkeling van prompt engineering specifiek voor federatieve inferentie en cache-uitwisseling.

Kortom, FedRefine toont aan dat heterogene LLMs effectief kunnen samenwerken om snellere, nauwkeurigere en privacy-bewuste inferentie te realiseren, wat een nieuwe standaard zet voor intelligente netwerken van de volgende generatie.