🤖 AI

Learning to Collaborate: An Orchestrated-Decentralized Framework for Peer-to-Peer LLM Federation

Oorspronkelijke auteurs: Inderjeet Singh, Eleonore Vissol-Gaudin, Andikan Otung, Motoyoshi Sekiya

Gepubliceerd 2026-01-27

📖 5 min leestijd🧠 Diepgaand

Oorspronkelijke auteurs: Inderjeet Singh, Eleonore Vissol-Gaudin, Andikan Otung, Motoyoshi Sekiya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groep briljante maar geïsoleerde experts voor, die elk in hun eigen privé kantoor werken. Ze proberen allemaal een zeer moeilijke puzzel op te lossen: het schrijven van perfecte computercode.

Het Probleem: Elke expert heeft een unieke set aantekeningen (data) die zij met niemand mogen delen vanwege strikte privacyregels. Als ze proberen hun aantekeningen te combineren, breken ze de regels. Als ze prochten om hun aantekeningen naar een centrale baas te sturen om ze te mengen, riskeren ze dat de baas de aantekeningen steelt of dat de baas wordt gehackt.
De Oude Manier (Gecentraliseerd): Meestal stuurt iedereen hun werk naar een centrale "Baas-Server". De Baas mengt alles samen en stuurt het resultaat terug naar iedereen. Maar dit is riskant (de Baas is een enkel punt van falen) en het mislukt vaak omdat de experts zo verschillend van elkaar zijn dat het mengen van hun aantekeningen een puinhoop veroorzaakt.
De Willekeurige Manier (Gedecentraliseerd): Om de Baas te vermijden, beginnen de experts rechtstreeks met elkaar te praten. Maar ze doen dat willekeurig, zoals mensen op een feestje die tegen iedereen aanlopen die toevallig naast hen staat. Soms praten ze met iemand die hen helpt; andere keren praten ze met iemand die hen ver verwart en hun werk slechter maakt.

Ontmoet KNEXA-FL: De "Slimme Matchmaker"

De auteurs van dit paper introduceren een nieuw systeem genaamd KNEXA-FL. Zie dit als een Slimme Matchmaker die een zeer speciale, veilige matchmakingservice beheert.

Zo werkt het in eenvoudige termen:

1. Het "Profiel" (Geen geheimen gedeeld)

In plaats van hun werkelijke aantekeningen of code te sturen, stuurt elke expert een klein, anoniem "profiel" naar de Matchmaker.

Wat zit er in het profiel? Er staat bijvoorbeeld in: "Ik ben een expert in Python," "Ik ben goed in het oplossen van wiskundige problemen," of "Ik worstel momenteel met loops."
Wat zit er NIET in het profiel? Geen werkelijke code, geen private data en geen geheime formules. Het is slechts een samenvatting van hun vaardigheden en huidige staat.

2. De "Slimme Matchmaker" (De CPM)

De Matchmaker (de Central Profiler/Matchmaker of CPM) raadt niet alleen wie met wie moet praten. Het gebruikt een slimme leertechniek (een Contextual Bandit, wat een soort slimme gokker is die leert van elke winst en elk verlies).

De Matchmaker kijkt naar de profielen en vraagt zich af: "Als Expert A met Expert B praat, worden ze dan allebei beter?"
Het leert in de loop van de tijd welke combinaties het beste werken. Het vermijdt het koppelen van twee experts die elkaar in de war brengen en zoekt naar paren waarbij de een de ander iets nieuws kan leren.

3. De "Geheime Handdruk" (Veilige Uitwisseling)

Zodra de Matchmaker heeft besloten wie er met elkaar moet praten, ontmoeten de twee experts elkaar rechtstreeks.

Ze wisselen niet hun private aantekeningen uit.
In plaats daarvan spelen ze een spel van "Het Antwoord Raden". Eén expert (de Leraar) lost een probleem op en zegt: "Ik denk dat het antwoord dit is." De andere expert (de Student) luistert en probeert te leren hoe de Leraar over het probleem dacht, zonder ooit de private aantekeningen van de Leraar te zien.
Dit wordt Knowledge Distillation genoemd. Het is alsof je een recept leert door de soep te proeven, in plaats van het notitieboekje van de chef te stelen.

4. Het Resultaat: Een Leercirkel

Na het gesprek vertellen de experts de Matchmaker: "Dat gesprek was nuttig!" of "Dat gesprek was een verspilling van tijd."

De Matchmaker onthoudt deze feedback.
De volgende keer wordt de Matchmaker er nog beter in om de juiste mensen bij elkaar te brengen.

Waarom is dit een grote zaak?

Het paper testte dit op een zeer moeilijke taak: het genereren van code. Ze vergeleken hun systeem met drie andere methoden:

Alleen Werken: Experts probeerden zelfstandig te leren. (Resultaat: Ze liepen vast).
Willekeurige Chat: Experts praatten met wie ook maar beschikbaar was. (Resultaat: Ze werden wel beter, maar langzaam en inconsistent).
De "Baas" Methode: Experts stuurden alles naar een centrale server. (Resultaat: Desastreus. Het systeem stortte in en werd zelfs slechter omdat de verschillende stijlen van de experts te veel met elkaar botsten).

De Winnaar:
Het KNEXA-FL systeem (Slimme Matchmaker + Veilige Chat) was de duidelijke winnaar.

Het verbeterde de prestaties van de experts met ongeveer 50% vergeleken met willekeurige chat.
Het was stabiel, wat betekent dat het steeds beter werd zonder te crashen, in tegen tegenstelling tot de "Baas"-methode die volledig faalde.

De Kernboodschap

Dit paper laat zien dat je geen centrale baas nodig hebt om kennis veilig te delen, en dat je niet hoeft te gokken met wie je moet praten. Door een slimme, op leren gebaseerde matchmaker te gebruiken die alleen "profielen" ziet en geen "geheimen", kunnen een groep geïsoleerde AI-modellen effectief, veilig en zonder ooit de privacyregels te schenden van elkaar leren. Het verandert een chaotische menigte vreemden in een uiterst efficiënt, samenwerkend team.

Technische Samenvatting: KNEXA-FL

Probleemstelling

Het finetunen van Large Language Models (LLM's) voor gespecialiseerde domeinen staat voor een fundamenteel conflict: de noodzaak voor diverse, grensoverschrijdende data versus de strikte vereisten van gegevensprivacy, soevereiniteit en beveiliging. Hoewel Federated Learning (FL) een paradigma biedt voor collaboratieve training zonder uitwisseling van ruwe data, introduceert de canonieke gecentraliseerde vorm een vertrouwde centrale aggregator. Deze entiteit fungeert als een single point of failure en een geprivilegieerd aanvalsoppervlak voor modelinversie-aanvallen, waarbij gevoelige trainingsdata gereconstrueerd kunnen worden.

Decentralized FL (DFL) mitigeert deze risico's door de centrale server te vervangen door directe peer-to-peer (P2P) communicatie. Bestaande DFL-architecturen vertrouwen echter meestal op inefficiënte, willekeurige of statische peer-pairingstrategieën. Deze "random-walk"-benadering is statistisch inefficiënt, blind voor de heterogeniteit van agenten en brengt het risico op "negative transfer" met zich mee, waarbij slecht gematchte peers elkaars prestaties verslechteren. De heersende dichotomie tussen een kwetsbare gecentraliseerde aggregator en inefficiënte willekeurige P2P-interactie beperkt het potentieel van collaboratieve AI.

Methodologie: Het KNEXA-FL Framework

Het artikel introduceert KNEXA-FL, een nieuw framework voor "georkestreerde decentralisatie" dat de afweging tussen beveiliging en efficiëntie oplost. Het systeem werkt als een gedecentraliseerde kennisdataruimte waar agenten soeverein blijven en kennis wordt uitgewisseld via veilige distillatie in plaats van ruwe data of modelparameters.

Systeemarchitectuur

Het framework bestaat uit drie logische componenten:

LLM Agents: Autonome entiteiten die een bevroren basismodel ( $W_0$ ) en een trainbare Parameter-Efficient Fine-Tuning (PEFT) module (voornamelijk LoRA) bezitten. Elke agent werkt met een Local Gateway voorzien van een Guardrail Filter om blootstelling van gevoelige gegevens te voorkomen.
Central Profiler/Matchmaker (CPM): Een vertrouwde, niet-aggregerende entiteit. De enige functie hiervan is het orkestreren van P2P-interacties. Het ontvangt abstracte, privacy-beschermende agentprofielen, maar heeft nooit toegang tot de ruwe data of de modellen zelf.
Secure P2P Channels: Directe, efemere en versleutelde verbindingen die worden opgezet tussen gematchte agenten voor kennisuitwisseling.

Kernmechanismen

Adaptive Knowledge Distillation (AKD): Om architecturale en tokenizer-heterogeniteit op te vangen, gebruikt KNEXA-FL tekstgebaseerde distillatie. Een "teacher"-agent genereert tekstvoorspellingen op een gedeelde, privacy-gecontroleerde transferset. De "student"-agent hercodeert deze voorspellingen met behulp van zijn eigen tokenizer om soft target-sequenties te creëren, waardoor de token-level cross-entropy loss wordt geminimaliseerd. Dit zorgt voor compatibiliteit, ongeacht de verschillen in modellen.
Contextual Bandit Matchmaking: De CPM formuleert het P2P-pairingprobleem als een contextual combinatorial bandit probleem.
- Profielen: Agenten dienen abstracte profielvectoren ( $p_i$ ) in die statische kenmerken (modelfamilie, PEFT-configuratie), dynamische kenmerken (taakprestaties, perplexiteit) en historische trust-kenmerken bevatten.
- Algoritme: De CPM gebruikt het LinUCB-algoritme om een optimaal matchmaking-beleid te leren. Het modelleert de verwachte beloning van een pairing op basis van contextvectoren en selecteert disjuncte paren die een Upper Confidence Bound (UCB) score maximaliseren, waarbij een balans wordt gezocht tussen het exploiteren van bekende goede paren en het exploreren van nieuwe potentiële synergieën.
- Beloningssignaal: De beloning wordt berekend op basis van de lokale loss-reductie behaald door de student-agent, waarbij wordt gestraft voor communicatiekosten. Hierdoor kan de CPM leren om laag-utilitaire of kwaadwillende peers in de loop der tijd minder zwaar mee te wegen.

Belangrijkste Bijdragen

Orchestrated Decentralization: Het artikel stelt KNEXA-FL voor, een hybride architectuur die de matchmaking-inefficiëntie van DFL oplost zonder de beveiligingskwetsbaarheden van een centrale modelaggregator te herintroduceren.
Contextual Bandit Formulering: Het is het eerste werk dat P2P LLM-collaboratie formuleert als een contextual bandit probleem. De CPM gebruikt LinUCB om de P2P-kennisknooppunten dynamisch te optimaliseren op basis van interactiebeloningen, in plaats van te vertrouwen op statische heuristieken of willekeurige selectie.
Empirische Validatie: Het framework wordt gevalideerd op een uitdagende, heterogene codegeneratietaak, waarbij aanzienlijke prestatiewinsten en stabiele convergentie worden aangetoond waar andere methoden falen.

Experimentele Resultaten

Experimenten werden uitgevoerd op een federatie van 6 heterogene cliënten (gebruikmakend van modellen zoals Qwen, Cerebras-GPT, BLOOM en Pythia) met non-IID datadistributies afgeleid van HumanEval en MBPP benchmarks.

Prestatiewinsten: KNEXA-FL behaalde een Pass@1 van 13,33%, wat een relatieve verbetering van ~50% betekent ten opzichte van Random-P2P collaboratie (8,89%) en een verbetering van 100% ten opzichte van een heuristiek-gebaseerde P2P-baseline (6,67%).
Stabiliteit vs. Centralized Collapse: Een sterke gecentraliseerde kennisdistillatie-baseline (Central-KD) leed aan een catastrofale prestatie-instorting, waarbij de Pass@1 daalde van een piek van 18,33% naar een eindwaarde van 2,00% door destructieve parameterinterferentie en catastrofale vergetelheid. In tegenstelling hiertoe vertoonde KNEXA-FL een stabiele convergentie.
Effectiviteit van Matchmaking: Het geleerde beleid van de CPM stelde een student in staat om 86,70% Pass@1 te bereiken op een transferset tijdens de samenwerking, een 2,6x verbetering ten opzichte van de beste pairing gevonden door toeval. Dit bevestigt dat de CPM actief synergetische kennisoverdrachten ontdekt.
Schaalbaarheid: Synthetische experimenten met tot 64 cliënten toonden aan dat de LinUCB-verbeterde CPM robuust schaalt, waarbij de prestatiewinsten pieken bij ~48,5% in situaties met hoge heterogeniteit.

Betekenis en Claims

Het artikel betoogt dat adaptieve, leer-gebaseerde orchestratie een fundamenteel principe is voor het bouwen van robuuste gedecentraliseerde AI-ecosystemen. Door peerselectie te behandelen als een leerbaar probleem in plaats van een statisch of willekeurig proces, navigeert KNEXA-FL succesvol tussen diversiteit en compatibiliteit.

De auteurs beweren dat hun werk een nieuw paradigma vestigt waarbij:

Governance emergent is: Vertrouwen en nut zijn geleerde eigenschappen van het systeem, waardoor de CPM van nature de kwaliteit van laag-waardige peers kan verminderen zonder statische, op regels gebaseerde policies.
Privacy behouden blijft: De niet-aggregerende CPM en tekstgebaseerde distillatie zorgen ervoor dat noch ruwe data, noch modelparameters worden blootgesteld, terwijl effectieve kennisoverdracht toch mogelijk is.
Heterogeniteit een asset is: In tegen tegenstelling tot gecentraliseerde benaderingen die worstelen met statistische heterogeniteit, benut de georkestreerde P2P-aanpak diversiteit om superieure collectieve prestaties te behalen.

Het werk positioneert profiler-gestuurde P2P-learning als een robuust alternatief voor zowel onveilige gecentraliseerde FL als inefficiënte willekeurige P2P-systemen, wat een pad biedt naar effectieve, privacy-beschermende collaboratieve intelligentie.