Technische Samenvatting: TMO – Device-Cloud Collaboratieve LLM-inferentie met Three-M Offloading

1. Probleemstelling

De implementatie van Large Language Models (LLM's) staat voor een dichotomie: on-device implementatie wordt beperkt door rekenkracht-, geheugen- en energiebronnen, wat de kwaliteit van de respons vaak beperkt, terwijl cloud-implementatie latentie, communicatiekosten en gebruiksvergoedingen introduceert. Deze uitdagingen worden verergerd in moderne applicaties die worden gekenmerkt door Three-M scenario's:

1. Multi-Modal: Taken vereisen diverse databronnen (bijv. tekst, afbeeldingen vanuit verschillende camerahoeken).
2. Multi-Task: Applicaties variëren van eenvoudige berichtbewerking tot complexe activiteitsherkenning.
3. Multi-Turn: Conversaties bevatten sequentiële afhankelijkheden waarbij eerdere beslissingen de toekomstige beschikbaarheid van middelen beïnvloeden.

Bestaande frameworks falen vaak in het adresseren van de complexe afwegingen tussen responskwaliteit, latentie en kosten over deze dimensies. Specifiek hebben zij moeite met:

• Optimale Inferentie Locatie: Beslissen of een taak on-device moet worden verwerkt of naar de cloud moet worden geoffload.
• Modaliteitsselectie: Bepalen welke specifieke datamodaliteiten (bijv. welk camerabeeld) moeten worden geüpload, waarbij de winst in informatie wordt afgewogen tegen de transmissiekosten.
• Resourcebeperkingen: Aanpassen aan willekeurige, door de gebruiker gespecificeerde budgetten voor middelen (latentie en kostenlimieten) zonder hertraining.
• Inferentie-onzekerheid: Het omgaan met de stochastische aard van LLM-outputs en het gebrek aan grondwaarheid-metrieken voor generatieve taken tijdens offline training.

2. Methodologie: Het TMO-systeem

De auteurs stellen TMO voor, een device-cloud collaboratief inferentiesysteem dat "Three-M" offloading orkestreert. De kern van TMO is een Resource-Constrained Reinforcement Learning (RCRL) beslissingsmotor.

A. Systeemarchitectuur

• On-Device LLM: Een lichtgewicht model (bijv. Phi-3-mini) geoptimaliseerd voor snelle tekstverwerking van eenvoudige taken.
• Cloud LLM: Een grootschalig, multi-modaal model (bijv. GPT-4o) in staat om complexe taken en diverse datainput te verwerken.
• Beslissingsmotor: Bij elke conversatieron $t$ selecteert het systeem een actie $a_t = (\ell_t, M_t)$, waarbij $\ell_t$ de gekozen LLM is (device of cloud) en $M_t$ de subset van modaliteiten die wordt geüpload.

B. RCRL-formulering

Het probleem wordt gemodelleerd als een Markov Decision Process (MDP):

• Toestand ($s_t$): Bevat een sliding window van de laatste $\tau$ rondes, die vorige LLM-selecties, geüploade modaliteiten en taalcategorieën vastlegt. Cruciaal is dat de toestand wordt uitgebreid met resterende budgetten voor middelen ($\xi_t$) om resource-bewuste besluitvorming mogelijk te maken.
• Actie ($a_t$): Selectie van het type LLM en de specifieke modaliteiten om te uploaden.
• Beloning ($r_t$): Een samengestelde metriek die het volgende balanceert:
  • Respons Score ($S_{at}$): Geschatte kwaliteit van de LLM-respons.
  • Associatie Metriek ($\Lambda_{at}$): Relevantie tussen de prompt en de geselecteerde modaliteiten (berekend via CLIP).
  • Latentie ($\psi_{at}$): Computatietijd (device) of communicatie + inferentietijd (cloud).
  • Gebruikskosten ($\phi_{at}$): Energieverbruik (device) of servicevergoedingen (cloud).
  • Constraint Penalty: De beloning wordt op nul gezet als het cumulatieve verbruik van middelen het door de gebruiker gespecificeerde budget $\xi_j$ overschrijdt.

C. Belangrijke Technische Innovaties

1. Omgaan met Onzekerheid via Nearest Neighbor Estimatie: Om de niet-deterministische aard van LLM-judges en Out-of-Distribution (OOD) state-action paren tijdens offline training aan te pakken, gebruikt TMO een k-nearest neighbor (k-NN) strategie. Het schat de respons score voor ongeziene state-action paren door de scores van de $k$ meest vergelijkbare historische paren te middelen, gewogen door de Euclidische afstand.
2. Resource-bewuste Generalisatie: Om te zorgen dat het beleid generaliseert naar willekeurige gebruikersbudgetten zonder hertraining, doen de auteurs het volgende:
   • Verwijzen de resterende budgetvectoren direct naar de state space.
   • Trainen met gerandomiseerde budgetten voor middelen gesampled uit distributies (Uniform, Normaal, Hybride) in plaats van vaste waarden. Dit voorkomt overfitting op specifieke budgetbeperkingen.
3. Taak-Modaliteit Associatie: Het systeem gebruikt vooraf getrainde CLIP-modellen om de gelijkenheidsscores tussen tekstprompts en beeldmodaliteiten te berekenen, wat de selectie van de meest informatieve databronnen stuurt.

3. De M4A1 Dataset

In het besef dat er een tekort is aan geschikte datasets voor dit specifieke probleem, hebben de auteurs M4A1 gecureerd, de eerste dataset ontworpen voor multi-modale, multi-task, multi-turn en multi-LLM evaluatie.

• Samenstelling: 21.014 conversatierondes afgeleid van de ActionSense dataset (keukenactiviteiten met first-person, side, en overhead views) en een instructiedataset.
• Structuur: Elke episode bevat 2–5 rondes, vier taalcategorieën (Assistant, Recommendation, Query, Message Editing), en interacties met vier LLM-rollen (On-device, Cloud, Reference, Judge).
• Generatiestrategie: In tegen tegenstelling tot expert datasets, gebruikt M4A1 gerandomiseerde acties voor LLM- en modaliteitsselectie. Dit zorgt voor een uniforme dekking van de state-action ruimte, waardoor de k-NN estimator robuust en laag-variant is voor elke beleidsbeslissing.

4. Experimentele Resultaten

De auteurs evalueerden TMO (gebruikmakend van RC-A2C, RC-PPO en RC-DQN) tegen verschillende baselines:

• Naive Baselines: Alleen on-device, alleen cloud, en random selectie.
• LLM-as-Router: Het gebruik van diverse LLM's (Phi-3, LLaMA, Mistral, GPT-4, etc.) als zero-shot beslissingsmotoren.
• SOTA Exploration-Decision: AIwRG (Active Inference) en PerLLM (Bandit-gebaseerd).

Belangrijkste bevindingen:

• Prestaties: TMO (specifiek RC-A2C) behaalde de hoogste totale beloning (0.86) vergeleken met alle baselines, waarbij het de LLM-as-Router benaderingen aanzienlijk versloeg die worstelden met constraint-schendingen en suboptimale modaliteitsselectie.
• Constraint Adherentie: TMO handhaafde een bijna nul aantal constraint-schendingen over diverse budgetconfiguraties, terwijl baselines frequent de latentie- of kostenlimieten overschreden.
• Robuustheid:
  • Device Variaties: TMO presteerde consistent over diverse hardware (van Raspberry Pi tot iPhone 15 Pro), waarbij het zijn strategie aanpaste op basis van device-capaciteiten.
  • Budget Generalisatie: Training met gerandomiseerde budgetten stelde TMO in staat om te generaliseren naar ongeziene budgetbeperkingen (Uniform, Normaal, Hybride) zonder hertraining.
  • Latentie Gevoeligheid: Wanneer de cloud-latentie kunstmatig werd verhoogd (tot 10x), verschoof TMO het verkeer dynamisch naar de on-device LLM om aan de constraints te voldoen.
• Ablatie Studies: Het verwijderen van een van de sleutelcomponenten (LLM-selectielogica, modaliteitsselectie, resource-bewustzijn of onzekerheidsschatting) resulteerde in een significante prestatieverslechtering, wat de noodzaak van het volledige framework valideert.

5. Betekenis en Claims

De paper claimt dat TMO een fundamentele verschuiving vertegenwoordigt in LLM-implementatiestrategieën door verder te gaan dan statische offloading of enkelvoudige query-routing. De betekenis ligt in:

1. Holistische Optimalisatie: Het is het eerste systeem dat gezamenlijk LLM-selectie, multi-modale data-offloading en multi-turn context optimaliseert onder strikte resourcebeperkingen.
2. Praktische Aanpasbaarheid: De resource-bewuste state representatie en gerandomiseerde training maken het systeem in staat om zich aan te passen aan willekeurige door de gebruiker gedefinieerde resource-budgetten in real-world scenario's zonder hertraining.
3. Omgaan met Onzekerheid: De voorgestelde nearest-neighbor estimatie strategie biedt een robuuste methode voor het trainen van RL-policies op LLM-inferentiedata, wat de inherente stochastiek en evaluatie-uitdagingen van generatieve modellen aanpakt.
4. Dataset Bijdrage: De release van M4A1 vult een kritiek gat in de literatuur door een gestandaardiseerde benchmark te bieden voor het evalueren van collaboratieve inferentie in complexe, multi-turn, multi-modale omgevingen.

De auteurs concluderen dat hoewel TMO de afweging tussen responskwaliteit, latentie en kosten aanzienlijk verbetert, toekomstig werk zich zal richten op het integreren van dynamische runtime-condities (bijv. real-time netwerkbandbreedte, batterijniveaus) om proactieve adaptatie mogelijk te maken.