Technische Samenvatting: Hera – Leren van Lange-Horizon Coördinatie voor Device-Cloud Collaboratieve LLM Agenten

1. Probleemstelling

Grote Taalmodellen (LLM) hebben de capaciteit aangetoond om complexe, lange-horizon taken op te lossen door autonome interactie met omgevingen. Hun implementatie in de echte wereld staat echter voor een fundamenteel device-cloud dilemma:

• Device-beperkingen: Modellen op het apparaat (doorgaans <10B parameters) zijn efficiënt en hebben lage latentie, maar missen vaak de redeneerdiepte die nodig is voor complexe meerstapsplanning, wat leidt tot prestatiedegradatie en inconsistente trajecten.
• Cloud-beperkingen: Krachtige cloudmodellen bieden superieure redeneercapaciteit, maar introduceren aanzienlijke netwerklatentie, hoge rekenkosten en privacyzorgen, waardoor ze onpraktisch zijn voor real-time toepassingen zoals robotica of interactieve GUI-navigatie.

Bestaande device-cloud routingmethoden nemen doorgaans grove, taakniveau-beslissingen, waarbij een volledige query wordt toegewezen aan het apparaat of de cloud op basis van geschatte moeilijkheid of vertrouwen. Deze "alles-of-niets"-benadering is ongeschikt voor lange-horizon agenttaken waarbij uitvoering zich ontvouwt als een reeks onderling afhankelijke stappen met wisselende moeilijkheidsgraden. Het artikel stelt dat een fijnmazigere, stapniveau-coördinatiestrategie noodzakelijk is om taaksucces en inferentiekosten effectief in evenwicht te brengen.

2. Methodologie: Het Hera Framework

De auteurs stellen Hera voor, een lichtgewicht stapniveau device-cloud coördinator ontworpen om de afweging tussen taaksucces en cloudgebruik te optimaliseren. Hera is een decoder-only Transformer met 500M parameters en een binaire classificatiekop die, bij elke interactiestap $t$, beslist of de state wordt doorgestuurd naar het lokale device-beleid ($\pi_{\theta_d}$) of het cloud-beleid ($\pi_{\theta_c}$).

Hera maakt gebruik van een nieuw tweefasen trainingsparadigma:

Fase 1: Cold-Start via Imitatie Learning (IL)

Om het routingbeleid te initialiseren zonder directe versterkingssignalen, gebruiken de auteurs imitatie learning:

1. Trajectcollectie: Zowel device- als cloudagenten worden uitgevoerd om trajecten te genereren voor een reeks taken.
2. Filtering: Taken waarbij de cloud significant beter presteert dan het device (een marge $\delta$ overschrijdend) worden geselecteerd om een regime te definiëren waar cloudassistentie noodzakelijk is.
3. Supervisie: Het device-agent wordt "afgespeeld" op de succesvolle trajectstaten van de cloud. Een stapniveau consistentielabel $y_t$ wordt gegenereerd:
   • $y_t = 1$ (Routen naar Cloud): Als de actie van het device $a^d_t$ niet overeenkomt met de actie van de cloud $a^c_t$.
   • $y_t = 0$ (Routen naar Device): Als de acties overeenkomen.
4. Training: De router wordt getraind als een binaire classifier met behulp van Binary Cross-Entropy (BCE) verlies op dit dataset, waarbij zijn latente ruimte wordt afgestemd op het prestatieverschil tussen de twee modellen.

Fase 2: Kostenbewuste Versterking Learning (RL) met State Groepering

De IL-fase biedt een prior, maar optimaliseert niet direct het gezamenlijke doel van het maximaliseren van de return terwijl cloudoproepen worden geminimaliseerd. Hera wordt verfijnd met RL:

1. Rollouts: Meerdere trajecten ($N$) worden verzameld voor elke taak met de huidige router, waarbij stochasticiteit wordt geïntroduceerd via een temperatuur-geschaalde Bernoulli-verdeling om exploratie te stimuleren.
2. State Groepering: Identieke staten die tijdens verschillende rollouts worden aangetroffen, worden gegroepeerd. Voor elke unieke state $s$ schat het systeem:
   • $\hat{R}(d; s)$: De verwachte trajectreturn als beslissing $d$ (device of cloud) wordt genomen.
   • $\hat{C}(d; s)$: Het verwachte aantal toekomstige cloudoproepen (inclusief de huidige stap) als beslissing $d$ wordt genomen.
3. Preferentielabeling: Een preferentielabel $y(s)$ wordt afgeleid door de beslissing te selecteren met de hogere geschatte return. Als de returns vergelijkbaar zijn (binnen een marge $\epsilon$), wordt de beslissing met het lagere verwachte toekomstige cloudgebruik geprefereerd.
4. Optimalisatie: De router wordt bijgewerkt door BCE-verlies te minimaliseren op deze preferentielabels, met een $L_2$ regularisatieterm om overmatige afwijking van de door IL geïnitieerde parameters te voorkomen.

3. Belangrijkste Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Eerste Stapniveau Coördinator: Hera wordt gepresenteerd als de eerste device-cloud agentcoördinator die op stapniveau werkt voor lange-horizon taken, waarbij de afweging tussen prestaties en kosten granularer wordt aangepakt dan eerdere taakniveau-routers.
2. Tweefasen Trainingsframework: De auteurs ontwikkelen een specifiek trainingsproces dat imitatie learning combineert (voor cold-start initialisatie op basis van actieconsistentie) en state-gesorteerde versterking learning (voor gezamenlijke optimalisatie van trajectreturn en cloudkosten).
3. Empirische Superieure: Uitgebreide experimenten tonen aan dat Hera state-of-the-art baselines overtreft, waarbij een sterkere Pareto-grens wordt bereikt tussen taaksucces en cloudgebruik.

4. Experimentele Resultaten

Hera werd geëvalueerd op drie uitdagende lange-horizon benchmarks: ALFWorld (geëmbodide huishoudelijke taken), WebShop (e-commerce navigatie) en AppWorld (multi-app coderingstaken). Het device-model was Qwen2.5-7B-Instruct en het cloud-model was Qwen-Max.

Belangrijkste Bevindingen:

• Prestatie-Kosten Afweging: Hera behaalde 92,5% van het succespercentage van cloud-only, terwijl de cloud slechts voor 46,3% van de stappen werd gebruikt.
• Vergelijking met Baselines:
  • Op ALFWorld behaalde Hera een succespercentage van 86,1% met een kosten van $4,0 \times 10^{-3}$, aanzienlijk beter dan de cloud-only baseline (90,9% succes, $11,7 \times 10^{-3}$ kosten) en alle andere routing baselines (bijv. RouteLLM, FrugalGPT).
  • Op WebShop bereikte Hera 34,1% succes met een kosten van $8,1 \times 10^{-3}$, vergeleken met 35,6% succes voor cloud-only bij $14,7 \times 10^{-3}$.
  • Op AppWorld behaalde Hera 19,7% succes met een kosten van $31,3 \times 10^{-3}$, vergeleken met 22,6% succes voor cloud-only bij $43,8 \times 10^{-3}$.
• Latentie: Door cloudoproepen te verminderen, verlaagde Hera de end-to-end latentie aanzienlijk (bijv. 105,5s versus 174,1s op ALFWorld) terwijl hoge succespercentages werden behouden.
• Ablatiestudies: Het verwijderen van de RL-fase resulteerde in lagere succespercentages en hoger cloudgebruik. Het verwijderen van de IL-fase leidde tot onstabiele training en slechtere prestaties, wat de noodzaak van het tweefasenproces bevestigt.
• Micro-benchmarks: Analyse toonde aan dat Hera effectief "kritieke stappen" identificeert die diepe contexttracking of complexe constraint-compositie vereisen, deze routeert naar de cloud, terwijl routine-stappen lokaal worden afgehandeld.

5. Betekenis en Claims

Het artikel betoogt dat Hera een cruciale verschuiving vertegenwoordigt van grove, taakniveau-routing naar fijnmazige, dynamische samenwerking. De betekenis hiervan ligt in:

• Democratisering van Geavanceerde Agenten: Door aan te tonen dat slechts een klein deel van de kritieke stappen cloudinterventie vereist, verlaagt Hera de rekenkundige en financiële drempels voor het implementeren van geavanceerde agenten op gebruikersapparaten.
• Mogelijkmaking van Real-time Toepassingen: Het framework maakt latentie-gevoelige toepassingen (bijv. robotbesturing, interactieve assistenten) haalbaar op device-hardware zonder prohibitieve kosten of vertragingen.
• Schaalbaarheid: Hera vestigt een sterke prestatie-kosten Pareto-grens, wat wijst op een levensvatbaar pad naar schaalbare, duurzame en alomtegenwoordige autonome agenten in real-world omgevingen waar resourcebeperkingen van het grootste belang zijn.

De auteurs merken beperkingen op, waaronder de aanname van synchrone, betrouwbare connectiviteit en het ontbreken van ingebouwde privacybehoudende mechanismen voor uitgeladen data, en identificeren deze als gebieden voor toekomstig onderzoek.