Riepilogo Tecnico: Hera – Apprendimento del Coordinamento a Lungo Orizzonte per Agenti LLM Collaborativi Dispositivo-Cloud

1. Enunciato del Problema

Gli agenti basati su Modelli Linguistici (LLM) hanno dimostrato la capacità di risolvere compiti complessi a lungo orizzonte attraverso l'interazione autonoma con gli ambienti. Tuttavia, il loro dispiegamento nel mondo reale si scontra con un fondamentale dilemma dispositivo-cloud:

• Vincoli lato dispositivo: I modelli on-device (tipicamente <10B parametri) sono efficienti e a bassa latenza, ma spesso mancano della profondità di ragionamento necessaria per una pianificazione complessa a più passaggi, portando a un degrado delle prestazioni e a traiettorie incoerenti.
• Limitazioni lato cloud: I potenti modelli cloud offrono un ragionamento superiore, ma introducono una significativa latenza di rete, elevati costi computazionali e preoccupazioni sulla privacy, rendendoli poco pratici per applicazioni in tempo reale come la robotica o la navigazione di interfacce grafiche interattive.

I metodi esistenti di instradamento dispositivo-cloud tipicamente prendono decisioni grossolane a livello di compito, assegnando l'intera query o al dispositivo o al cloud basandosi sulla difficoltà stimata o sulla confidenza. Questo approccio "tutto o niente" è inadatto ai compiti di agente a lungo orizzonte, dove l'esecuzione si svolge come una sequenza di passaggi interdipendenti con difficoltà variabile. Il documento ipotizza che sia necessaria una strategia di coordinamento a livello di passaggio più granulare per bilanciare efficacemente il successo del compito e il costo dell'inferenza.

2. Metodologia: Il Framework Hera

Gli autori propongono Hera, un coordinatore dispositivo-cloud a livello di passaggio leggero progettato per ottimizzare il compromesso tra successo del compito e utilizzo del cloud. Hera è un Transformer decoder-only da 500M parametri con un testina di classificazione binaria che decide, a ogni passaggio di interazione $t$, se instradare lo stato alla policy locale del dispositivo ($\pi_{\theta_d}$) o alla policy del cloud ($\pi_{\theta_c}$).

Hera impiega un nuovo paradigma di training a due stadi:

Stadio 1: Avvio a Freddo tramite Apprendimento per Imitazione (IL)

Per inizializzare la policy di instradamento senza segnali di rinforzo diretti, gli autori utilizzano l'apprendimento per imitazione:

1. Raccolta delle Traiettorie: Sia gli agenti dispositivo che quelli cloud vengono eseguiti per generare traiettorie per un insieme di compiti.
2. Filtraggio: Vengono selezionati i compiti in cui il cloud supera significativamente il dispositivo (superando un margine $\delta$) per definire un regime in cui è necessaria l'assistenza del cloud.
3. Supervisione: L'agente dispositivo viene "riprodotto" sugli stati delle traiettorie di successo del cloud. Viene generata un'etichetta di coerenza a livello di passaggio $y_t$:
   • $y_t = 1$ (Instrada al Cloud): Se l'azione del dispositivo $a^d_t$ non concorda con l'azione del cloud $a^c_t$.
   • $y_t = 0$ (Instrada al Dispositivo): Se le azioni concordano.
4. Training: Il router viene addestrato come classificatore binario utilizzando la perdita di Entropia Incrociata Binaria (BCE) su questo dataset, allineando il suo spazio latente alla differenza di prestazioni tra i due modelli.

Stadio 2: Apprendimento per Rinforzo Consapevole dei Costi (RL) con Raggruppamento degli Stati

Lo stadio IL fornisce un prior ma non ottimizza direttamente l'obiettivo congiunto di massimizzare il ritorno minimizzando le chiamate al cloud. Hera viene raffinato utilizzando RL:

1. Rollout: Vengono raccolte multiple traiettorie ($N$) per ogni compito utilizzando il router corrente, introducendo stocasticità tramite una distribuzione di Bernoulli scalata per temperatura per incoraggiare l'esplorazione.
2. Raggruppamento degli Stati: Gli stati identici incontrati in diversi rollout vengono raggruppati. Per ogni stato unico $s$, il sistema stima:
   • $\hat{R}(d; s)$: Il ritorno atteso della traiettoria se viene presa la decisione $d$ (dispositivo o cloud).
   • $\hat{C}(d; s)$: Le future chiamate al cloud attese (incluso il passaggio corrente) se viene presa la decisione $d$.
3. Etichettatura delle Preferenze: Un'etichetta di preferenza $y(s)$ viene derivata selezionando la decisione con il ritorno stimato più alto. Se i ritorni sono comparabili (entro un margine $\epsilon$), viene preferita la decisione con un minor utilizzo futuro atteso del cloud.
4. Ottimizzazione: Il router viene aggiornato minimizzando la perdita BCE su queste etichette di preferenza, con un termine di regolarizzazione $L_2$ per prevenire una deriva eccessiva dai parametri inizializzati con IL.

3. Contributi Chiave

Il documento rivendica tre contributi principali:

1. Primo Coordinatore a Livello di Passaggio: Hera viene presentato come il primo coordinatore agente dispositivo-cloud che opera a livello di passaggio per compiti a lungo orizzonte, affrontando il compromesso prestazioni-costi in modo più granulare rispetto ai precedenti router a livello di compito.
2. Framework di Training a Due Stadi: Gli autori sviluppano una specifica pipeline di training che combina l'apprendimento per imitazione (per l'inizializzazione a freddo basata sulla coerenza delle azioni) e l'apprendimento per rinforzo con raggruppamento degli stati (per l'ottimizzazione congiunta del ritorno della traiettoria e del costo del cloud).
3. Superiorità Empirica: Esperimenti estensivi dimostrano che Hera supera le linee di base dello stato dell'arte, raggiungendo una frontiera di Pareto più forte tra successo del compito e utilizzo del cloud.

4. Risultati Sperimentali

Hera è stato valutato su tre benchmark impegnativi a lungo orizzonte: ALFWorld (compiti domestici incarnati), WebShop (navigazione e-commerce) e AppWorld (compiti di codifica multi-app). Il modello dispositivo era Qwen2.5-7B-Instruct, mentre il modello cloud era Qwen-Max.

Risultati Chiave:

• Compromesso Prestazioni-Costi: Hera ha raggiunto il 92,5% del tasso di successo del solo cloud utilizzando il cloud per solo il 46,3% dei passaggi.
• Confronto con le Linee di Base:
  • Su ALFWorld, Hera ha raggiunto un tasso di successo dell'86,1% con un costo di $4,0 \times 10^{-3}$, superando significativamente la linea di base solo-cloud (90,9% di successo, costo $11,7 \times 10^{-3}$) e tutte le altre linee di base di instradamento (es. RouteLLM, FrugalGPT).
  • Su WebShop, Hera ha raggiunto il 34,1% di successo con un costo di $8,1 \times 10^{-3}$, rispetto al 35,6% di successo del solo-cloud a $14,7 \times 10^{-3}$.
  • Su AppWorld, Hera ha raggiunto il 19,7% di successo con un costo di $31,3 \times 10^{-3}$, rispetto al 22,6% di successo del solo-cloud a $43,8 \times 10^{-3}$.
• Latenza: Riducendo le invocazioni al cloud, Hera ha abbassato significativamente la latenza end-to-end (es. 105,5s contro 174,1s su ALFWorld) mantenendo alti tassi di successo.
• Studi di Ablazione: La rimozione dello stadio RL ha portato a tassi di successo inferiori e a un maggiore utilizzo del cloud. La rimozione dello stadio IL ha portato a un training instabile e a prestazioni peggiori, confermando la necessità della pipeline a due stadi.
• Micro-benchmark: L'analisi ha mostrato che Hera identifica efficacemente i "passaggi critici" che richiedono un tracciamento profondo del contesto o una composizione complessa di vincoli, instradandoli al cloud, mentre gestisce localmente i passaggi di routine.

5. Significato e Rivendicazioni

Il documento sostiene che Hera rappresenta un cambiamento fondamentale dall'instradamento grossolano a livello di compito alla collaborazione dinamica e granulare. La sua importanza risiede in:

• Democratizzazione degli Agenti Avanzati: Dimostrando che solo una piccola frazione di passaggi critici richiede intervento del cloud, Hera riduce le barriere computazionali e finanziarie per il dispiegamento di agenti sofisticati sui dispositivi degli utenti.
• Abilitazione di Applicazioni in Tempo Reale: Il framework rende fattibili applicazioni sensibili alla latenza (es. controllo robotico, assistenti interattivi) sull'hardware dei dispositivi senza costi o ritardi proibitivi.
• Scalabilità: Hera stabilisce una forte frontiera di Pareto prestazioni-costi, suggerendo un percorso praticabile verso agenti autonomi scalabili, sostenibili e ubiqui in ambienti reali dove i vincoli di risorse sono primari.

Gli autori notano limitazioni, inclusa l'assunzione di connettività sincrona e affidabile e la mancanza di meccanismi integrati per la preservazione della privacy per i dati scaricati, identificando questi aspetti come aree per future ricerche.