Covariance-Guided Resource Adaptive Learning for Efficient Edge Inference

1. Il Problema

L'inferenza di deep learning su dispositivi edge (come droni autonomi o sistemi di sorveglianza) deve soddisfare due vincoli critici e spesso conflittuali:

• Throughput (Velocità di elaborazione): Necessario per garantire una navigazione reattiva o un monitoraggio in tempo reale (es. 30-60 fps).
• Consumo Energetico: Deve rimanere entro un budget limitato per preservare la durata della batteria.

Le sfide principali identificate sono:

• Complessità dello spazio di configurazione: I dispositivi edge moderni (es. NVIDIA Jetson) offrono decine di parametri regolabili (frequenza CPU/GPU, clock della memoria, numero di core attivi, livello di concorrenza). Le interazioni tra questi parametri sono non lineari e complesse.
• Inefficienza dei preset: I produttori offrono modalità di potenza predefinite (es. "Max Power", "Default") che coprono solo una frazione minima delle configurazioni possibili, portando spesso a sprechi energetici o throughput insufficienti.
• Limiti delle soluzioni esistenti:
  • I metodi basati sul profiling (es. ALERT) richiedono un'analisi offline esaustiva che deve essere ripetuta per ogni nuovo modello o dispositivo, richiedendo ore di tempo ed energia.
  • I metodi basati sull'apprendimento (es. Reinforcement Learning) richiedono lunghi tempi di addestramento e molte iterazioni di prova ed errore.
  • La maggior parte degli approcci esistenti ottimizza un solo obiettivo (o throughput o potenza), trascurando la necessità di soddisfare contemporaneamente entrambi i vincoli.

2. Metodologia: CORAL

Il paper propone CORAL (Covariance-Guided Resource Adaptive Learning), un metodo di ottimizzazione online che non richiede profilazione offline.

Concetto Chiave: Covarianza di Distanza

CORAL sfrutta la covarianza di distanza (distance covariance), una misura statistica che cattura le dipendenze non lineari tra variabili senza assumere una forma funzionale specifica. A differenza della correlazione di Pearson (che rileva solo relazioni lineari), la covarianza di distanza è ideale per lo spazio di configurazione hardware complesso.

Algoritmo di Funzionamento

Il processo iterativo di CORAL (eseguito in circa 10 iterazioni) si articola in tre fasi:

1. Valutazione della Ricompensa e Verifica di Fattibilità:

   • Esegue l'inferenza con la configurazione corrente.
   • Misura throughput ($\tau$) e potenza ($p$).
   • Se la configurazione viola i vincoli ($\tau < \tau_{target}$ o $p > p_{budget}$), viene penalizzata e aggiunta a una lista di configurazioni proibite.
   • Se è fattibile, la ricompensa è l'efficienza ($\eta = \tau / p$).

2. Analisi di Correlazione:

   • Utilizza una finestra scorrevole delle osservazioni recenti.
   • Calcola i pesi di correlazione di distanza ($\alpha_i$ per il throughput, $\beta_i$ per la potenza) tra ogni parametro hardware (es. frequenza CPU) e le metriche di prestazione.
   • Identifica quali parametri hanno l'impatto maggiore sulle prestazioni.

3. Ricerca della Configurazione:

   • Genera la prossima configurazione basandosi sui pesi di correlazione.
   • I parametri con alta correlazione subiscono aggiustamenti più ampi, mentre quelli meno influenti vengono modificati minimamente.
   • Euristiche di Ottimizzazione: Se il throughput è soddisfatto ma la potenza è alta, CORAL riduce la frequenza CPU e massimizza il livello di concorrenza (sfruttando il fatto che la CPU è un grande consumatore di energia e la concorrenza può compensare la riduzione di prestazioni).

L'obiettivo è trovare una configurazione $s^*$ tale che: $\tau(s^*) \ge \tau_{target}$ e $p(s^*) \le p_{budget}$, massimizzando l'efficienza.

3. Contributi Chiave

1. Ottimizzazione Online Senza Profilazione: Introduzione dell'uso della covarianza di distanza per la ricerca di configurazioni hardware, permettendo l'adattamento in tempo reale senza bisogno di fasi di addestramento o profilazione offline costose.
2. Formulazione di Co-Ottimizzazione Throughput-Power: Il primo lavoro che formalizza esplicitamente l'inferenza edge come un problema di co-ottimizzazione con vincoli doppi (budget di potenza e target di throughput), affrontando scenari reali spesso ignorati.
3. Valutazione Completa: Test estesi su due dispositivi reali (NVIDIA Jetson Xavier NX e Orin Nano) e tre modelli di object detection di dimensioni diverse (YOLOv5-N, FRCNN-MobileNetV3, RetinaNet-ResNet50), coprendo un intervallo di 20x nella dimensione del modello.

4. Risultati Sperimentali

Gli esperimenti confrontano CORAL con baselines di stato dell'arte: ORACLE (ricerca esaustiva offline), ALERT (profilazione offline), ALERT-Online, e i preset del produttore.

• Scenario a Vincolo Singolo (Solo Throughput):

  • CORAL raggiunge il 96% - 100% delle prestazioni ottimali trovate dalla ricerca esaustiva (ORACLE).
  • Supera significativamente i preset del produttore (che raggiungono solo il 33-60% del throughput ottimale) e si avvicina ad ALERT, ma senza richiedere la profilazione offline.

• Scenario a Vincolo Doppio (Throughput + Potenza):

  • Questo è lo scenario più critico. Con limiti stretti (es. 6.5W e 30 fps su Xavier NX):
    • CORAL trova configurazioni valide (es. 34 fps a 5.9W), soddisfacendo entrambi i vincoli.
    • ALERT supera il budget di potenza (8.5W).
    • ALERT-Online fallisce nel trovare configurazioni valide entro il budget di iterazioni.
    • I preset del produttore o violano il limite di potenza o non raggiungono il throughput richiesto.
  • CORAL riesce a navigare efficacemente nello spazio di ricerca ristretto grazie alla sua capacità di identificare rapidamente i parametri ad alto impatto.

• Generalizzazione:

  • Man mano che i modelli diventano più pesanti (da YOLO a RetinaNet), le soluzioni baselines falliscono più frequentemente. CORAL mantiene prestazioni vicine all'ottimo, dimostrando di essere sempre più prezioso man mano che i vincoli si stringono e lo spazio delle soluzioni fattibili si restringe.

5. Significato e Impatto

Il lavoro di CORAL rappresenta un passo avanti significativo per l'efficienza dell'edge computing:

• Praticità: Elimina la necessità di costose e lunghe fasi di profilazione offline, rendendo l'ottimizzazione adattabile a nuovi modelli e dispositivi "on-the-fly".
• Efficienza Energetica: Permette di eseguire applicazioni AI critiche rispettando rigorosi budget energetici, estendendo la durata della batteria dei dispositivi autonomi.
• Robustezza: La capacità di gestire vincoli multipli e non lineari rende CORAL una soluzione robusta per scenari di deployment reali, dove le condizioni operative possono variare e le configurazioni predefinite sono spesso inadeguate.

In sintesi, CORAL dimostra che è possibile ottenere configurazioni hardware quasi ottimali per l'inferenza edge in tempo reale, utilizzando tecniche statistiche avanzate per guidare la ricerca in spazi complessi, superando i limiti delle approcci tradizionali basati su profilazione o apprendimento profondo.