Riepilogo Tecnico: Before Parc Fermé (BPF) per Embodied LLM Efficienti

Problema

I modelli Large Language Model (LLM) incarnati (embodied), sono sempre più impiegati in pipeline di controllo robotico, come la guida autonoma, per interpretare comandi in linguaggio naturale e adattare i parametri del controllore. Tuttavia, questi modelli affrontano significative sfide di deployment dovute all'overhead di memoria e alla latenza di generazione, che ostacolano l'esecuzione in tempo reale su hardware limitato (ad esempio, Jetson AGX Orin).

Sebbene il pruning offra una soluzione per ridurre le dimensioni del modello e il costo computazionale, il momento ottimale per il pruning all'interno della specifica pipeline di addestramento degli LLM incarnati rimane incerto. Questi sistemi subiscono tipicamente un Supervised Fine-Tuning (SFT) seguito da Reinforcement Learning (RL) con feedback a ciclo chiuso.

• Pruning post-training (dopo SFT e RL) comprime il modello finale, ma non offre ai pesi rimanenti alcuna opportunità di adattarsi alle strutture rimosse.
• Pruning pre-RL (dopo SFT, prima di RL) rimuove strutture prima che il modello abbia appreso i comportamenti specifici a ciclo chiuso richiesti dal compito, rischiando di scartare componenti critici.
• La selezione diretta di modelli densi più piccoli (ad esempio, 1.5B rispetto a 3B di parametri) spesso risulta in un compromesso subottimale tra dimensione del modello e adattabilità del controllo, poiché i modelli più grandi forniscono capacità di ragionamento significativamente migliori che i modelli più piccoli non possono eguagliare.

La sfida centrale consiste nel determinare quando eseguire il pruning per massimizzare la ritenzione delle capacità di ragionamento e di controllo minimizzando al contempo l'uso delle risorse.

Metodologia: Before Parc Fermé (BPF)

Gli autori propongono Before Parc Fermé (BPF), una famiglia di strategie di pruning che integra la compressione direttamente nel processo di addestramento, accoppiando specificamente il pruning con la fase di RL. Il nome "Parc Fermé" si riferisce al periodo della Formula 1 in cui le auto sono bloccate da modifiche; qui, denota metaforicamente la fase post-training in cui l'architettura è fissa. BPF comprime il modello prima di questo blocco, mentre viene ancora ottimizzato per il comportamento a ciclo chiuso.

Il framework utilizza LLM-Pruner con uno score di importanza basato su Taylor per eseguire un pruning strutturato. Il documento valuta due varianti principali di BPF rispetto a diversi baseline:

1. BPF-RL (Pruning iterativo durante RL):

   • Il modello subisce un intero SFT senza pruning.
   • Durante la fase di RL, il pruning viene eseguito iterativamente a intervalli prestabiliti ($\Delta t_{RL}$).
   • Ad ogni intervallo, i gruppi di parametri con lo score più basso vengono rimossi per raggiungere incrementalmente il target di pruning.
   • Ciò consente ai pesi rimanenti di adattarsi alle strutture rimosse pur continuando a ricevere feedback dal compito a ciclo chiuso.

2. BPF-SFT/RL (Split Pruning):

   • Fase SFT: Una compressione parziale viene applicata dopo una fase iniziale di warm-up, rimuovendo una porzione del modello ($\rho_{SFT}$).
   • Fase RL: La compressione rimanente ($\rho - \rho_{SFT}$) viene ottenuta iterativamente durante il RL, similmente a BPF-RL.
   • Questo approccio sfrutta l'SFT per rimuovere strutture chiaramente ridondanti basate sui prompt del compito, affidandosi al feedback del RL per raffinare la compressione in base alle prestazioni a ciclo chiuso.

Baseline per il confronto:

• Post-Training Pruning (PTP): Pruning applicato dopo l'intero SFT e RL.
• PTP + Recovery: PTP seguito da ulteriori step di RL per recuperare le prestazioni.
• SFT-stage Pruning: Singolo step di compressione durante l'SFT prima di RL.
• Modelli Densi più piccoli: Utilizzo diretto di architetture più piccole (ad esempio, Qwen2.5-1.5B) della stessa famiglia di modelli.

Contributi Chiave

1. Introduzione di BPF: Una nuova ricetta di pruning che accoppia il RL con il pruning strutturato per i controller di LLM incarnati, dimostrando che il timing del pruning è una scelta di design critica.
2. Trade-off Prestazioni vs Efficienza: Gli autori mostrano che le strategie BPF, in particolare BPF-SFT/RL, raggiungono trade-off superiori tra dimensione del modello e prestazioni del compito rispetto al pruning post-training o alla semplice selezione di modelli densi più piccoli.
3. Valutazione End-to-End: Il lavoro sottolinea che il pruning degli LLM incarnati deve essere valutato olisticamente. Le variazioni nel numero di token generati a causa del pruning possono alterare la latenza e il comportamento a valle, rendendo necessaria una valutazione dell'intera pipeline piuttosto che un'analisi isolata delle metriche.

Risultati Sperimentali

I metodi sono stati valutati su RobotxR1, una pipeline di guida autonoma composta da due moduli:

• DecisionxR1: Valuta se il comportamento attuale corrisponde alle istruzioni dell'utente.
• MPCxR1: Adatta i parametri del Model Predictive Control (MPC).

1. Prestazioni del Compito e Adattabilità

• Superiorità di BPF-SFT/RL: Sul modulo DecisionxR1 (3 miliardi di parametri), BPF-SFT/RL ha ottenuto il miglior trade-off. Con un rapporto di pruning del 45%, ha migliorato l'adattabilità del controllo dell'11,4% rispetto a PTP+R e del 17% rispetto a PTP.
• Confronto con Modelli più Piccoli: Comprimendo il modello da 3B, BPF-SFT/RL ha ottenuto un trade-off dimensione-prestazioni end-to-end 1,69 volte migliore rispetto alla selezione diretta del modello denso 1.5B. Nello specifico, BPF-SFT/RL ha ridotto i parametri di 0,91B con una perdita di adattabilità del 7,61%, mentre il passaggio al modello 1.5B ha ridotto i parametri di 1,55B ma ha comportato una perdita del 21,7%.
• Pruning Congiunto: Il pruning congiunto di entrambi i moduli ha rivelato che MPCxR1 è più sensibile al pruning rispetto a DecisionxR1. Un pruning moderato di MPCxR1 (ad esempio, 10%) combinato con un pruning più elevato di DecisionxR1 (ad esempio, 30-45%) ha prodotto i migliori risultati Pareto-ottimali.

2. Deployment Embedded (Jetson AGX Orin)

• Throughput e Memoria: I modelli sottoposti a pruning hanno mostrato miglioramenti significativi nel throughput di decodifica e nell'impronta di memoria. Ad esempio, il pruning di DecisionxR1 del 45% ha ridotto la memoria da 2,07GB a 1,51GB e ha aumentato il throughput da 45 a 58 token/sec.
• Sfumatura della Latenza: Il documento nota che la riduzione dei parametri non riduce automaticamente la latenza end-to-end. Il pruning può aumentare la verbosità dei token generati (ad esempio, MPCxR1 che genera più testo), il che può compensare i guadagni computazionali. La configurazione ottimale per la latenza (20% di pruning su DecisionxR1, 0% su MPCxR1) ha ridotto la latenza del 19,5% con solo una perdita dello 0,8% nelle prestazioni del compito.

Significato e Rivendicazioni

Il documento afferma che BPF-SFT/RL rappresenta la strategia più efficace per il deployment di LLM incarnati nella guida autonoma. Il suo significato primario risiede nel dimostrare che:

1. Il Timing è Fondamentale: Eseguire il pruning durante la fase di RL, mentre il modello si sta ancora adattando al feedback a ciclo chiuso, preserva maggiori capacità di ragionamento e di controllo rispetto al pruning eseguito dopo che l'addestramento è completato.
2. Efficienza vs Capacità: È possibile comprimere significativamente modelli più grandi e capaci (ad esempio, il 45%) mantenendo livelli di prestazione vicini al modello originale più elevato rispetto a quanto sia possibile semplicemente passando a un modello denso più piccolo.
3. Valutazione Olistica: La compressione efficace per i sistemi robotici richiede la valutazione dell'intera pipeline di controllo, poiché le variazioni indotte dal pruning nella lunghezza della generazione dei token possono impattare criticamente la latenza a valle e il comportamento del sistema.

Gli autori riconoscono i limiti, tra cui la mancanza di addestramento congiunto per i moduli sottoposti a pruning (MPCxR1 è stato addestrato sugli output di DecisionxR1 non sottoposto a pruning), l'uso di intervalli di pruning fissi e l'assenza di pruning consapevole della quantizzazione, che attualmente richiede il padding per allineare le dimensioni per i runtime di inferenza.