Riepilogo Tecnico: LLM-as-Trainer per Solutori di Vehicle Routing Multi-Task

1. Definizione del Problema

I problemi di Vehicle Routing (VRP) comprendono una vasta gamma di varianti di ottimizzazione combinatoria (ad esempio, Capacitated VRP, VRP con Time Windows, vincoli di Backhaul). Sebbene i solutori neurali basati sul deep reinforcement learning abbiano mostrato risultati promettenti nella generazione di soluzioni fattibili in modo efficiente, gli approcci iniziali richiedevano tipicamente l'addestramento di modelli separati per ogni specifica combinazione di vincoli. Questa mancanza di scalabilità è problematica data l'esistenza di oltre 60 varianti di VRP nelle applicazioni reali.

I solutori neurali multi-task mirano a unificare queste varianti all'interno di un singolo modello per evitare l'addestramento separato. Tuttavia, rimane una sfida significativa: diverse varianti di VRP possiedono livelli differenti di difficoltà di ottimizzazione. I metodi di addestramento multi-task esistenti spesso coordinano i parametri condivisi attraverso il bilanciamento della perdita o del gradiente, ma mancano di un feedback per fasi (stage-wise feedback) esplicito riguardante le prestazioni relative di diversi task durante l'addestramento. Di conseguenza, i modelli possono diventare sbilanciati verso le varianti più facili, limitando la qualità complessiva della soluzione. Sebbene il meta-learning offra un addestramento adattivo, esso si basa tipicamente su un'ottimizzazione bi-livello, che comporta costi computazionali sostanziali e aggiornamenti del gradiente aggiuntivi.

2. Metodologia: LLM-as-Trainer (LaT)

Gli autori propongono LaT (LLM-as-Trainer), un paradigma di addestramento plug-and-play che utilizza un Large Language Model (LLM) pre-addestrato come trainer esterno per regolare l'addestramento congiunto di solutori neurali multi-task. L'innovazione principale risiede nell'uso dell'LLM per analizzare le metriche di validazione cross-task e generare un vettore di guida per fasi senza modificare l'architettura del solutore o richiedere l'ottimizzazione bi-livello.

2.1 Framework di Addestramento

LaT opera su un'architettura standard autoregressiva Transformer encoder-decoder (ad esempio, POMO, CaDA, ReLD), ma introduce un ramo laterale (side branch) leggero in ogni strato dell'encoder. Il processo segue questi passaggi:

1. Validazione Cross-Task: Ad intervalli prestabiliti (ogni $T_{ctrl}$ epoche), la policy corrente viene valutata su un set di validazione fisso per tutti i 1 6 varianti di VRP.
2. Costruzione dello Stato: Il sistema calcola il gap di riferimento relativo ($\eta_{r,k}$) per ogni task $k$ rispetto a una soluzione di riferimento pre-calcolata (generata da HGS o OR-Tools). Monitora inoltre la variazione di questo gap ($\Delta \eta_{r,k}$) e mantiene una cronologia dei record di validazione recenti.
3. Generazione della Guida LLM: Questo stato di addestramento strutturato (che include vincoli del task, gap correnti, variazioni del gap e tendenze storiche) viene formattato in un prompt e fornito a un LLM pre-addestrato e congelato (specificamente GLM-5.1 negli esperimenti). L'LLM produce un vettore di guida a 5 dimensioni $\gamma_r = [\gamma_C, \gamma_O, \gamma_B, \gamma_L, \gamma_{TW}]$, dove ogni dimensione corrisponde a uno dei cinque vincoli elementari (Capacità, Percorso Aperto, Backhaul, Lunghezza del Percorso, Finestra Temporale).
4. Iniezione nel Solutore: Durante le epoche di addestramento successive, il vettore di guida $\gamma_r$ viene concatenato con il vettore di vincoli binari $z_k$ del task corrente. Questo vettore combinato viene iniettato in un ramo laterale leggero in ogni strato dell'encoder. L'output del ramo laterale viene aggiunto all'output del backbone tramite un coefficiente apprendibile $\alpha$.
5. Ottimizzazione della Policy: Il solutore viene aggiornato utilizzando metodi standard di policy gradient (ad esempio, in stile POMO). L'LLM non riceve gradienti e non viene interrogato durante l'inferenza.

2.2 Inferenza

Dopo la conclusione dell'addestramento, il vettore di guida finale viene fissato e l'LLM viene rimosso. Il solutore distribuito mantiene solo i rami laterali appresi e il vettore di guida fisso, non richiedendo chiamate API all'LLM e introducendo un overhead computazionale trascurabile.

3. Contributi Chiave

Il documento evidenzia tre contributi primari:

• Nuovo Paradigma di Addestramento: LaT è il primo paradigma di addestramento che introduce un LLM pre-addestrato come trainer esterno specificamente per i solutori neurali di vehicle routing multi-task. Incorpora esplicitamente le prestazioni di validazione cross-task nel ciclo di ottimizzazione della policy.
• Meccanismo di Guida Leggero: Gli autori progettano un meccanismo che genera un vettore di guida per fasi partendo dalle metriche di validazione. Questo vettore viene combinato con i vincoli del task e iniettato negli strati dell'encoder, fornendo informazioni di addestramento aggiuntive senza l'onere computazionale dell'ottimizzazione bi-livello o degli aggiornamenti dell'inner-loop.
• Generalità Plug-and-Play: Il metodo è progettato per essere integrato con i solutori neurali esistenti (dimostrato sui backbone ReLD e CaDA) senza alterare la policy autoregressiva centrale o l'architettura del decoder.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 16 varianti di VRP formate da cinque vincoli elementari, con dimensioni del problema di 50 e 100 nodi.

• Prestazioni sulle Varianti Addestrate: Le varianti LaT (LaT-ReLD e LaT-CaDA) hanno costantemente ottenuto gap di riferimento relativi inferiori rispetto ai loro modelli backbone su tutte le sei varianti di addestramento. Ad esempio, LaT-CaDA ha ridotto il gap medio sulle varianti addestrate dall'1,810% all'1,669%.
• Generalizzazione Zero-Shot: Sulle restanti dieci varianti di VRP non viste, LaT ha dimostrato una forte capacità di generalizzazione. LaT-CaDA ha superato il baseline CaDA in tutti i 20 scenari non visti (50 e 100 nodi), riducendo il gap medio dal 5,490% al 5,067%.
• Confronto con lo Stato dell'Arte (SOTA): Le varianti LaT hanno ottenuto i gap più bassi nella maggior parte degli scenari rispetto ad altri solutori multi-task allo stato dell'arte (ad esempio, MVMoE, CCL, PoMtVRS).
• Efficienza: Il metodo ha introdotto un overhead di tempo di inferenza trascurabile (3–4 secondi per istanze da 50 nodi), comparabile ai backbone. Il tempo di addestramento è aumentato di meno dell'1,5% a causa delle chiamate periodiche all'LLM.
• Studi di Ablazione:
  • Rimuovere la guida generata dall'LLM (sostituendola con un vettore fisso) ha degradato le prestazioni, confermando il valore della guida adattiva.
  • Rimuovere il vettore dei vincoli del task ha peggiorato ulteriormente le prestazioni, mostrando la necessità di informazioni esplicite sul task.
  • Sostituire l'LLM con un generatore di guida basato su MLP ha prodotto gap più elevati, suggerendo che il miglioramento derivi dalle capacità di ragionamento dell'LLM piuttosto che dal semplice aumento della capacità del modello.
  • Iniettare la guida dopo ogni strato dell'encoder (LaT EncAll) si è rivelato superiore rispetto all'iniezione solo all'input, all'output o al contesto del decoder.

5. Significato e Rivendicazioni

Il documento sostiene che LaT affronti efficacementamente il limite degli attuali solutori multi-task rispondendo esplicitamente alle differenze di prestazione cross-task correnti. Sfruttando un LLM congelato come "trainer" periodico, il metodo fornisce un feedback per fasi che guida il solutore neurale a bilanciare l'apprendimento tra varianti di diversa difficoltà.

Gli autori sottolineano che LaT migliora la qualità della soluzione sia sulle varianti addestrate che su quelle non viste, mantenendo l'efficienza di inferenza. Notano che, sebbene LaT mostri miglioramenti costanti, la sua efficacia può dipendere dall'architettura specifica del backbone (ad esempio, LaT-CaDA ha mostrato guadagni più consistenti rispetto a LaT-ReLD sulle varianti non viste). Il documento conclude che questo approccio offre un paradigma di addestramento generale ed efficace per scenari con vincoli complessi, sebbene il lavoro futuro possa esplorare set di vincoli più ampi e meccanismi di guida più coerenti tra diversi solutori.