Hyperparameter Learning for Latent Factorization of Tensors for Representation Learning to Large-scale Dynamic Weighted Directed Network

Sintesi Tecnica: Apprendimento degli Iperparametri per la Fattorizzazione Latente di Tensori

Definizione del Problema
Le reti dirette pesate dinamiche (DWDN) su larga scala sono essenziali per modellare le interazioni variabili nel tempo in domini quali la raccomandazione personalizzata, il trasporto intelligente e le infrastrutture delle reti elettriche. Il metodo della Fattorizzazione Latente dei Tensori (LFT) è ampiamente utilizzato per estrarre rappresentazioni latenti da queste reti, modellandole come tensori ad alta dimensione e incompleti (HDI) ed eseguendo approssimazioni a basso rango. Tuttavia, le prestazioni della LFT dipendono fortemente dalla selezione degli iperparametri, specificamente dei coefficienti di regolarizzazione ($\lambda_1, \lambda_2, \lambda_3$) associati alle matrici delle caratteristiche latenti. Nella pratica attuale, questi parametri vengono tipicamente determinati tramite una regolazione manuale o ricerca a griglia (grid search). Questi metodi tradizionali sono computazionalmente costosi, inefficienti e richiedono un significativo sforzo umano, spesso fallendo nell'identificare le combinazioni ottimali di parametri che minimizzano gli errori di previsione.

Metodologia
Per affrontare l'inefficienza della regolazione manuale degli iperparametri, questo articolo propone DE-LFT, un framework di ottimizzazione automatica degli iperparametri basato sulla Evoluzione Differenziale (DE). La metodologia centrale prevede l'integrazione dell'algoritmo DE direttamente nel processo di addestramento del modello LFT.

1. Formulazione del Modello: Il modello LFT approssima le voci osservate in un tensore del terzo ordine (che rappresenta la DWDN) utilizzando tre matrici di fattori latenti a basso rango ($U, S, T$). La previsione per una voce $\hat{x}_{u,s,t}$ è calcolata come la somma dei prodotti dei fattori latenti attraverso la dimensione $K$.
2. Strategia di Ottimizzazione: Inve Instead di parametri di regolarizzazione fissi o cercati manualmente, l'algoritmo DE agisce come un'euristica basata sulla popolazione. Esso evolve iterativamente le soluzioni candidate attraverso operazioni di mutazione, crossover e selezione.
3. Funzione Obiettivo: L'algoritmo DE ricerca nello spazio degli iperparametri per trovare l'insieme ottimale di coefficienti di regolarizzazione ($\lambda_1, \lambda_2, \lambda_3$) che minimizzi l'errore di previsione, misurato tramite l'Errore Assoluto Medio (MAE) e l'Errore Quadratico Medio (RMSE).
4. Processo di Addestramento: Il modello LFT viene addestrato utilizzando la Discesa del Gradiente Stocastico (SGD), mentre l'algoritmo DE ottimizza simultaneamente i parametri di regolarizzazione per migliorare adattivamente l'accuratezza del modello.

Contributi Chiave

• Framework Automatizzato: L'articolo introduce un nuovo framework che automatizza la selezione dei parametri di regolarizzazione per la LFT, eliminando la dipendenza dalla regolazione manuale o dalle ricerche esaustive a griglia.
• Integrazione di DE: Integra con successo l'Evoluzione Differenziale nel ciclo di addestramento della fattorizzazione tensoriale, permettendo al modello di esplorare adattivamente lo spazio degli iperparametri.
• Miglioramento delle Prestazioni: L'approccio è progettato per migliorare l'accuratezza della previsione riducendo al contempo i costi computazionali associati alla vasta regolazione dei parametri.

Risultati Sperimentali
Il metodo proposto DE-LFT è stato valutato su quattro dataset benchmark di DWDN del mondo reale. I dataset sono stati suddivisi in set di addestramento all'80% e di test al 20%. Le prestazioni sono state confrontate con la LFT standard con parametri regolati manualmente e la LFT con ottimizzazione tramite Grid Search.

I risultati, misurati in termini di RMSE e MAE, indicano che:

• La Grid Search ha fornito lievi miglioramenti rispetto alla regolazione manuale esplorando uno spazio di parametri più ampio.
• DE-LFT ha costantemente ottenuto le migliori prestazioni su tutti e quattro i dataset.
• Nello specifico, DE-LFT ha prodotto i tassi di errore più bassi. Ad esempio, sul dataset Yelp, DE-LFT ha raggiunto un RMSE di 0,9724 e un MAE di 0,7668, superando sia la regolazione manuale (RMSE: 1,0186) che la Grid Search (RMSE: 1,0012). Tendenze simili sono state osservate nei dataset CDs, Network7a e Network6a.

Significatività e Rivendicazioni
L'articolo sostiene che il framework DE-LFT proposto affronta efficacemente il collo di bottiglia della selezione degli iperparametri nella fattorizzazione tensoriale per reti dinamiche. Automatizzando l'apprendimento dei coefficienti di regolarizzazione ottimali, il metodo migliora l'accuratezza della previsione dei modelli LFT senza richiedere un esteso intervento umano. Gli autori concludono che l'Evoluzione Differenziale è uno strumento più efficace per la ricerca nello spazio degli iperparametri in questo contesto rispetto agli approoli tradizionali manuali o basati sulla griglia, producendo costantemente valori di MAE e RMSE inferiori su dati reali.