Enabling Memory-efficient Im2win Convolution with Multi-precision Support on GPU CUDA and Tensor Cores
Questo articolo presenta un framework di convoluzione im2win ottimizzato e a efficienza di memoria per GPU che sfrutta il supporto multi-precisione e caratteristiche hardware specializzate come i Tensor Core per raggiungere prestazioni significativamente più elevate e un uso della memoria inferiore rispetto ai metodi esistenti come cuDNN e gli approcci basati su GEMM.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Il deep learning, la tecnologia alla base del moderno riconoscimento delle immagini e della guida autonoma, si basa pesantemente su un'operazione matematica chiamata convoluzione. Si può pensare a questa operazione come a una finestra scorrevole che scansiona un'immagine, confrontando piccoli frammenti di pixel con un insieme di modelli per identificare caratteristiche come bordi o texture. Questo processo è il motore dell'intelligenza artificiale, consumando la stragrande maggioranza del tempo e dell'energia necessari per far funzionare questi sistemi. Per rendere questi sistemi più veloci ed efficienti, i ricercatori hanno trascorso anni cercando di ottimizzare il modo in cui questa finestra scorrevole si muove sui dati sulle schede di computer, specificamente sulle potenti unità di elaborazione grafica (GPU) presenti nei computer di fascia alta. La sfida è sempre stata un compromesso: i metodi che sono veloci richiedono spesso enormi quantità di memoria temporanea, mentre i metodi che risparmiano memoria tendono a essere lenti o instabili.
Un team di ricercatori ha sviluppato un nuovo modo per eseguire questi calcoli che supera questo compromesso. Hanno perfezionato una tecnica chiamata "im2win", che riorganizza il modo in cui il computer memorizza e accede ai dati dell'immagine durante la scansione. Cambiando la disposizione dei dati, il nuovo metodo consente al computer di spostare le informazioni in un flusso fluido e continuo, invece di saltare in modo sparso. Questo semplice cambiamento nell'organizzazione riduce di oltre la metà la quantità di memoria temporanea che il computer deve contenere rispetto ai vecchi metodi standard. Inoltre, i ricercatori hanno adattato questa tecnica per farla funzionare con due diversi tipi di potenza di elaborazione all'interno dei chip moderni: i core a uso generale che gestiscono calcoli precisi, e i "tensor core" specializzati, progettati per velocizzare enormi bloci di numeri contemporaneamente.
I ricercatori hanno testato il loro approccio su dodici diversi tipi di compiti di elaborazione delle immagini, dai filtri semplici ai complessi strati presenti nelle reti neurali avanzate. Hanno scoperto che il loro metodo ottimizzato era significativamente più veloce degli attuali standard del settore. Eseguendo sui tensor core specializzati, il nuovo metodo ha raggiunto livelli di prestazioni 1,4 volte superiori alle migliori librerie software esistenti e 6,4 volte superiori a un'alternativa comune basata sulla moltiplicazione di matrici. In termini di velocità, misurata in trilioni di operazioni al secondo, il nuovo metodo era quasi tre volte più veloce della propria versione in esecuzione sui core a uso generale. Forse la cosa più importante è che questa velocità è arrivata con una drastica riduzione dell'uso della memoria. Il nuovo metodo richiedeva solo il 35% della memoria necessaria per l'approccio comune basato sulle matrici e il 53% della memoria utilizzata dal principale software del settore.
Per raggiungere questi risultati, il team ha introdotto diversi miglioramenti ingegneristici specifici. Hanno progettato l'accesso ai dati secondo un modello a "zig-zag", che evita che diverse parti della memoria del computer si affollino e rallentino l'una l'altra. Hanno anche impostato un sistema in cui il computer sposta il lotto successivo di dati in posizione mentre sta ancora calcolando il lotto corrente, nascondendo efficacementmente il tempo necessario per spostare le informazioni. Attraverso test accurati, hanno scoperto che questa tecnica di "double buffering" era il fattore più importante per i loro guadagni di velocità. Sebbene il modello a zig-zag fosse utile, era meno critico della capacità di sovrapporre il movimento dei dati al calcolo.
Lo studio conferma che, allineando attentamente il software con la disposizione fisica della memoria del computer e delle unità di elaborazione, è possibile rendere i sistemi di deep learning sia più veloci che più efficienti dal punto di vista della memoria senza sacrificare l'accuratezza. I ricercatori hanno dimostrato che il loro metodo funziona costantemente attraverso una vasta gamma di dimensioni delle immagini e forme dei filtri, provando che si tratta di una soluzione robusta per le diverse esigenze dell'intelligenza artificiale moderna. Risolvendo il problema del sovraccarico di memoria e dell'accesso inefficiente ai dati, questo lavoro fornisce un framework unificato che potrebbe consentire ai futuri sistemi di IA di eseguire modelli più complessi sull'hardware esistente, o di eseguire gli attuali modelli con molta meno energia e tempo.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.