Neural Architecture Search on Large Kernel Convolution Search Space for Computer Vision Tasks
Questo articolo introduce LarKNAS, un nuovo metodo di Neural Architecture Search caratterizzato da uno spazio di ricerca per convoluzioni con kernel ampi e una strategia di stima del gradiente efficiente che scopre modelli convoluzionali su larga scala con prestazioni paragonabili alle architetture progettate manualmente, riducendo significativamente i costi di ricerca.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della visione artificiale, le macchine imparano a vedere elaborando le immagini attraverso strati di filtri matematici, molto simile a un occhio umano che fa passare la luce attraverso una lente per mettere a fuoco una scena. Per anni, i design più riusciti per questi occhi digitali si sono basati su piccoli filtri ripetitivi che esaminavano minuscole porzioni di un'immagine alla volta. Sebbene questi piccoli filtri funzionassero bene per compiti basilari, i ricercatori iniziarono a sospettare che stessero raggiungendo un limite nel tentativo di costruire modelli abbastanza grandi da comprendere scene complesse, come una strada affollata o un vasto paesaggio. La saggezza prevalente suggeriva che, per rendere questi sistemi più intelligenti, fosse sufficiente renderli semplicemente più grandi o più profondi, accumulando più strati di questi piccoli filtri. Tuttavia, questo approccio portava spesso a rendimenti decrescenti, dove l'aggiunta di potenza di calcolo produceva solo minimi miglioramenti nell'accuratezza. Sorse allora una domanda: forse il problema non era la dimensione della macchina, ma la dimensione degli strumenti che usava per guardare il mondo.
Un team di ricercatori della PLA Information Engineering University si è proposto di sfidare questa ipotesi progettando un nuovo metodo per scoprire automaticamente modi migliori per far vedere le cose ai computer. Si sono concentrati su un tipo specifico di filtro noto come kernel convoluzionale, che è lo strumento matematico che scansiona un'immagine per rilevare caratteristiche come bordi o texture. Mentre i design moderni si erano ampiamente assestati sull'uso di kernel molto piccoli, i ricercatori ipotizzarono che l'uso di kernel molto più grandi potesse permettere alla macchina di vedere un contesto più ampio in un unico sguardo, similmente a come un essere umano potrebbe fare un passo indietro per vedere l'intera immagine invece di concentrarsi su un singolo mattone. Per testare questo, hanno sviluppato un sistema chiamato LarKNAS, che sta per Neural Architecture Search on Large Kernel Convolution Search Space (Ricerca dell'Architettura Neurale su uno Spazio di Ricerca di Convoluzione a Kernel Grandi). Questo sistema non si affida all'intuizione umana per scegliere il design migliore; al contrario, agisce come un architetto automatizzato, testando migliaia di diverse combinazioni di questi grandi filtri per trovare la struttura più efficiente e potente.
I ricercatori hanno affrontato un ostacolo significativo: cercare il miglior design tra una tale vasta gamma di possibilità è incredibilmente costoso in termini di tempo e potenza di calcolo. I metodi tradizionali richiedono spesso di testare ogni design uno alla volta, un processo che può richiedere migliaia di giorni di tempo di calcolo. Per risolvere questo problema, il team ha creato una nuova strategia di ricerca che stima il potenziale di un design senza doverlo prima addestrare completamente. Hanno osservato come i segnali matematici all'interno della rete cambiassero durante l'apprendimento, utilizzando la forza media e la coerenza di questi segnali per prevedere quali design avrebbero performato meglio. Ciò ha permesso loro di navigare nello spazio di ricerca molto più velocemente rispetto ai metodi precedenti, filtrando efficacemente i design scadenti in fase precoce e concentrando le risorse sui candidati più promettenti.
Lo spazio di ricerca che hanno costruito non riguardava solo il rendere i filtri più grandi; riguardava l'organizzarli intelligentemente. Hanno progettato una struttura in cui diverse parti della rete utilizzano dimensioni di filtri differenti. Gli strati iniziali, che gestiscono dettagli semplici come i bordi, utilizzano filtri piccoli, mentre gli strati intermedi, responsabili della comprensione di forme e relazioni complesse, utilizzano filtri molto grandi, alcuni larghi fino a cinquantuno pixel. Hanno anche introdotto un modo per rendere questi grandi filtri più efficienti rendendoli "sparsi", il che significa che elaborano solo una selezione dei punti dati invece di ognuno di essi, risparmiando energia pur mantenendo la capacità di vedere lunghe distanze attraverso l'immagine. Questo approccio ha portato a una famiglia di modelli che possono essere scalati verso l'alto o verso il basso a seconda del compito, dalle versioni leggere per dispositivi mobili alle versioni massicce per server ad alte prestazioni.
Quando i ricercatori hanno testato il loro miglior modello trovato, noto come LarKNASNet-L, i risultati sono stati sorprendenti. Sul dataset ImageNet, un benchmark standard per il riconoscimento delle immagini, il modello ha raggiunto un'accuratezza dell'86,6 percento. Questa prestazione è paragonabile, e in alcuni casi superiore, ai migliori modelli progettati a mano dagli esperti umani, inclusi quelli basati sulle più recenti architetture transformer che hanno dominato il campo recentemente. Il modello eccelleva anche in altri compiti di visione, come il rilevamento di oggetti nelle immagini e la loro segmentazione in parti distinte, ottenendo punteggi elevati nei benchmark COCO e ADE20K. Forse, cosa più importante, il team ha ottenuto questi risultati con un costo di ricerca di soli 96 giorni di tempo di calcolo su processori grafici specializzati. Questa è una frazione del costo richiesto da altri metodi di ricerca su larga scala, che spesso consumano centinaia di giorni per trovare un modello di dimensioni simili.
Lo studio ha esplicitamente escluso l'idea che aggiungere semplicemente più strati di piccoli filtri fosse la strada migliore per i modelli su larga scala. Confrontando i loro risultati con altri metodi che si affidano a tecniche di ri-parametrizzazione o a kernel grandi densi, i ricercatori hanno scoperto che il loro approccio di utilizzare kernel grandi e sparsi all'interno di un'architettura a fasi era superiore. Hanno dimostrato che tentare di usare metodi di ri-parametrizzazione, che combinano molteplici rami di filtri, portava spesso a problemi di memoria che rendevano impossibile il processo di ricerca sull'hardware standard. Le loro scoperte suggeriscono che la chiave per sbloccare la prossima generazione di modelli di visione artificiale non risiede solo nel potenziare il numero di parametri, ma nel ripensare la geometria fondamentale di come questi modelli elaborano l'informazione visiva.
Le implicazioni di questo lavoro vanno oltre i semplici numeri di accuratezza più elevata. I ricercatori hanno dimostrato che i loro modelli hanno sviluppato una migliore comprensione delle forme degli oggetti, piuttosto che fare affidamento solo sulla texture, un tratto che si allinea più da vicino alla visione umana. Ciò suggerisce che permettendo alle macchine di guardare porzioni più ampie di un'immagine contemporaneamente, esse possano formare una comprensione del mondo visivo più robusta e simile a quella umana. Il successo di LarKNAS indica che il campo della visione artificiale potrebbe entrare in una nuova era in cui il design dello spazio di ricerca stesso — le regole e gli strumenti usati per trovare il miglior modello — è tanto importante quanto il modello che esso produce. Dimostrando che i kernel grandi possono essere ricercati in modo efficiente ed efficace, il team ha aperto una nuova porta per la creazione di sistemi visivi potenti, efficienti e intelligenti senza i costi proibitivi che hanno precedentemente limitato tale esplorazione.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.