🤖 machine learning

Coverage You Can Steer: Online Conformal Calibration for RL-Driven Hardware-Aware NAS

Questo articolo propone un framework di calibrazione conforme online che utilizza il controllo a feedback adattivo per ripristinare le garanzie di copertura distribution-free nella ricerca di architetture neurali hardware-aware guidata dal reinforcement learning, consentendo la potatura efficiente del 25–50% delle architetture candidate senza sacrificare l'accuratezza o violare il tasso di errore target nonostante la natura non scambiabile del processo di ricerca.

Autori originali: Pedro Brandimarte, Nerea Aranjuelo, Marcos Nieto, Oihana Otaegui

Pubblicato 2026-10-05✓ Author reviewed ⓘ

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Pedro Brandimarte, Nerea Aranjuelo, Marcos Nieto, Oihana Otaegui

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i minuscoli computer all'interno del vostro smartwatch, del sistema frenante della vostra auto o di un sensore medico possano eseguire la stessa potente intelligenza artificiale che attualmente vive solo in enormi data center. Questa è la promessa dell'Edge AI: sistemi intelligenti che funzionano localmente, istantaneamente e senza la necessità di inviare dati privati al cloud. Ma c'è un ostacolo. Questi dispositivi edge hanno limiti severi su quanta memoria possono contenere e sulla velocità con cui possono elaborare le informazioni. Progettare una rete neurale — un tipo di programma per computer che impara dai dati — affinché si adatti a questi stretti vincoli è come cercare di costruire un grattacielo che debba però stare dentro una scatola di scarpe. Il numero di possibili progettazioni è così vasto, coinvolgendo milioni di combinazioni di strati, connessioni e impostazioni, che un progettista umano non può testarle tutte.

Per risolvere questo problema, i ricercatori utilizzano un metodo chiamato ricerca di architetture neurali (neural architecture search), in cui un programma per computer prova automaticamente diversi design per trovare quello migliore. Tuttavia, testare un singolo design è incredibilmente costoso e lento; richiede l'addestramento del modello sui dati per vedere quanto funzioni bene. Se un computer deve addestrare migliaia di design solo per trovarne uno buono, il processo diventa troppo costoso per essere praticabile. La sfida, quindi, è capire quali design meritino il tempo e il denaro per l'addestramento, e quali debbano essere scartati immediatamente, senza mai eseguire il test completo.

Un team di ricercatori della Vicomtech in Spagna ha sviluppato un nuovo modo per rendere affidabile questo processo di filtraggio. Hanno affrontato un problema che aveva silenziosamente minato i tentativi precedenti: il processo di apprendimento dello stesso computer stava cambiando le regole del gioco mentre lo stava giocando. In questi sistemi di ricerca, un "controller" suggerisce nuovi design basandosi su ciò che ha appreso finora. Man mano che il controller diventa più intelligente, i design che suggerisce cambiano. I vecchi metodi per filtrare i cattivi design assumevano che i design suggeriti all'inizio della ricerca fossero statisticamente simili a quelli suggeriti alla fine. Ma poiché il controller sta imparando e migliorando, questa ipotesi è falsa. I design continuano a cambiare, e i vecchi filtri, che erano stati calibrati sui primi design, iniziano a fallire. Essi finivano per sprecare tempo addestrando design terribili o, peggio, per scartare accidentalmente il design migliore prima che potesse essere testato adeguatamente.

I ricercatori hanno sostituito questo filtro statico e una tantum con un sistema che impara e si adatta in tempo reale. Invece di impostare una regola una volta sola e sperare che regga, il loro nuovo metodo utilizza un ciclo di feedback per controllare costantemente le proprie prestazioni. Dopo che ogni design è stato testato, il sistema si chiede: "Ho predetto correttamente che questo design sarebbe stato buono o cattivo?". Se il sistema ha commesso un errore, regola leggermente la sua soglia interna di ciò che conta come un "buon" design. Questa regolazione avviene continuamente, permettendo al sistema di tracciare la natura mutevole della ricerca. Il risultato è un filtro che può essere tarato su un livello specifico di sicurezza. Se un ricercatore chiede una garanzia del 90% che nessun buon design venga perso, il sistema fornisce esattamente quello, indipendentemente da come evolve la ricerca. Se chiede il 95%, fornisce quello invece. Questo controllo è preciso, riproducibile e funziona anche quando i design suggeriti stanno cambiando rapidamente.

Il team ha testato questo approccio su tre diversi tipi di architetture di rete e su vari dataset, simulando la ricerca di modelli che potessero girare su microcontrollori con memoria molto limitata. Hanno scoperto che il loro sistema adattivo poteva scartare in sicurezza tra il 25% e il 50% dei design proposti senza mai addestrarli, risparmiando una quantità enorme di tempo di calcolo. Fondamentalmente, questa potatura non ha danneggiato la qualità finale della soluzione. In un caso specifico, in cui il miglior design era un picco raro e isolato in un vasto panorama di opzioni mediocri, i vecchi metodi fallivano ripetutamente, scartando il design migliore. Il nuovo metodo adattivo lo trovava ogni volta.

I ricercatori hanno anche scoperto che il controller "intelligente" usato di solito per generare questi design non era in realtà il modo più efficiente per trovare la migliore architettura. Quando hanno confrontato un sofisticato controller di apprendimento con una semplice ricerca casuale, la ricerca casuale ha performato altrettanto bene, se non meglio, in molti casi. Il controller era bravo a trovare design medi, ma tendeva a incastrarsi in aree locali e a perdere quelli rari e perfetti. Il vero valore del nuovo metodo, hanno scoperto, non risiedeva nel controller stesso, ma nel filtro calibrato che gestiva il budget. Usando il filtro adattivo come guida per sapere dove cercare successivamente, piuttosto che come semplice guardiano, i ricercatori potevano guidare la ricerca direttamente verso le migliori soluzioni. Questo "ottimismo calibrato" permetteva al sistema di esplorare design promettenti ma non ancora provati con un livello di rischio noto, superando la ricerca casuale e persino algoritmi di pianificazione più complessi in ambienti vincolati.

Lo studio ha anche esaminato come questi filtri si comportano quando la ricerca costruisce un design strato dopo strato, anziché tutto in una volta. Hanno scoperto che una singola regola globale per il filtraggio spesso non riusciva a tenere conto delle difficoltà specifiche delle diverse fasi della costruzione. Ad esempio, una regola che funzionava bene per le parti iniziali e superficiali di una rete poteva essere troppo permissiva o troppo rigida per le parti profonde e complesse. Applicando il loro metodo adattivo separatamente a ogni fase della costruzione, sono riusciti a garantire che la garanzia di sicurezza fosse valida in ogni passaggio, indipendentemente da quanto fosse cresciuta la rete. Questo controllo granulare ha impedito al sistema di commettere errori sistematici che sarebbero passati inosservati con un approccio unico per tutti.

In definitiva, questo lavoro dimostra che, nel gioco ad alta posta in gioco del design di intelligenza artificiale per dispositivi limitati, lo strumento più importante non è necessariamente un predittore più intelligente, ma uno più onesto. I vecchi metodi si basavano su assunzioni su come i dati si sarebbero comportati, assunzioni che venivano infrante proprio dall'atto di apprendere. Il nuovo metodo abbandona quelle assunzioni. Al suo posto, si affida a un controllo continuo e indipendente dalla distribuzione rispetto alla realtà, regolando il proprio livello di fiducia momento per momento. Dimostra che è possibile avere un processo di ricerca che sia sia efficiente che sicuro, uno che sappia esattamente quale rischio sta correndo e che può essere tarato per rischiare più o meno, semplicemente girando una manopola. Questo passaggio dalle regole statiche al controllo dinamico e autocorrettivo offre una strada robusta per costruire la prossima generazione di dispositivi intelligenti con risorse limitate.

Sintesi Tecnica: Copertura che puoi guidare: Calibrazione Conforme Online per la NAS Hardware-Aware guidata da RL

Problema
La Neural Architecture Search consapevole dell'hardware (HW-NAS) è limitata dall'alto costo di valutazione dei candidati, dove ogni architettura proposta richiede l'addestramento per determinare il proprio reward. Per mitigare questo aspetto, il lavoro precedente (ad es. MARCO) utilizza filtri di predizione conforme per scartare i candidati non promettenti prima dell'addestramento. Questi filtri si affidano a un predittore surrogato e a un offset conforme per stabilire un limite superiore sul reward reale, garantendo che i candidati con limiti inferiori a una soglia vengano scartati con una probabilità di errore controllata ( $\delta$ ).

Tuttavia, la predizione conforme standard assume l'scambiabilità tra l'insieme di calibrazione e i candidati di test. Nella NAS guidata da Reinforcement Learning (RL), questa assunzione è violata per costruzione:

Deriva della Policy (Policy Drift): Mentre il controller RL apprende, la distribuzione delle architetture proposte si sposta dalla distribuzione iniziale di warm-up utilizzata per la calibrazione.
Spostamento Intra-Episodio (Within-Episode Shift): Nella ricerca sequenziale, layer-per-layer, la distribuzione delle reti parziali cambia rapidamente all'interno di un singolo episodio all'aumentare della profondità.

Di conseguenza, i filtri conformi statici soffrono di "degradazione silenziosa": la loro copertura realizzata si distacca dal target richiesto ( $1-\delta$ ), portando a valutazioni sprecate (sovra-copertura) o allo scarto errato di architetture ottimali (sotto-copertura). La ricalibrazione periodica mitiga la varianza ma non riesce a ripristinare il controllo o a correggere i bias dipendenti dalla profondità.

Metodologia
Il paper propone di sostituire la stima statica dei quantili con l'Inferenza Conforme Adattiva (ACI) ed estenderla con diverse varianti per gestire la natura non stazionaria della ricerca RL.

Inferenza Conforme Adattiva (ACI): Invece di un offset fisso, il metodo impiega un controllo a feedback online. Dopo ogni valutazione reale, l'offset conforme ( $\alpha_t$ ) viene aggiornato tramite un passo di sottogradiente basato sull'indicatore di mancata copertura:
$\alpha_{t+1} = \alpha_t + \gamma (\mathbb{I}\{r_t > g(x_t) + \alpha_t\} - \delta)$
Ciò garantisce che la copertura a lungo termine converga al target $1-\delta$ per arbitrarie sequenze di candidati, indipendentemente dagli shift di distribuzione o dalla mancanza di scambiabilità.
AgACI (Senza Tuning): Per eliminare la necessità di un tuning manuale del passo ( $\gamma$ ), gli autori aggregano più esperti ACI (ognuno con un diverso $\gamma$ ) utilizzando l'algoritmo Hedge con pesatura esponenziale, creando un filtro robusto e privo di parametri.
Conforme Normalizzato (Localmente Adattivo): Per abilitare l'esplorazione (acquisition), il metodo normalizza i punteggi di non-conformità tramite una stima della difficoltà per candidato ( $u(x)$ ) derivata da un secondo surrogato. Ciò produce ampiezze di intervallo $U(x) = g(x) + q \cdot u(x)$ , permettendo al limite di classificare i candidati per incertezza, non solo per reward predetto.
Conforme Mondriano (Condizionale al Gruppo): Per affrontare gli spostamenti di profondità intra-episodio, il metodo mantiene offset ACI separati per diversi gruppi (ad es. profondità del layer). Ciò fornisce garanzie di copertura condizionate alla specifica profondità di costruzione, correggendo gli squilibri sistematici dove gli offset globali falliscono.
Acquisizione Conforme: Il limite ottimistico calibrato viene riutilizzato come funzione di acquisizione. Gli autori implementano:
- Acquisizione Greedy: Selezione del candidato con il più alto limite ottimistico da un pool campionato.
- MCTS Conforme-Ottimistico: Utilizzo del limite calibrato per valorizzare i nodi foglia in una ricerca Monte-Carlo Tree Search, permettendo una pianificazione estesa senza costi reali di addestramento.

Contributi Chiave

Filtraggio Adattivo sotto Deriva della Policy: Il paper dimostra che l'ACI ripristina la "copertura guidabile" nella NAS guidata da RL. A differenza dei baseline statici, il filtro adattivo traccia i livelli di copertura richiesti ( $1-\delta$ ) entro $\sim 10^{-3}$ su tre famiglie di architetture (LeNet, ResNet, MobileNet) e sia in formulazioni di ricerca a singolo step che sequenziali. Esso scarta il 25–50% delle valutazioni senza perdite misurabili nella qualità della soluzione.
Estensioni Condizionali per la Ricerca Strutturata: Gli autori mostrano che la calibrazione marginale può nascondere errori sistematici (ad es. sotto-copertura ai layer profondi). La costruzione Mondriana corregge questo aspetto, raggiungendo la copertura condizionata al gruppo ovunque la ricerca visiti una determinata profondità con frequenza sufficiente per calibrarla.
Dalla Pruning all'Acquisizione: Il limite ottimistico calibrato viene utilizzato con successo come meccanismo di ricerca diretta. L'acquisizione ottimistica greedy supera la ricerca casuale e il controller RL stesso su un testbed vincolato, poiché l'acquisizione conforme fornisce una riduzione significativa della varianza rispetto all'ottimismo fisso.
Analisi Indipendente dal Controller: Lo studio rivela che il controller RL (fedelmente riprodotto da MARCO) non supera la ricerca casuale in questi spazi perché ottimizza il reward atteso piuttosto che l'arg max. Il valore del metodo proposto risiede nel limite calibrato stesso, che gestisce efficacementamente il budget di valutazione indipendentemente dal meccanismo di proposta.

Risultati Sperimentali

Calibrazione e Guidabilità: Attraverso tre dataset (MNIST, CIFAR-10, CIFAR-100), i filtri adattivi e AgACI ottengono una copertura monotona e riproducibile. Al contrario, i baseline di split-conformal statici sono non-guidabili (la copertura non si muove con $\delta$ ) ed esibiscono un'alta varianza tra i seed. Un baseline Gaussian Process (GP) è confidenzialmente mal calibrato, con la copertura realizzata bloccata vicino a 0.99 indipendentemente dal livello richiesto.
Qualità della Soluzione: Su paesaggi con ottimi isolati (tipo ResNet), i filtri statici scartano erroneamente la migliore architettura in ogni seed a causa della malcalibrazione. I filtri adattivi preservano la migliore soluzione pur scartando il 25–50% dei candidati.
Copertura Condizionata alla Profondità: Nella ricerca sequenziale, l'ACI globale presenta sotto-copertura alle profondità estreme (superficiali o profonde a seconda della famiglia). L'adattamento Mondriano ripristina la copertura al target per tutti i livelli di profondità ben campionati.
Efficienza della Ricerca: Su un testbed vincolato (budget di memoria di 256 kB), l'acquisizione conforme greedy supera la ricerca casuale e il controller RL a tutti i budget di valutazione fino a 1.000. Il guadagno è guidato principalmente dall'ottimismo del limite, con la calibrazione online che aggiunge un vantaggio finale e riduce la varianza di circa $\sim 6\times$ .

Significatività e Rivendicazioni
Il paper sostiene che, all'interno dei loop di apprendimento, l'incertezza deve essere verificata rispetto agli esiti piuttosto che assunta da un modello. Il contributo primario è una macchina di calibrazione distribuita e controllata da feedback che sopravvive alla non-stazionarietà della ricerca RL.

Gli autori affermano che:

La guidabilità è ripristinata: I praticanti possono impostare un livello di rischio target ( $\delta$ ) e riceverlo in modo monotono e riproducibile, una capacità persa nei filtri statici.
Il controller non è il collo di bottiglia: Il valore dei metodi HW-NAS in questi spazi non risiede nella policy appresa (che spesso non supera la ricerca casuale), ma nella gestione efficiente e sicura del budget di valutazione tramite limiti calibrati.
L'acquisizione è percorribile: Il medesimo meccanismo calibrato che filtra le valutazioni può guidarle, offrendo un analogo distribution-free a GP-UCB che non soffre della malcalibrazione basata sul modello sotto deriva.

Il paper rimane modesto riguardo ai limiti, notando che il modello di costo hardware è analitico (non calibrato sul dispositivo), i risultati dipendono da proxy di addestramento parziale e le garanzie condizionate alla profondità degradano quando specifici gruppi (ad es. layer molto profondi) sono carenti di dati. L'evidenza per la ricerca diretta è attualmente limitata a un singolo testbed vincolato.

Articoli simili