2315 articoli
Il paper presenta TrainDeeploy, un framework che abilita il primo addestramento end-to-end di modelli Transformer e CNN su SoC ultra-low-power basati su RISC-V, ottimizzando l'efficienza hardware e riducendo l'uso di memoria attraverso strategie di fine-tuning parametrico come LoRA.
Il documento dimostra che i modelli linguistici possono acquisire subliminalmente le preferenze di un modello "insegnante" (come l'amore per un animale specifico) semplicemente addestrandosi su parafrasi fedeli del suo output, anche quando il contenuto semantico è irrilevante o contraddice esplicitamente tale preferenza, rivelando un rischio critico di trasmissione di bias nei pipeline di generazione dati che non possono essere rilevati tramite ispezione del contenuto.
Il paper presenta EDA, un framework efficiente in termini di parametri e dati che utilizza un'architettura decoppiata, una strategia di rigenerazione dei dati e un meccanismo di selezione dei campioni per adattare rapidamente i modelli bozzetto a modelli target finemente sintonizzati, ripristinando così le prestazioni del decoding speculativo con costi di addestramento ridotti.
Il paper introduce BRACE, un algoritmo per i banditi con non conformità che gestisce il trade-off tra il benessere delle raccomandazioni e l'apprendimento dei trattamenti, fornendo intervalli strutturali certificati e identificando politiche ottimali sia per scenari di controllo diretto che mediato, anche in presenza di identificazione debole o eterogeneità.
Questo lavoro dimostra che l'implementazione di Mamba-2 utilizzando esclusivamente primitive standard XLA, senza kernel personalizzati, abilita un caching autoregressivo portatile e a complessità che raggiunge prestazioni elevate su CPU, GPU NVIDIA e TPU mantenendo la compatibilità numerica con le implementazioni CUDA di riferimento.
Questo studio analizza l'apprendimento strutturale delle reti di Markov e bayesiane in presenza di un oracolo di indipendenza condizionale inaffidabile, dimostrando che le reti di Markov possono essere identificate nonostante un numero moderatamente esponenziale di errori se il numero di percorsi disgiunti è basso, mentre le reti bayesiane non tollerano alcun errore per una identificazione garantita, fornendo infine algoritmi per i casi in cui la struttura è univocamente identificabile.
Il paper presenta a-TMFG, un nuovo algoritmo scalabile che supera i limiti di memoria e tempo del TMFG tradizionale costruendo grafi da dati su larga scala (fino a milioni di osservazioni) tramite l'uso di grafi dei k-vicini più prossimi e una gestione dinamica delle correlazioni, rendendoli adatti per l'apprendimento automatico supervisionato e non supervisionato.
Questo articolo propone un approccio rigoroso basato sul controllo ottimo per l'addestramento dei Transformer, modellando l'architettura come un sistema dinamico di McKean-Vlasov su spazi di probabilità per garantire l'esistenza di politiche globalmente ottimali senza richiedere assunzioni di convessità o regolarità.
Il paper presenta SCDP, una strategia di apprendimento che utilizza modelli di diffusione addestrati su osservazioni parziali per distillare il controllo della locomozione umanoide da dati offline, permettendo a un robot reale di muoversi in modo robusto basandosi esclusivamente sui sensori di bordo senza necessità di stima esplicita dello stato.
Il paper introduce "Routing without Forgetting" (RwF), un'architettura transformer che risolve il problema dell'apprendimento continuo online senza dimenticare, sostituendo l'adattamento graduale dei parametri con un routing dinamico basato su reti di Hopfield moderne per generare prompt contestuali in un singolo passaggio.
Questo lavoro dimostra che l'algoritmo Adam converge automaticamente e in modo lineare su una classe specifica di polinomi altamente degeneri, superando le prestazioni di Gradient Descent e Momentum grazie a un meccanismo di disaccoppiamento che amplifica esponenzialmente il tasso di apprendimento efficace, senza richiedere schedulatori esterni.
Questo lavoro introduce una strategia di clipping dei parametri, derivata teoricamente dalla minimizzazione del limite superiore della divergenza di Rényi, per migliorare il compromesso tra privacy e utilità nei modelli di linguaggio non parametrici basati sul variational information bottleneck, garantendo bound di privacy più stretti e prestazioni superiori rispetto alle basi non vincolate.
Questo articolo caratterizza la capacità di memorizzazione delle reti neurali profonde con attivazione ReLU, dimostrando che il prodotto tra il quadrato della larghezza e il quadrato della profondità è necessario e sufficiente, fino a fattori logaritmici, per memorizzare punti dati separati da una distanza .
Questo articolo presenta un quadro unificato per la fattorizzazione di matrici non negative (NMF) tradizionale e convessa basato su distribuzioni Tweedie e Binomiale Negativa, derivando regole di aggiornamento moltiplicativo tramite algoritmi MM e dimostrandone l'efficacia empirica su dati reali.
Il paper propone BrainHO, un nuovo approccio che apprende l'organizzazione gerarchica intrinseca delle reti cerebrali tramite un meccanismo di attenzione gerarchica e vincoli di ortogonalità, superando i limiti delle definizioni preesistenti per ottenere diagnosi di disturbi cerebrali più accurate e biomarcatori clinicamente interpretabili.
Il paper introduce SparseLoom, un sistema dimostrativo che utilizza la "model stitching" per ricombinare sottografi di modelli sparsi senza riaddestramento, permettendo l'inferenza multi-DNN su SoC edge e riducendo significativamente le violazioni degli SLO, migliorando il throughput e diminuendo l'overhead di memoria rispetto agli stati dell'arte.
Questa revisione sistematica analizza le fonti di rumore nei sistemi di apprendimento automatico quantistico fotonico, esaminandone l'impatto sulle prestazioni e presentando strategie di mitigazione e direzioni future per realizzare sistemi scalabili e robusti.
Questo studio presenta un framework basato su cGAN che utilizza i dati di log di pozzo per sintetizzare immagini realistiche di sezioni sottili di rocce carbonatiche, colmando le lacune tra i campionamenti discreti e migliorando la caratterizzazione dei reservoir per applicazioni energetiche.
Il paper propone FreqCycle, un nuovo framework per la previsione di serie temporali che integra moduli per l'estrazione di pattern a bassa frequenza e l'enhancement di quelle medio-alte, estendendosi poi in MFreqCycle per gestire la multi-periodicità accoppiata, ottenendo risultati all'avanguardia in termini di accuratezza ed efficienza.
Questo lavoro analizza empiricamente l'impatto distinto del bias di etichetta e del bias di selezione sulla valutazione e sulla mitigazione dei modelli di classificazione, introducendo un nuovo framework che dimostra come una rappresentazione equa nei dati di test elimini i compromessi tra accuratezza e equità e riveli la dipendenza dell'efficacia delle mitigazioni dal tipo specifico di bias presente.