335 articoli
Questo articolo dimostra che, nell'ambito della regressione ridge a caratteristiche casuali, un modello "forte" addestrato su etichette imperfette generate da un modello "debole" può superare significativamente le leggi di scala del proprio insegnante, raggiungendo persino il tasso ottimale minimax indipendentemente dalle prestazioni del teacher.
Il paper propone "Artificial Replay", un nuovo disegno sperimentale che permette di confrontare algoritmi a bandito multi-braccio riutilizzando le traiettorie registrate per ridurre drasticamente i costi di interazione e la varianza dell' stimatore rispetto ai metodi tradizionali.
Questo lavoro stabilisce il primo principio di grandi deviazioni per le reti neurali convoluzionali nel regime a canali infiniti, fornendo risultati rigorosi sulle matrici di covarianza condizionale e sulla distribuzione a posteriori, oltre a offrire una dimostrazione semplificata della loro convergenza verso processi gaussiani.
Questo lavoro migliora i limiti superiori noti per l'apprendimento agnostico di classi di concetti rispetto alla misura gaussiana, dimostrando che un'approssimazione polinomiale di grado è sufficiente per ottenere una precisione , ottenendo così limiti (quasi) ottimali per l'apprendimento di funzioni soglia polinomiali nel modello delle query statistiche.
Il documento dimostra che i grafi di codifica predittiva costituiscono un insieme matematico sovrastante delle reti neurali feedforward, rafforzando così il loro ruolo nel machine learning moderno e la rilevanza della topologia nelle reti neurali.
Il paper dimostra che il flusso gradiente nei modelli softmax basati su valori spinge intrinsecamente l'ottimizzazione verso soluzioni a bassa entropia, fornendo una spiegazione teorica per fenomeni empirici come i "attention sinks" e le massive activations nei transformer.
Il documento presenta SPPCSO, un innovativo metodo di stima penalizzata che integra la regressione su componenti principali e la regolarizzazione per garantire stabilità e selezione coerente delle variabili in dati ad alta dimensionalità e fortemente correlati, dimostrando efficacia sia in simulazioni numeriche che nell'analisi di dati di espressione genica.
Il documento presenta gli Ambienti di Monitoraggio Sintetici (SME), una suite infinita di compiti di controllo continuo con politiche ottimali note, progettata per fornire diagnosi precise e trasparenti delle prestazioni degli agenti di Reinforcement Learning attraverso la valutazione sistematica sia in-distribution che out-of-distribution.
Questo articolo propone il BAEN-SVM, un nuovo modello di classificazione binaria basato su una funzione di perdita elastica netta asimmetrica limitata che garantisce robustezza al rumore, consistenza teorica e prestazioni superiori rispetto alle SVM tradizionali, risolvendo il problema di ottimizzazione non convessa tramite un algoritmo specifico.
Questo lavoro presenta un framework per il calcolo certificato e accurato delle norme negli spazi funzionali (come Lebesgue e Sobolev) delle reti neurali profonde, combinando l'aritmetica intervallare, la raffinamento adattivo e l'aggregazione basata su quadratura per ottenere limiti deterministici garantiti sugli integrali delle funzioni e delle loro derivate, superando i limiti delle valutazioni puntuali.
Il paper presenta DistBART, un approccio bayesiano non parametrico per la regressione distribuzionale che utilizza ensemble di alberi decisionali per modellare funzionali lineari, offrendo sia risultati teorici sulla concentrazione che una scalabilità computazionale tramite approssimazione a caratteristiche casuali.
Il paper presenta un approccio di caching consapevole della semantica che riduce il tempo di esecuzione dell'apprendimento dei concetti di un ordine di grandezza, migliorando l'efficienza sia per i ragionatori simbolici che per quelli neuro-simbolici.
Questo articolo propone due algoritmi di discesa del gradiente alternato proiettato di ordine zero, denominati ZO-PDAPG e ZO-RMPDPG, che risolvono problemi minimax non convessi con vincoli lineari accoppiati in contesti deterministici e stocastici, garantendo complessità iterativa e stabilendo un nuovo stato dell'arte per la classe non convessa-concava.
Questo lavoro propone un approccio di fattorizzazione di matrice non negativa (NMF) equo basato su una formulazione min-max, presentando algoritmi di ottimizzazione e dimostrando attraverso esperimenti che tale metodo può migliorare l'equità tra i gruppi, sebbene a volte a scapito dell'accuratezza individuale e richiedendo una scelta metodologica adattata al contesto applicativo.
Questo studio sperimentale dimostra che i modelli di machine learning consapevoli dell'equità offrono un miglior compromesso tra accuratezza predittiva e imparzialità rispetto ai modelli tradizionali nell'ambito della valutazione del credito.
Questo articolo dimostra l'esistenza della maledizione della dimensionalità nell'ottimizzazione delle reti neurali, stabilendo che il rischio di popolazione non può decadere più velocemente di un tasso specifico dipendente dalla dimensionalità e dalla regolarità della funzione target, sia nel caso di funzioni di attivazione Lipschitziane che di quelle localmente Lipschitziane.
Questo lavoro estende il metodo del flusso di entropia, precedentemente limitato a specifiche dinamiche stocastiche, a tutti gli algoritmi di apprendimento governati da processi di Markov omogenei nel tempo, stabilendo nuovi legami tra l'errore di generalizzazione e le proprietà ergodiche attraverso una formula esatta e disuguaglianze di Sobolev logaritmiche modificate.
Il paper propone e analizza Clip21-SGD2M, un nuovo metodo per l'apprendimento federato che combina clipping, momentum e feedback dell'errore per garantire simultaneamente ottimali tassi di convergenza e privacy differenziale anche in presenza di dati eterogenei e non convessi.
Questo articolo presenta una formulazione variazionale del flusso delle particelle log-omotopico, dimostrando che la densità transiente segue un gradiente di Fisher-Rao e derivando flussi approssimati Gaussiani e a miscela che, in casi specifici, si riducono al flusso esatto di Daum e Huang o ne migliorano l'espressività.
Il paper introduce CausalPitfalls, un benchmark completo progettato per valutare rigorosamente le capacità di ragionamento causale statistico dei modelli linguistici di grandi dimensioni, evidenziando le loro attuali limitazioni nel superare errori comuni come la paradosso di Simpson e il bias di selezione.