335 articoli
Il documento propone un nuovo framework che rappresenta i modelli linguistici su larga scala con parametri booleani multi-nucleo, permettendo per la prima volta un adattamento diretto nel dominio booleano senza pesi latenti a precisione intera, ottenendo così una maggiore capacità rappresentativa e una drastica riduzione della complessità rispetto alle tecniche di quantizzazione esistenti.
Questo articolo propone un metodo che utilizza le varietà attive neurali per ridurre la dimensionalità non lineare e abilitare un campionamento stratificato efficace in spazi ad alta dimensione, allineando le partizioni dell'input alle curve di livello della risposta del modello per ridurre la varianza nella propagazione dell'incertezza.
Questo articolo introduce BWFlow, un framework di flow matching per la generazione di grafi che supera le limitazioni delle interpolazioni lineari tradizionali modellando l'evoluzione congiunta di nodi e archi attraverso campi casuali di Markov e il trasporto ottimo di Wasserstein, garantendo così percorsi probabilistici più lisci, una convergenza di addestramento migliorata e un campionamento efficiente.
Lo studio dimostra che i sistemi di classificazione dei modelli linguistici più avanzati, come Chatbot Arena, sono estremamente sensibili alla rimozione di una frazione minima di dati di preferenza, rivelando che l'ordine dei modelli leader può cambiare drasticamente con la perdita di appena lo 0,003% dei dati, mentre le valutazioni basate su esperti risultano più robuste.
Questo lavoro fornisce limiti superiori espliciti sulla distanza di Wasserstein quadratica che quantificano la convergenza polinomiale delle reti neurali a strato singolo addestrate tramite discesa del gradiente verso i processi gaussiani nel limite di larghezza infinita.
Questo lavoro stabilisce nuovi limiti non asintotici sull'efficienza della regressione conformalizzata addestrata con SGD, quantificando come la lunghezza degli intervalli di previsione dipenda congiuntamente dalla dimensione dei set di dati e dal livello di copertura, e identificando transizioni di fase nei tassi di convergenza.
Questo articolo teorico dimostra come la geometria dei dati influenzi la generalizzazione nelle reti neurali sovrapparametrizzate al di sotto del limite di stabilità, rivelando che distribuzioni difficili da "frantumare" favoriscono l'apprendimento di pattern condivisi, mentre dati facilmente frantumabili portano alla memorizzazione.
Questo articolo propone un quadro teorico rigoroso per identificare e testare statisticamente l'influenza eccessiva di sottoinsiemi di dati nei modelli a minimi quadrati, derivando distribuzioni estreme esatte che permettono di distinguere tra variazioni naturali e risultati distorti.
Il paper propone SACP, un nuovo metodo che aggrega i punteggi di non conformità di più modelli predittivi trasformandoli in valori-e per generare set di previsione conformali più efficienti e informativi, superando le prestazioni delle tecniche di aggregazione esistenti.
Questo articolo presenta un approccio bayesiano non parametrico per l'apprendimento di miscele finite con componenti non parametriche, fornendo condizioni di identificabilità, dimostrando la contrazione posteriore delle densità con una velocità quasi polinomiale e sviluppando un algoritmo MCMC efficiente per l'inferenza su dati complessi.
Questo lavoro stabilisce una teoria minimax per l'apprendimento di operatori tra spazi di Hilbert, dimostrando che per operatori Lipschitziani e Hölderiani esiste una "maledizione della complessità del campione" che impedisce qualsiasi tasso di convergenza algebrica, fornendo al contempo limiti inferiori e superiori affilati basati sullo spettro del covarianza.
Il paper introduce Latent-IMH, un metodo di campionamento bayesiano efficiente per problemi inversi lineari con operatori costosi, che utilizza un'approssimazione offline per generare variabili latenti e un'affinamento esatto, risultando teoricamente e numericamente superiore a metodi esistenti come NUTS in termini di velocità computazionale.
Il paper propone YuriiFormer, un framework variazionale che interpreta i layer dei transformer come iterazioni di un algoritmo di ottimizzazione, permettendo di progettare un'architettura accelerata con Nesterov che supera le prestazioni di un baseline nanoGPT su TinyStories e OpenWebText.
Questo lavoro propone algoritmi di previsione conformale online che adattano dinamicamente i set di calibrazione rilevando cambiamenti di distribuzione, garantendo un rimpianto cumulativo condizionato all'addestramento minimax-ottimale sia per dati con score preaddestrati che per modelli appresi online.
Questo lavoro propone un approccio di RLHF online regolarizzato basato sul modello di preferenze bilineari generalizzate (GBPM) che, sfruttando la forte convessità e la struttura a rango basso, garantisce bound di regret statisticamente efficienti e privi di dipendenze esponenziali rispetto alla forza di regolarizzazione.
Il paper propone un framework di previsione conformale per output strutturati a grafo, che utilizza la distanza Z-Gromov-Wasserstein e una variante adattiva della regressione quantilica (SCQR) per fornire garanzie di copertura senza distribuzione, come dimostrato nei compiti di identificazione molecolare.
Il paper propone FreST Loss, un obiettivo di addestramento basato sulla trasformata di Fourier congiunta che supera i limiti delle funzioni di perdita tradizionali decorrelando le dipendenze spaziali e temporali nel dominio frequenziale, migliorando così le prestazioni dei modelli di previsione spaziotemporale su diversi dataset reali.
Questo studio propone le Equilibrium-Informed Neural Networks (EINN), un approccio basato sul deep learning che inverte il processo tradizionale di analisi delle biforcazioni utilizzando stati di equilibrio come input per inferire i parametri del sistema, consentendo così di rilevare in modo efficiente le soglie critiche e i punti di svolta in sistemi dinamici complessi.
Il paper propone il framework DPE, che combina la Teoria dell'Informazione Algoritmica e quella di Shannon per determinare la direzione causale in sequenze simboliche identificando pattern deterministici che riducono l'incertezza, dimostrando prestazioni robuste su dati sintetici e reali.
Questo studio analizza i tempi di arresto totali della congettura di Collatz attraverso una prospettiva di apprendimento automatico probabilistico, confrontando un modello di regressione gerarchica bayesiana con un'approssimazione generativa meccanica e dimostrando che la struttura modulare a basso ordine è un fattore chiave nell'eterogeneità osservata.