10318 articoli
Questo lavoro introduce l'algoritmo AATU, che sfrutta la struttura dei processi di diffusione discreta assorbente per dimostrare una complessità di inferenza indipendente dall'errore , superando così i limiti teorici delle basi uniformi e fornendo un fondamento rigoroso per l'efficienza dei modelli di generazione basati su mascheramento.
Questo lavoro presenta un'analisi completa della potatura delle attivazioni N:M post-allenamento nei modelli linguistici di grandi dimensioni, dimostrando che tale approccio preserva meglio le capacità generative rispetto alla potatura dei pesi e identificando il pattern 8:16 come un compromesso ottimale tra flessibilità e complessità hardware.
Il paper introduce COMPASS, un framework innovativo che genera intervalli di previsione conformali efficienti e robusti per le metriche di segmentazione medica, calibrando direttamente nello spazio delle rappresentazioni del modello per ottenere garanzie di copertura più strette rispetto ai metodi tradizionali, anche in presenza di cambiamenti di distribuzione.
Il paper introduce HEAPr, un nuovo algoritmo di pruning che scompone gli esperti nei modelli MoE in "esperti atomici" indivisibili e utilizza informazioni di secondo ordine semplificate nell'output per ottenere una compressione quasi senza perdita con una complessità computazionale ridotta, superando le prestazioni dei metodi di pruning esistenti.
Il paper propone la Quantile Advantage Estimation (QAE), un metodo che sostituisce la baseline media con una quantile di gruppo per stabilizzare l'addestramento RLVR nei modelli linguistici, prevenendo collassi ed esplosioni di entropia e migliorando le prestazioni nel ragionamento matematico.
Il paper propone un nuovo approccio all'ottimizzazione Riemanniana su varietà implicite, sfruttando la connessione tra le operazioni geometriche e la funzione di punteggio dei modelli di diffusione per sviluppare algoritmi efficienti come DLF e DRGD, con applicazioni promettenti nel controllo dati-driven e nella progettazione generativa.
Questo studio analizza teoricamente e verifica sperimentalmente come il meccanismo di sovrapposizione nelle catene di pensiero continuo emerga naturalmente durante l'addestramento di trasformatori su problemi di raggiungibilità nei grafi, bilanciando esplorazione ed esplorazione attraverso la dinamica dei logit di corrispondenza degli indici.
Questo lavoro propone un approccio innovativo che consente di condurre molteplici esperimenti di preaddestramento in un'unica esecuzione, riducendo drasticamente i costi computazionali e permettendo di replicare risultati precedenti e esplorare nuove aree di ricerca con impatti minimi sulle prestazioni del modello.
Lo studio dimostra che le pre-attivazioni negative in una sottopopolazione specifica di neuroni "Wasserstein" svolgono un ruolo attivo e fondamentale nel supporto della sintassi nei moderni modelli linguistici a attivazioni lisce, distinguendosi dalle capacità non grammaticali.
Questo lavoro dimostra che l'algoritmo Group-Relative REINFORCE (GRPO) possiede un'interpretazione nativa off-policy, fornendo principi teorici per regolarizzare gli aggiornamenti e modellare la distribuzione dei dati, smentendo miti comuni e offrendo nuove prospettive per l'apprendimento per rinforzo nei modelli linguistici di grandi dimensioni.
Il paper propone iMOOE, un metodo di apprendimento invariante guidato dalla fisica che sfrutta un principio di invarianza a due livelli per migliorare le prestazioni e la generalizzazione zero-shot nella previsione della dinamica delle equazioni differenziali parziali (PDE) su scenari fuori distribuzione.
Il paper dimostra che le curve di perdita delle famiglie di LLM addestrate con ricette di scalabilità pratiche collassano su una traiettoria universale quando gli iperparametri sono ottimizzati, fornendo un potente strumento diagnostico per identificare precocemente problemi di addestramento e guidare l'arresto anticipato, come validato dalla creazione della famiglia di modelli *Celerity*.
Il paper propone un framework per modelli fondazionali multimodali che migliora l'architettura Mixture-of-Experts guidando il routing degli esperti attraverso la quantificazione esplicita delle dipendenze temporali tra le modalità, ottenendo così significativi guadagni prestazionali e pattern di routing interpretabili in ambiti come la sanità e il riconoscimento delle attività.
Il paper propone la Concrete Score Distillation (CSD), un nuovo obiettivo di distillazione basato sul score matching discreto che supera i limiti delle tecniche esistenti eliminando l'effetto di smoothing del softmax e le restrizioni sull'invarianza dello shift dei logit, ottenendo così risultati superiori nella fedeltà e nella diversità durante la distillazione di grandi modelli linguistici.
Il paper presenta AdaBlock-dLLM, un metodo di inferenza senza addestramento per modelli linguistici basati su diffusione che, analizzando la dinamica della confidenza durante il processo di denoising, adatta dinamicamente la dimensione dei blocchi di decodifica per allinearla alla struttura semantica, migliorando così l'accuratezza e riducendo gli errori rispetto alle strategie a dimensione fissa.
Il paper propone la funzione di influenza bayesiana locale (BIF), un metodo privo di Hessiano che utilizza campioni MCMC per stimare le statistiche del paesaggio di perdita, permettendo così un'attribuzione dei dati scalabile ed efficace per reti neurali profonde con miliardi di parametri.
Il paper propone un stimatore corretto per la distorsione che permette di calcolare con precisione la dimensionalità globale e locale delle rappresentazioni neurali da campioni finiti, superando i limiti dei metodi esistenti sensibili alla dimensione del campione.
Il paper introduce MENLO, un framework e un dataset di 6.423 coppie preferenziali annotate da umani in 47 lingue per valutare la qualità nativa delle risposte degli LLM, dimostrando che l'addestramento con reinforcement learning migliora significativamente sia i giudici automatici che la proficienza multilingue dei modelli, pur lasciando margini di miglioramento rispetto al giudizio umano.
Il documento dimostra che il calcolo dei gradienti per esempio è fattibile con costi trascurabili e che sfruttare queste statistiche permette di ottimizzare algoritmi come SignSGD e Adam, rivelando che la media dei gradienti è più determinante della varianza per il successo dell'ottimizzazione.
Questo lavoro indaga le cause teoriche della perdita di plasticità nell'apprendimento profondo, identificando come le proprietà che favoriscono la generalizzazione in ambienti statici, come la saturazione delle unità e la ridondanza rappresentazionale, creino trappole dinamiche che impediscono l'apprendimento continuo in ambienti non stazionari.