4426 articoli
Questo paper propone una rappresentazione unificata per i modelli di diffusione e il flow matching tramite equazioni lineari, evidenziando attraverso l'analisi teorica come la debole correlazione tra i dati rumorosi e l'obiettivo previsto possa compromettere il processo di apprendimento.
Il paper propone il framework Annealed Co-Generation (ACG), che facilita la co-generazione multivariata in ambito scientifico sostituendo la modellazione congiunta ad alta dimensionalità con modelli di diffusione pairwise a bassa dimensionalità, allineati tramite un processo di ricottura a tre stadi per garantire coerenza senza necessità di ulteriore addestramento.
Il paper presenta RACER, un metodo di instradamento per i grandi modelli linguistici che, formulando il problema come -VOR e utilizzando limiti di concentrazione finiti per la calibrazione, garantisce un controllo rigoroso del rischio di errore distribuendo le query su insiemi di modelli per migliorare l'accuratezza e gestire l'incertezza.
Il paper introduce Evo, un modello linguistico autoregressivo-diffusivo che unifica i due paradigmi in un flusso latente evolutivo, permettendo un bilanciamento adattivo tra generazione e pianificazione per ottenere risultati all'avanguardia su molteplici compiti mantenendo un'efficienza inferenziale elevata.
Il paper propone un nuovo framework basato sull'apprendimento rappresentazionale contestuale e sulla distillazione della conoscenza per migliorare la previsione delle interazioni in zero-shot nelle reti biologiche multiplex, superando i limiti dei metodi esistenti nella modellazione della multiplicità e nell'integrazione di informazioni strutturali e sequenziali.
Il paper introduce NAT (Not All Tokens Are Needed), un framework di apprendimento per rinforzo che ottimizza l'efficienza computazionale aggiornando la politica solo su un sottoinsieme di token tramite una stima del gradiente non distorta, riducendo significativamente costi e memoria senza compromettere le prestazioni su compiti di ragionamento matematico.
Il paper introduce GraphSkill, un framework agentic che migliora il ragionamento su grafi complessi tramite un recupero gerarchico guidato dalla documentazione e un agente di autodebugging, validato su un nuovo dataset dedicato.
Il paper dimostra che i Process Reward Models (PRM) all'avanguardia sono sistematicamente sfruttabili tramite attacchi avversariali, rivelando che funzionano più come rilevatori di fluidità linguistica che come veri verificatori del ragionamento, e propone un nuovo framework diagnostico e benchmark per valutarne la robustezza prima del dispiegamento.
Questo studio valuta empiricamente modelli statistici e di deep learning per la previsione del carico elettrico a PJM, dimostrando che l'architettura Transformer, basata sull'attenzione, supera ARIMA, LSTM e BiLSTM con un errore percentuale medio (MAPE) del 3,8%.
Questo articolo offre una panoramica completa di Flow-GRPO, un quadro di apprendimento per rinforzo che estende l'ottimizzazione della politica relativa di gruppo ai modelli di generazione, analizzando sia i recenti avanzamenti metodologici che le applicazioni trasversali in ambiti come immagini, video, audio e modelli multimodali.
Il documento presenta la Teoria dello Spazio di Esplorazione (EST), un quadro formale basato sulla teoria degli spazi di conoscenza e sull'analisi dei concetti formali che modella le dipendenze prerequisito tra punti di interesse per garantire raccomandazioni strutturalmente valide, spiegabili e ottimali all'interno di sistemi di raccomandazione basati sulla posizione.
Questo articolo propone un modello di reti neurali su grafo basato sull'apprendimento collettivo per imputare i dati mancanti sulle condizioni del manto stradale, sfruttando le relazioni di dipendenza tra sezioni adiacenti per superare i limiti dei metodi tradizionali.
Il paper introduce Grouter, un metodo di instradamento preemptive che decuplica l'ottimizzazione strutturale dagli aggiornamenti dei pesi nei modelli Mixture-of-Experts (MoE) per accelerare significativamente la convergenza e il throughput dell'addestramento.
Il paper presenta T-REX, un'architettura transformer innovativa progettata per la raccomandazione di categorie di prodotti nella spesa online, che supera i limiti dei modelli esistenti gestendo efficacemente le dipendenze temporali e le relazioni tra articoli attraverso un approccio di mascheramento causale e una modellazione a livello di categoria.
Questo articolo presenta un protocollo di estrazione di caratteristiche grafiche causalmente sicure per reti di transazioni temporali, dimostrando che l'aggiunta di descrittori strutturali interpretabili ai dati transazionali migliora l'identificazione delle frodi e supporta l'analisi del rischio nel contesto operativo.
Il paper propone un nuovo principio di incertezza nell'apprendimento automatico, analogo a quello di Fourier, che descrive come la degenerazione fatale delle espansioni di Heaviside e sigmoide intrappoli gli algoritmi di discesa del gradiente in canyon piatti, rendendo difficile raggiungere minimi netti e suggerendo che tali problemi appartengano alla fisica piuttosto che all'informatica.
Lo studio dimostra che l'efficacia dei piccoli modelli linguistici nell'inferire proprietà grafiche dipende criticamente dall'organizzazione della rappresentazione dei dati e dalla strategia di ragionamento adottata, piuttosto che dalla sola scala del modello.
Il paper introduce SmartBench, il primo dataset e benchmark per valutare le capacità dei grandi modelli linguistici (LLM) nel rilevare e gestire stati anomali e contesti comportamentali nelle case intelligenti, rivelando che i modelli attuali mostrano prestazioni insufficienti in questo compito critico.
Il paper introduce HEARTS, un benchmark unificato che valuta le capacità di ragionamento gerarchico dei modelli linguistici su serie temporali sanitarie, rivelando che le attuali LLM faticano a gestire la complessità temporale e le dipendenze a lungo termine rispetto ai modelli specializzati.
Il paper presenta RECAP, una strategia di apprendimento bio-ispirata che combina dinamiche di reservoir non addestrate con un meccanismo di lettura Hebbiano auto-organizzante per ottenere una classificazione di immagini robusta senza ricorrere alla retropropagazione dell'errore.