7658 articoli
Il paper propone YuriiFormer, un framework variazionale che interpreta i layer dei transformer come iterazioni di un algoritmo di ottimizzazione, permettendo di progettare un'architettura accelerata con Nesterov che supera le prestazioni di un baseline nanoGPT su TinyStories e OpenWebText.
Il paper propone MiTA Attention, un meccanismo efficiente che unifica metodi di attenzione esistenti in un quadro comune di scalatura dei pesi veloci e introduce una strategia di compressione e instradamento che riduce la complessità aggregando le coppie chiave-valore più attivate per un insieme limitato di query landmark.
Il paper presenta VIP, una strategia di allocazione adattiva dei rollout basata su un modello predittivo per minimizzare la varianza del gradiente e migliorare l'efficienza del campionamento nell'apprendimento per rinforzo online con ricompense verificabili.
Questo articolo propone la previsione temporale agenziale (ATSF), un nuovo paradigma che supera l'approccio tradizionale basato sui modelli statici trasformando la previsione in un processo dinamico e iterativo composto da percezione, pianificazione, azione, riflessione e memoria, capace di adattarsi e migliorare nel tempo attraverso l'interazione con strumenti e l'accumulo di esperienza.
Questo studio dimostra che i vettori di guida nei grandi modelli linguistici sono fondamentalmente non identificabili, poiché perturbazioni ortogonali producono effetti comportamentali quasi equivalenti, rivelando così limiti intrinseci nell'interpretazione delle rappresentazioni interne basata esclusivamente sul testing comportamentale.
Il paper introduce LatentChem, un'interfaccia di ragionamento latente che disaccoppia il calcolo chimico dalla generazione testuale, permettendo ai modelli di eseguire inferenze complesse direttamente nello spazio latente continuo e ottenendo prestazioni superiori e un significativo aumento della velocità rispetto ai metodi basati su Chain-of-Thought esplicito.
Questo studio dimostra che, a differenza delle applicazioni simmetriche come CLIP, l'apprendimento della magnitudine degli embedding tramite normalizzazione asimmetrica migliora significativamente le prestazioni nel recupero e nel RAG, offrendo vantaggi superiori nella generalizzazione fuori dominio rispetto a quella in dominio.
Il documento propone TAPINN, una rete neurale fisica informata che utilizza la regolarizzazione metrica supervisionata e l'ottimizzazione alternata per superare i limiti delle PINN standard nella modellazione di sistemi dinamici con transizioni di regime brusche, ottenendo una maggiore stabilità e precisione con un minor numero di parametri.
Lo studio empirico rivela che, nonostante l'interesse teorico, l'integrazione delle Kolmogorov-Arnold Networks (KAN) in architetture ricorrenti vincolate dalla fisica si dimostra meno efficace e stabile rispetto alle MLP tradizionali per la scoperta di termini residui in sistemi oscillatori complessi, a causa di fragilità iperparametriche e limitazioni nell'induzione di bias additivi per l'accoppiamento degli stati.
Il paper propone ProSeCo, un nuovo framework per i modelli di diffusione mascherata che introduce un meccanismo di auto-correzione iterativa durante la generazione, permettendo di correggere gli errori sui token già decodificati e ottenendo così un miglior compromesso tra qualità del campione ed efficienza computazionale.
Il documento presenta QTabGAN, un framework ibrido quantistico-classico che sfrutta la potenza dei circuiti quantistici per generare dati tabulari realistici, superando le limitazioni dei modelli esistenti e ottenendo miglioramenti significativi nelle prestazioni di classificazione.
Il framework WeightCaster affronta il problema della generalizzazione fuori dal supporto (OoS) riformulandolo come un'attività di modellazione sequenziale nello spazio dei pesi, permettendo di ottenere previsioni affidabili, interpretabili e consapevoli dell'incertezza senza richiedere induttivi bias espliciti.
Questo studio dimostra che un framework di inferenza basato su simulazione che utilizza reti neurali supera i metodi bayesiani tradizionali nell'efficienza e nella precisione della stima dei parametri di un modello basato su agenti del mercato del lavoro, sia su dati sintetici che reali.
Questo lavoro propone algoritmi di previsione conformale online che adattano dinamicamente i set di calibrazione rilevando cambiamenti di distribuzione, garantendo un rimpianto cumulativo condizionato all'addestramento minimax-ottimale sia per dati con score preaddestrati che per modelli appresi online.
Il paper introduce SubQuad, una pipeline end-to-end che supera i colli di bottiglia computazionali e gli squilibri nei dataset dei repertori immunitari adattivi combinando un prefiltraggio MinHash, kernel di affinità accelerati da GPU e obiettivi di clustering equo per abilitare un'analisi scalabile e priva di bias a fini di scoperta di biomarcatori e priorizzazione vaccinale.
Il paper propone un framework di apprendimento curricolare a tre stadi che, combinando mascheramento strutturale e ottimizzazione GRPO, permette di distillare efficacemente il ragionamento a catena di pensiero in modelli più piccoli, ottenendo su GSM8K un miglioramento dell'accuratezza dell'11,29% e una riduzione della lunghezza delle risposte del 27,4%.
CityGuard è un framework basato su transformer e grafi che abilita la ricerca di identità nelle città rispettando la privacy, integrando metriche adattive, attenzione condizionata spazialmente e embedding differenzialmente privati per garantire robustezza alle variazioni di vista e all'occlusione senza condividere immagini grezze.
Il documento presenta RA-QA, un nuovo sistema di benchmarking che armonizza dataset pubblici per creare un vasto insieme di 9 milioni di coppie domanda-risposta audio-respiratorie, valutando le prestazioni e i limiti dei modelli multimodali attuali in condizioni di eterogeneità del mondo reale.
Il paper propone cc-Shapley, un metodo che integra la conoscenza causale nei valori di Shapley per correggere le distorsioni indotte da bias di collisore e soppressione, garantendo così attribuzioni di importanza delle feature più affidabili e prive di associazioni spurie.
Questo lavoro estende la stima della densità kernel (KDE) e l'assottigliamento gerarchico (HS) agli alberi di Hoeffding per la regressione su flussi di dati sbilanciati, dimostrando sperimentalmente che KDE migliora le prestazioni nelle fasi iniziali dello streaming mentre HS offre benefici limitati.