9782 articoli
Questo studio analizza la consistenza del routing locale nei modelli Mixture-of-Experts, proponendo nuove metriche per valutare l'efficacia dell'offloading degli esperti e rivelando come il bilanciamento del carico locale e le scelte architetturali influenzino le prestazioni su dispositivi con memoria limitata.
Il paper introduce ICYM2I, un framework basato sulla ponderazione per probabilità inversa che corregge i pregiudizi nella stima del guadagno informativo nel machine learning multimodale causati dai cambiamenti nei modelli di dati mancanti tra ambienti di origine e target.
Il paper propone la Negative-aware Fine-Tuning (NFT), un approccio di apprendimento supervisionato che, modellando le risposte errate generate internamente come una politica implicita, permette ai modelli linguistici di migliorare autonomamente nelle capacità di ragionamento matematico, colmando il divario tra metodi supervisionati e di apprendimento per rinforzo e dimostrando risultati paragonabili o superiori agli algoritmi RL più avanzati.
Questo paper introduce un metodo scalabile basato su autoencoder sparsi per scoprire e guidare concetti interpretabili nei modelli generativi musicali, rivelando sia principi musicali familiari che pattern coerenti ma non codificati che sfuggono alle tradizionali teorie analitiche.
Il paper propone SuperMAN, un framework interpretabile e ad alta espressività basato su grafici impliciti per apprendere da dati temporali eterogenei e sparsi, ottenendo prestazioni all'avanguardia in compiti critici come la previsione dell'insorgenza del morbo di Crohn e il rilevamento di fake news.
Il paper presenta Intuitor, un metodo di apprendimento per rinforzo che utilizza la "self-certainty" (autocertezza) intrinseca del modello come unico segnale di ricompensa, permettendo ai grandi modelli linguistici di migliorare il ragionamento e la generalizzazione in modo completamente non supervisionato senza dipendere da ricompense esterne o dati etichettati.
Questo articolo propone nuove funzioni kernel probabilistiche basate su proiezioni deterministiche per il test degli angoli in spazi ad alta dimensionalità, dimostrando sperimentalmente che superano i metodi basati su distribuzioni gaussiane e offrono un throughput di ricerca 2,5-3 volte superiore rispetto all'algoritmo HNSW.
Il documento presenta PLANETALIGN, una libreria Python completa che facilita lo sviluppo e il benchmarking sistematico dei metodi di allineamento di rete attraverso un ricco insieme di dataset, algoritmi e pipeline di valutazione standardizzate.
Il paper propone EquiReg, un framework plug-and-play che migliora la risoluzione dei problemi inversi tramite modelli di diffusione, regolarizzando le traiettorie di campionamento verso il manifold dei dati sfruttando funzioni equivarianti per ottenere ricostruzioni di alta qualità anche con pochi passi di campionamento.
Il paper presenta AReaL, un sistema di apprendimento per rinforzo completamente asincrono che disaccoppia generazione e addestramento per massimizzare l'utilizzo delle GPU e accelerare l'addestramento dei modelli linguistici su compiti di ragionamento, ottenendo un miglioramento delle prestazioni fino a 2,77 volte rispetto ai sistemi sincroni.
Questo lavoro introduce Protap, un benchmark completo che dimostra come, per applicazioni proteiche realistiche e specifiche, i modelli supervisionati su piccoli dataset, l'integrazione di informazioni strutturali e i prior biologici di dominio possano spesso superare le prestazioni dei grandi modelli preaddestrati su sequenze.
Il paper presenta FAuNO, un framework di apprendimento per rinforzo federato asincrono che ottimizza l'offloading dei compiti nei sistemi edge attraverso un'architettura attore-critico, dimostrando prestazioni superiori rispetto alle soluzioni esistenti nel ridurre latenza e perdita di dati.
Il paper propone PAMM, una tecnica di compressione tensoriale che riduce l'occupazione di memoria delle proiezioni QKV negli strati di attenzione fino a 512 volte senza compromettere le prestazioni del modello, rendendola un metodo complementare e pratico per l'addestramento efficiente di LLM.
Questo articolo introduce l'attenzione log-lineare, un meccanismo che bilancia l'efficienza computazionale delle attention lineari con l'espressività delle attention softmax sostituendo lo stato nascosto fisso con un insieme che cresce logaritmicamente, permettendo così un addestramento parallelo efficiente e prestazioni competitive in architetture come Mamba-2 e Gated DeltaNet.
Questo lavoro propone un nuovo framework di allineamento delle preferenze basato sulla teoria della scelta sociale che, inferendo la distribuzione reale degli evaluatori dai dati di confronto, garantisce un allineamento proporzionale alla popolazione e riduce la manipolabilità strategica, superando i limiti dei metodi convenzionali come RLHF e NLHF.
Questo studio analizza i compromessi tra accuratezza ed efficienza nell'addestramento delle reti neurali a impulsi, dimostrando che l'uso della complessità di Lempel-Ziv come descrittore temporale rivela come le regole di apprendimento bio-ispirate offrano un migliore equilibrio rispetto ai metodi basati su gradienti per il riconoscimento di pattern temporali.
Il paper propone un approccio di meta-apprendimento che migliora le capacità few-shot dei Large Multimodal Models per il Visual Question Answering distillando prompt soft da caratteristiche visive rilevanti tramite un modulo mappatore di attenzione, superando significativamente sia l'apprendimento in contesto che i metodi di finetuning efficiente.
Il paper presenta ProteinZero, un framework di apprendimento per rinforzo online che permette ai modelli generativi di proteine di auto-migliorarsi in modo scalabile ed efficiente, superando i metodi esistenti grazie a un processo di ottimizzazione multi-obiettivo che combina guida strutturale, predizione di stabilità e regolarizzazione della diversità.
Il paper propone gli InFOM, modelli di occupazione basati sul flow matching e condizionati all'intenzione dell'utente, che sfruttano il pre-addestramento su larga scala per migliorare l'efficienza dei campioni e la robustezza nell'apprendimento per rinforzo, ottenendo significativi miglioramenti nelle prestazioni su numerosi benchmark.
Il paper introduce BranchSBM, un nuovo framework che supera i limiti dei metodi generativi esistenti permettendo di modellare traiettorie intermedie ramificate da una distribuzione iniziale verso molteplici distribuzioni target, risultando essenziale per applicazioni come la navigazione multi-percorso e la simulazione di biforcazioni nel destino cellulare.