10313 articoli
Questo paper introduce un metodo scalabile basato su autoencoder sparsi per scoprire e guidare concetti interpretabili nei modelli generativi musicali, rivelando sia principi musicali familiari che pattern coerenti ma non codificati che sfuggono alle tradizionali teorie analitiche.
Il paper propone SuperMAN, un framework interpretabile e ad alta espressività basato su grafici impliciti per apprendere da dati temporali eterogenei e sparsi, ottenendo prestazioni all'avanguardia in compiti critici come la previsione dell'insorgenza del morbo di Crohn e il rilevamento di fake news.
Il paper presenta Intuitor, un metodo di apprendimento per rinforzo che utilizza la "self-certainty" (autocertezza) intrinseca del modello come unico segnale di ricompensa, permettendo ai grandi modelli linguistici di migliorare il ragionamento e la generalizzazione in modo completamente non supervisionato senza dipendere da ricompense esterne o dati etichettati.
Questo articolo propone nuove funzioni kernel probabilistiche basate su proiezioni deterministiche per il test degli angoli in spazi ad alta dimensionalità, dimostrando sperimentalmente che superano i metodi basati su distribuzioni gaussiane e offrono un throughput di ricerca 2,5-3 volte superiore rispetto all'algoritmo HNSW.
Il documento presenta PLANETALIGN, una libreria Python completa che facilita lo sviluppo e il benchmarking sistematico dei metodi di allineamento di rete attraverso un ricco insieme di dataset, algoritmi e pipeline di valutazione standardizzate.
Il paper propone EquiReg, un framework plug-and-play che migliora la risoluzione dei problemi inversi tramite modelli di diffusione, regolarizzando le traiettorie di campionamento verso il manifold dei dati sfruttando funzioni equivarianti per ottenere ricostruzioni di alta qualità anche con pochi passi di campionamento.
Il paper presenta AReaL, un sistema di apprendimento per rinforzo completamente asincrono che disaccoppia generazione e addestramento per massimizzare l'utilizzo delle GPU e accelerare l'addestramento dei modelli linguistici su compiti di ragionamento, ottenendo un miglioramento delle prestazioni fino a 2,77 volte rispetto ai sistemi sincroni.
Questo lavoro introduce Protap, un benchmark completo che dimostra come, per applicazioni proteiche realistiche e specifiche, i modelli supervisionati su piccoli dataset, l'integrazione di informazioni strutturali e i prior biologici di dominio possano spesso superare le prestazioni dei grandi modelli preaddestrati su sequenze.
Il paper presenta FAuNO, un framework di apprendimento per rinforzo federato asincrono che ottimizza l'offloading dei compiti nei sistemi edge attraverso un'architettura attore-critico, dimostrando prestazioni superiori rispetto alle soluzioni esistenti nel ridurre latenza e perdita di dati.
Il paper propone PAMM, una tecnica di compressione tensoriale che riduce l'occupazione di memoria delle proiezioni QKV negli strati di attenzione fino a 512 volte senza compromettere le prestazioni del modello, rendendola un metodo complementare e pratico per l'addestramento efficiente di LLM.
Questo articolo introduce l'attenzione log-lineare, un meccanismo che bilancia l'efficienza computazionale delle attention lineari con l'espressività delle attention softmax sostituendo lo stato nascosto fisso con un insieme che cresce logaritmicamente, permettendo così un addestramento parallelo efficiente e prestazioni competitive in architetture come Mamba-2 e Gated DeltaNet.
Questo lavoro propone un nuovo framework di allineamento delle preferenze basato sulla teoria della scelta sociale che, inferendo la distribuzione reale degli evaluatori dai dati di confronto, garantisce un allineamento proporzionale alla popolazione e riduce la manipolabilità strategica, superando i limiti dei metodi convenzionali come RLHF e NLHF.
Questo studio analizza i compromessi tra accuratezza ed efficienza nell'addestramento delle reti neurali a impulsi, dimostrando che l'uso della complessità di Lempel-Ziv come descrittore temporale rivela come le regole di apprendimento bio-ispirate offrano un migliore equilibrio rispetto ai metodi basati su gradienti per il riconoscimento di pattern temporali.
Il paper propone un approccio di meta-apprendimento che migliora le capacità few-shot dei Large Multimodal Models per il Visual Question Answering distillando prompt soft da caratteristiche visive rilevanti tramite un modulo mappatore di attenzione, superando significativamente sia l'apprendimento in contesto che i metodi di finetuning efficiente.
Il paper presenta ProteinZero, un framework di apprendimento per rinforzo online che permette ai modelli generativi di proteine di auto-migliorarsi in modo scalabile ed efficiente, superando i metodi esistenti grazie a un processo di ottimizzazione multi-obiettivo che combina guida strutturale, predizione di stabilità e regolarizzazione della diversità.
Il paper propone gli InFOM, modelli di occupazione basati sul flow matching e condizionati all'intenzione dell'utente, che sfruttano il pre-addestramento su larga scala per migliorare l'efficienza dei campioni e la robustezza nell'apprendimento per rinforzo, ottenendo significativi miglioramenti nelle prestazioni su numerosi benchmark.
Il paper introduce BranchSBM, un nuovo framework che supera i limiti dei metodi generativi esistenti permettendo di modellare traiettorie intermedie ramificate da una distribuzione iniziale verso molteplici distribuzioni target, risultando essenziale per applicazioni come la navigazione multi-percorso e la simulazione di biforcazioni nel destino cellulare.
Questo studio teorico e sperimentale, basato sull'apprendimento per rinforzo multi-agente e su un nuovo algoritmo di ricerca parametrica, dimostra che la diversità comportamentale nei team cooperativi viene premiata quando la curvatura delle funzioni di ricompensa globale soddisfa specifici criteri di convessità, fornendo così una guida per la progettazione di obiettivi che favoriscono l'eterogeneità.
Questo articolo presenta il primo studio che stabilisce limiti superiori e inferiori quasi corrispondenti per il costo minimo necessario a identificare un classificatore monotono con un errore relativo al massimo volte quello ottimale, superando i precedenti risultati basati su fattori di errore assoluti.
Il paper introduce VINCIE, un modello basato su trasformatori di diffusione che impara l'editing di immagini in contesto direttamente da video, superando le dipendenze da pipeline specifiche e ottenendo risultati all'avanguardia su benchmark multi-turno.