7809 articoli
Il paper introduce Delta-Crosscoder, un metodo innovativo che combina sparsità BatchTopK e una perdita basata sulle differenze per isolare con successo le direzioni latenti responsabili di comportamenti specifici nei modelli fine-tuned, superando le limitazioni degli approcci esistenti in scenari di modifica stretta e asimmetrica.
Il paper propone di ridurre la dimensione delle chiavi (keys) nell'attenzione dei transformer, sfruttando l'asimmetria tra la selezione (a bassa dimensionalità) e il trasferimento di valori (ad alta dimensionalità), per ottenere un risparmio significativo della cache KV con una minima perdita di qualità del modello.
Questo paper presenta un sistema per l'inferenza multi-agente LLM su dispositivi edge che risolve i vincoli di memoria persistendo le cache KV quantizzate a 4 bit su disco, permettendo il ripristino diretto dello stato di attenzione e riducendo il tempo di primo token fino a 136 volte rispetto al ricalcolo completo, con un impatto minimo sulla qualità del modello.
Il paper introduce Flowers, un'architettura neurale efficiente e scalabile per la risoluzione di equazioni differenziali alle derivate parziali (PDE) basata esclusivamente su operazioni di "warping" multi-head che, eliminando trasformate di Fourier e meccanismi di attenzione, supera le prestazioni dei modelli esistenti su una vasta gamma di benchmark fisici.
Il paper presenta SOLID, un framework di diffusione condizionato da maschere che apprende la dinamica spazio-temporale esclusivamente da osservazioni sparse senza richiedere dati densi, permettendo la ricostruzione di campi completi con mappe di incertezza ben calibrate.
Questo studio propone un meccanismo di allocazione delle superfici intelligenti riconfigurabili (RIS) basato su aste ascendenti simultanee e agenti di apprendimento per rinforzo profondo (DRL) che ottimizzano il compromesso tra costi e prestazioni nelle reti wireless multi-cellula, permettendo un controllo flessibile dell'aggressività delle offerte.
Il paper propone ZorBA, un framework di fine-tuning federato per grandi modelli linguistici che utilizza ottimizzazione di ordine zero e attivazione eterogenea dei blocchi per ridurre drasticamente l'uso di VRAM e l'overhead di comunicazione mantenendo un'alta efficienza di convergenza.
Il documento propone ASFL, un framework di apprendimento federato diviso adattivo che ottimizza la velocità di convergenza, il ritardo e il consumo energetico nei network wireless mediante un algoritmo di ottimizzazione online che gestisce dinamicamente la suddivisione del modello e l'allocazione delle risorse.
Il paper presenta CogGen, un modello generativo profondo completamente non supervisionato che migliora la ricostruzione della risonanza magnetica campionata in modo compresso regolando il "carico cognitivo" attraverso una strategia di apprendimento curricolare che passa gradualmente dal fitting dei dati a bassa frequenza a quelli ad alta frequenza, superando così i limiti di convergenza e di sovrapposizione dei metodi tradizionali.
Il documento presenta un framework di investimento regime-aware spiegabile basato su un modello HMM di Wasserstein strettamente causale che, adattando dinamicamente la complessità dei regimi e preservandone l'identità, ottiene performance rischio-rendimento superiori e un minor drawdown rispetto ai benchmark tradizionali e a metodi non parametrici.
Il paper presenta AMV-L, un framework di gestione della memoria per agenti LLM a lungo termine che, sostituendo le tradizionali politiche basate sull'età con un ciclo di vita guidato dal valore e un set di candidati limitato, garantisce un controllo preciso della latenza di coda e migliora significativamente il throughput e la stabilità rispetto ai sistemi esistenti.
Il paper introduce SkillNet, un'infrastruttura aperta che crea, valuta e organizza competenze AI su larga scala attraverso un'ontologia unificata e un repository di oltre 200.000 competenze, migliorando significativamente le prestazioni degli agenti riducendo la necessità di reinventare soluzioni già esistenti.
Questo studio presenta un framework di ensemble spiegabile che, combinando tecniche di bilanciamento dei dati e algoritmi come XGBoost e Random Forest, raggiunge un'accurata e trasparente previsione dell'Alzheimer basata su dati clinici e cognitivi strutturati.
Questo articolo presenta MPBMC, un approccio ibrido che utilizza embedding di reti neurali grafiche e statistiche di runtime per raggruppare funzionalmente le proprietà e accelerare la verifica formale tramite model checking limitato.
Il paper propone l'NCnet, un'architettura di rete neurale classica che, attraverso la competizione dei gradienti tra neuroni condivisi, esibisce dinamiche di addestramento con correlazioni non-classiche misurabili tramite l'ineguaglianza CHSH, offrendo una nuova prospettiva per comprendere le interazioni interne e le prestazioni di generalizzazione delle reti profonde.
Questo studio rivela una nuova modalità di fallimento nei modelli linguistici visivi multimodali, dimostrando che l'ottimizzazione di una funzione di perdita volta a massimizzare l'instabilità numerica genera immagini che degradano significativamente le prestazioni del modello con modifiche minime, un fenomeno distinto dalle tradizionali perturbazioni avversarie.
Questo articolo propone il paradigma di apprendimento HARR (Heterogeneous Attribute Reconstruction and Representation), un metodo privo di parametri e garantito nella convergenza che trasforma attributi eterogenei in uno stato omogeneo proiettandoli in spazi apprendibili unificati per migliorare l'accuratezza e l'efficienza del clustering su dati misti.
Il paper presenta VSPrefill, un meccanismo di attenzione sparsa basato su pattern verticali e diagonali che, tramite un indice leggero e strategie adattive, riduce la complessità del prefilling a scala lineare ottenendo un'accelerazione di 4,95 volte su contesti lunghi fino a 128k senza compromettere significativamente l'accuratezza.
Il documento presenta MAD-SmaAt-GNet, una rete neurale multimodale addestrata per migliorare le previsioni di precipitazione a breve termine integrando l'architettura SmaAt-UNet con un encoder multimodale e un componente di avvezione basato sulla fisica, ottenendo una riduzione significativa dell'errore quadratico medio rispetto ai modelli di base.
Questo studio rivela che i modelli linguistici di grandi dimensioni elaborano le dimostrazioni conflittuali nell'apprendimento contestuale attraverso una struttura computazionale a due fasi, identificando specifiche "teste" di attenzione vulnerabili e suscettibili che, se disattivate miratamente, migliorano le prestazioni del modello di oltre il 10%.