7557 articoli
Il paper presenta DynaKV, un innovativo framework di post-addestramento per la compressione del cache KV che assegna dinamicamente tassi di compressione a livello di token in base al loro significato semantico, ottenendo così una riduzione significativa della memoria e prestazioni superiori rispetto alle tecniche esistenti, specialmente se combinato con metodi di pruning come SnapKV.
Il paper propone FreST Loss, un obiettivo di addestramento basato sulla trasformata di Fourier congiunta che supera i limiti delle funzioni di perdita tradizionali decorrelando le dipendenze spaziali e temporali nel dominio frequenziale, migliorando così le prestazioni dei modelli di previsione spaziotemporale su diversi dataset reali.
Lo studio dimostra che i modelli visione-linguaggio calcolano le affordance in modo fortemente dipendente dal contesto, mostrando una deriva significativa sia lessicale che semantica che suggerisce la necessità di un'ontologia dinamica e adattiva per la robotica.
Questo studio propone le Equilibrium-Informed Neural Networks (EINN), un approccio basato sul deep learning che inverte il processo tradizionale di analisi delle biforcazioni utilizzando stati di equilibrio come input per inferire i parametri del sistema, consentendo così di rilevare in modo efficiente le soglie critiche e i punti di svolta in sistemi dinamici complessi.
Il paper propone FedEMA-Distill, un metodo di apprendimento federato robusto ed efficiente che combina una media mobile esponenziale con la distillazione della conoscenza basata sui logit aggregati per mitigare l'eterogeneità dei dati, ridurre il carico di comunicazione e resistere ad attacchi avversari senza richiedere modifiche ai client.
Questo studio empirico dimostra che le prestazioni dell'addestramento distribuito su GPU su larga scala sono spesso dominate da fattori di rete e di fabric, come la topologia e la congestione, che causano un ritorno decrescente e comportamenti instabili non rilevati dagli strumenti di profilazione standard, fornendo al contempo principi diagnostici pratici per mitigare questi problemi.
Questo studio analizza un dataset di reti cellulari multigenerazionali per identificare modelli di utilizzo e lacune infrastrutturali, fornendo alle operatori mobili indicazioni strategiche per ottimizzare le risorse, aggiornare le tecnologie legacy e colmare il divario digitale.
Il paper introduce Delta-Crosscoder, un metodo innovativo che combina sparsità BatchTopK e una perdita basata sulle differenze per isolare con successo le direzioni latenti responsabili di comportamenti specifici nei modelli fine-tuned, superando le limitazioni degli approcci esistenti in scenari di modifica stretta e asimmetrica.
Il paper propone di ridurre la dimensione delle chiavi (keys) nell'attenzione dei transformer, sfruttando l'asimmetria tra la selezione (a bassa dimensionalità) e il trasferimento di valori (ad alta dimensionalità), per ottenere un risparmio significativo della cache KV con una minima perdita di qualità del modello.
Questo paper presenta un sistema per l'inferenza multi-agente LLM su dispositivi edge che risolve i vincoli di memoria persistendo le cache KV quantizzate a 4 bit su disco, permettendo il ripristino diretto dello stato di attenzione e riducendo il tempo di primo token fino a 136 volte rispetto al ricalcolo completo, con un impatto minimo sulla qualità del modello.
Il paper introduce Flowers, un'architettura neurale efficiente e scalabile per la risoluzione di equazioni differenziali alle derivate parziali (PDE) basata esclusivamente su operazioni di "warping" multi-head che, eliminando trasformate di Fourier e meccanismi di attenzione, supera le prestazioni dei modelli esistenti su una vasta gamma di benchmark fisici.
Il paper presenta SOLID, un framework di diffusione condizionato da maschere che apprende la dinamica spazio-temporale esclusivamente da osservazioni sparse senza richiedere dati densi, permettendo la ricostruzione di campi completi con mappe di incertezza ben calibrate.
Questo studio propone un meccanismo di allocazione delle superfici intelligenti riconfigurabili (RIS) basato su aste ascendenti simultanee e agenti di apprendimento per rinforzo profondo (DRL) che ottimizzano il compromesso tra costi e prestazioni nelle reti wireless multi-cellula, permettendo un controllo flessibile dell'aggressività delle offerte.
Il paper propone ZorBA, un framework di fine-tuning federato per grandi modelli linguistici che utilizza ottimizzazione di ordine zero e attivazione eterogenea dei blocchi per ridurre drasticamente l'uso di VRAM e l'overhead di comunicazione mantenendo un'alta efficienza di convergenza.
Il documento propone ASFL, un framework di apprendimento federato diviso adattivo che ottimizza la velocità di convergenza, il ritardo e il consumo energetico nei network wireless mediante un algoritmo di ottimizzazione online che gestisce dinamicamente la suddivisione del modello e l'allocazione delle risorse.
Il paper presenta CogGen, un modello generativo profondo completamente non supervisionato che migliora la ricostruzione della risonanza magnetica campionata in modo compresso regolando il "carico cognitivo" attraverso una strategia di apprendimento curricolare che passa gradualmente dal fitting dei dati a bassa frequenza a quelli ad alta frequenza, superando così i limiti di convergenza e di sovrapposizione dei metodi tradizionali.
Il documento presenta un framework di investimento regime-aware spiegabile basato su un modello HMM di Wasserstein strettamente causale che, adattando dinamicamente la complessità dei regimi e preservandone l'identità, ottiene performance rischio-rendimento superiori e un minor drawdown rispetto ai benchmark tradizionali e a metodi non parametrici.
Il paper presenta AMV-L, un framework di gestione della memoria per agenti LLM a lungo termine che, sostituendo le tradizionali politiche basate sull'età con un ciclo di vita guidato dal valore e un set di candidati limitato, garantisce un controllo preciso della latenza di coda e migliora significativamente il throughput e la stabilità rispetto ai sistemi esistenti.
Il paper introduce SkillNet, un'infrastruttura aperta che crea, valuta e organizza competenze AI su larga scala attraverso un'ontologia unificata e un repository di oltre 200.000 competenze, migliorando significativamente le prestazioni degli agenti riducendo la necessità di reinventare soluzioni già esistenti.
Questo studio presenta un framework di ensemble spiegabile che, combinando tecniche di bilanciamento dei dati e algoritmi come XGBoost e Random Forest, raggiunge un'accurata e trasparente previsione dell'Alzheimer basata su dati clinici e cognitivi strutturati.