12779 articoli
Il paper propone il metodo TACPO, basato su vincoli di ottimizzazione della politica allineati al vantaggio tramite variazione totale, per mitigare il ritardo della politica (policy lag) nei sistemi di apprendimento per rinforzo on-policy distribuiti e ad alta frequenza di aggiornamento, migliorando così le prestazioni sia in compiti classici che nel ragionamento matematico con LLM.
Il paper propone il Causal Neural Probabilistic Circuit (CNPC), un modello che integra predittori neurali con circuiti probabilistici causali per migliorare l'interpretabilità e l'accuratezza dei Concept Bottleneck Models gestendo correttamente le dipendenze causali durante le interventi, superando così i limiti dei metodi tradizionali che ignorano tali relazioni.
Il paper presenta ROSA2, un framework che migliora l'adattamento delle LLM durante l'inferenza in interazioni multi-turno ottimizzando sinergicamente sia le istruzioni testuali che i pesi del modello, riducendo così significativamente gli errori e il numero di turni necessari rispetto agli approcci esistenti.
Il paper introduce 3BASiL-TM, un metodo efficiente per la compressione one-shot dei Large Language Models basato su una decomposizione in somma di matrici sparse e a basso rango che, grazie a un nuovo algoritmo ADMM a tre blocchi e a un raffinamento di matching dei transformer, riduce significativamente il gap di prestazioni rispetto ai modelli densi e accelera i tempi di compressione rispetto agli stati dell'arte.
Il paper introduce l'Invariant-Stratified Propagation (ISP), un nuovo framework che supera i limiti espressivi delle tradizionali GNN stratificando i nodi in base a invarianti grafici, permettendo così di distinguere posizioni strutturali complesse con un'efficienza computazionale superiore rispetto ai metodi esistenti.
Il paper introduce Quasar, un framework di accelerazione speculativa senza addestramento che utilizza la quantizzazione a basso bit nella fase di verifica per superare il collo di bottiglia della larghezza di banda della memoria, raddoppiando il traffico di memoria e migliorando il throughput end-to-end di 1,28 volte mantenendo un'accuratezza elevata.
Il paper presenta MIST-RL, un framework basato sul reinforcement learning che ottimizza la generazione di test unitari tramite mutazioni incrementali, superando i limiti degli approcci basati sulla quantità per ottenere suite di test più compatte ed efficaci che migliorano sia il rilevamento dei difetti che la precisione nella riclassificazione del codice.
Questo lavoro presenta un framework di apprendimento di operatori informato dalla fisica e guidato dagli elementi finiti, implementato su Folax, che risolve con alta accuratezza problemi multifisici accoppiati su domini arbitrari senza dati etichettati, dimostrando l'efficacia di diverse architetture neurali come FNO e iFOL per la previsione indipendente dalla discretizzazione in scenari complessi.
Questo lavoro stabilisce un rigoroso legame tra la stabilità esponenziale degli algoritmi di ottimizzazione discreta e quella delle loro corrispondenti equazioni differenziali ordinarie di risoluzione, applicando tale quadro teorico per dimostrare la stabilità di punti di equilibrio in diversi metodi di ottimizzazione min-max, tra cui GEG e TT-PPM, senza richiedere l'assunzione di invarianza dell'Hessiano.
Il paper presenta Origami, un'architettura autoregressiva basata su transformer che genera nativamente dati sintetici di alta qualità per formati semi-strutturati e sparsi come JSON, superando i limiti dei metodi esistenti che richiedono l'appiattimento dei dati.
Il paper propone SEAnet, una nuova architettura di deep learning basata sulla tecnica di approssimazione per embedding profondo (DEA) e su strategie di campionamento innovative, che supera i limiti degli indici SAX esistenti offrendo risultati superiori nella ricerca di similarità per serie temporali massive e rumorose.
Il paper presenta PhysFormer, un modello generativo che integra direttamente i processi fisici nella sua architettura per garantire coerenza fisica e stabilità numerica nella sintesi spettrale di sistemi complessi, superando i limiti delle reti neurali informate dalla fisica tradizionali.
Il paper propone CoCoA, un nuovo paradigma di pre-addestramento basato sulla ricostruzione del contenuto tramite attenzione collaborativa che supera i limiti delle architetture MLLM tradizionali per generare rappresentazioni multimodali più compatte e informative, migliorando significativamente le prestazioni nei compiti di embedding.
Questo lavoro introduce Spoof-SUPERB, un benchmark che valuta sistematicamente 20 modelli di apprendimento auto-supervisionato per la rilevazione di deepfake audio, rivelando che i grandi modelli discriminativi pre-addestrati multilingue offrono le prestazioni e la robustezza migliori rispetto agli approcci generativi.
Il paper presenta un meccanismo di sicurezza a tempo di inferenza per i modelli linguistici di codice che, sfruttando la generazione aumentata dal recupero di discussioni di sicurezza da Stack Overflow, revisiona il codice generato per migliorarne la trasparenza, la robustezza e l'allineamento alla sicurezza senza necessità di riaddestramento.
Questo studio dimostra che un algoritmo di discesa del gradiente di primo ordine, arricchito da un inizializzazione spettrale dipendente dai dati e da un precondizionatore strutturale, converge geometricamente alla soluzione globale ottimale per un layer di auto-attenzione softmax addestrato su regressione lineare.
Questo studio introduce un quadro teorico basato sulla teoria della distorsione del tasso per analizzare i compromessi tra accuratezza e robustezza nella visione artificiale e biologica, rivelando che, sebbene entrambi i sistemi seguano principi di compressione, gli esseri umani mostrano trade-off più flessibili rispetto alle reti neurali profonde, che operano in regimi più rigidi e fragili.
Questo articolo propone un approccio "Jump Like A Squirrel" che ottimizza l'ordine di esecuzione dei singoli passi negli alberi decisionali per trasformare le foreste casuali in algoritmi "anytime", permettendo di ottenere previsioni di qualità crescente anche con tempo di esecuzione limitato, con la "Backward Squirrel Order" che si dimostra una soluzione euristica quasi ottimale.
Il paper propone un framework di apprendimento automatico basato su Generative Flow Networks che, integrando un buffer di esperienza, una politica esplorativa uniforme e un mascheramento delle azioni basato sulla fisica, supera i limiti computazionali del ray tracing tradizionale per la modellazione della propagazione radio, garantendo velocità di calcolo fino a 1000 volte superiori mantenendo alta accuratezza.
Questo lavoro presenta un metodo di reti neurali randomizzate (RaNN) per risolvere efficientemente equazioni differenziali parziali su superfici statiche ed evolutive, evitando la complessità del rimeshing e garantendo alta precisione attraverso una formulazione a parametri fissi risolta con problemi ai minimi quadrati.