11095 articoli
Questo lavoro introduce il framework di "relatively smart learning", che supera le limitazioni dell'apprendimento PAC intelligente tradizionale richiedendo ai learner supervisionati di competere solo con le migliori garanzie semi-supervisionate "certificabili", dimostrando così che tale rilassamento permette di aggirare i risultati di impossibilità precedenti.
Il paper presenta UTICA, un modello fondazionale per la classificazione delle serie temporali basato su auto-distillazione multi-obiettivo in stile DINOv2, che combina invarianza temporale e struttura locale per raggiungere prestazioni all'avanguardia sui benchmark UCR e UEA.
Questo studio presenta un metodo generale per costruire dataset di istruzioni sintetiche di alta qualità partendo dal vocabolario specifico di un settore, dimostrando nel dominio finanziario giapponese come l'uso di tracce di ragionamento (Chain-of-Thought) su larga scala migliori le capacità di ragionamento dei modelli linguistici, con risorse ora open-source.
Il paper propone Fed-GAME, un framework di apprendimento federato personalizzato che utilizza un grafo implicito dinamico e un aggregatore Mixture-of-Experts con attenzione grafica per migliorare le previsioni delle serie temporali in ambienti eterogenei, superando i limiti delle topologie statiche.
Il paper propone il metodo TACPO, basato su vincoli di ottimizzazione della politica allineati al vantaggio tramite variazione totale, per mitigare il ritardo della politica (policy lag) nei sistemi di apprendimento per rinforzo on-policy distribuiti e ad alta frequenza di aggiornamento, migliorando così le prestazioni sia in compiti classici che nel ragionamento matematico con LLM.
Il paper propone il Causal Neural Probabilistic Circuit (CNPC), un modello che integra predittori neurali con circuiti probabilistici causali per migliorare l'interpretabilità e l'accuratezza dei Concept Bottleneck Models gestendo correttamente le dipendenze causali durante le interventi, superando così i limiti dei metodi tradizionali che ignorano tali relazioni.
Il paper presenta ROSA2, un framework che migliora l'adattamento delle LLM durante l'inferenza in interazioni multi-turno ottimizzando sinergicamente sia le istruzioni testuali che i pesi del modello, riducendo così significativamente gli errori e il numero di turni necessari rispetto agli approcci esistenti.
Il paper introduce 3BASiL-TM, un metodo efficiente per la compressione one-shot dei Large Language Models basato su una decomposizione in somma di matrici sparse e a basso rango che, grazie a un nuovo algoritmo ADMM a tre blocchi e a un raffinamento di matching dei transformer, riduce significativamente il gap di prestazioni rispetto ai modelli densi e accelera i tempi di compressione rispetto agli stati dell'arte.
Il paper introduce l'Invariant-Stratified Propagation (ISP), un nuovo framework che supera i limiti espressivi delle tradizionali GNN stratificando i nodi in base a invarianti grafici, permettendo così di distinguere posizioni strutturali complesse con un'efficienza computazionale superiore rispetto ai metodi esistenti.
Il paper introduce Quasar, un framework di accelerazione speculativa senza addestramento che utilizza la quantizzazione a basso bit nella fase di verifica per superare il collo di bottiglia della larghezza di banda della memoria, raddoppiando il traffico di memoria e migliorando il throughput end-to-end di 1,28 volte mantenendo un'accuratezza elevata.
Il paper presenta MIST-RL, un framework basato sul reinforcement learning che ottimizza la generazione di test unitari tramite mutazioni incrementali, superando i limiti degli approcci basati sulla quantità per ottenere suite di test più compatte ed efficaci che migliorano sia il rilevamento dei difetti che la precisione nella riclassificazione del codice.
Questo lavoro presenta un framework di apprendimento di operatori informato dalla fisica e guidato dagli elementi finiti, implementato su Folax, che risolve con alta accuratezza problemi multifisici accoppiati su domini arbitrari senza dati etichettati, dimostrando l'efficacia di diverse architetture neurali come FNO e iFOL per la previsione indipendente dalla discretizzazione in scenari complessi.
Questo lavoro stabilisce un rigoroso legame tra la stabilità esponenziale degli algoritmi di ottimizzazione discreta e quella delle loro corrispondenti equazioni differenziali ordinarie di risoluzione, applicando tale quadro teorico per dimostrare la stabilità di punti di equilibrio in diversi metodi di ottimizzazione min-max, tra cui GEG e TT-PPM, senza richiedere l'assunzione di invarianza dell'Hessiano.
Il paper presenta Origami, un'architettura autoregressiva basata su transformer che genera nativamente dati sintetici di alta qualità per formati semi-strutturati e sparsi come JSON, superando i limiti dei metodi esistenti che richiedono l'appiattimento dei dati.
Il paper propone SEAnet, una nuova architettura di deep learning basata sulla tecnica di approssimazione per embedding profondo (DEA) e su strategie di campionamento innovative, che supera i limiti degli indici SAX esistenti offrendo risultati superiori nella ricerca di similarità per serie temporali massive e rumorose.
Il paper presenta PhysFormer, un modello generativo che integra direttamente i processi fisici nella sua architettura per garantire coerenza fisica e stabilità numerica nella sintesi spettrale di sistemi complessi, superando i limiti delle reti neurali informate dalla fisica tradizionali.
Il paper propone CoCoA, un nuovo paradigma di pre-addestramento basato sulla ricostruzione del contenuto tramite attenzione collaborativa che supera i limiti delle architetture MLLM tradizionali per generare rappresentazioni multimodali più compatte e informative, migliorando significativamente le prestazioni nei compiti di embedding.
Questo lavoro introduce Spoof-SUPERB, un benchmark che valuta sistematicamente 20 modelli di apprendimento auto-supervisionato per la rilevazione di deepfake audio, rivelando che i grandi modelli discriminativi pre-addestrati multilingue offrono le prestazioni e la robustezza migliori rispetto agli approcci generativi.
Il paper presenta un meccanismo di sicurezza a tempo di inferenza per i modelli linguistici di codice che, sfruttando la generazione aumentata dal recupero di discussioni di sicurezza da Stack Overflow, revisiona il codice generato per migliorarne la trasparenza, la robustezza e l'allineamento alla sicurezza senza necessità di riaddestramento.
Questo studio dimostra che un algoritmo di discesa del gradiente di primo ordine, arricchito da un inizializzazione spettrale dipendente dai dati e da un precondizionatore strutturale, converge geometricamente alla soluzione globale ottimale per un layer di auto-attenzione softmax addestrato su regressione lineare.