8380 articoli
Lo studio dimostra che l'adozione di una topologia sferica vincolata e l'ablazione del routing attentivo adattivo nei Transformer eliminano la fase di memorizzazione nel fenomeno del "grokking" sull'addizione modulare, suggerendo che l'allineamento tra le priorità architetturali e le simmetrie intrinseche del compito è cruciale per accelerare la generalizzazione.
Il paper presenta ASR-TRA, un nuovo framework di adattamento test-time basato sull'apprendimento per rinforzo che utilizza ricompense semantiche audio-testo per migliorare la robustezza e l'accuratezza dei sistemi di riconoscimento vocale in condizioni reali difficili, superando i limiti dei metodi basati sulla minimizzazione dell'entropia.
SlideSparse è il primo sistema che sblocca l'accelerazione tramite Tensor Core di NVIDIA per i modelli con sparsità strutturata su GPU commerciali, riconfigurando i pesi in finestre sovrapposte compatibili con il formato 2:4 e integrando la riorganizzazione delle attivazioni nella quantizzazione per ottenere un'accelerazione significativa senza perdita di accuratezza.
Il paper introduce le Recursive Inference Machines (RIMs), un nuovo framework di ragionamento neurale che integra meccanismi ricorsivi ispirati ai motori di inferenza classici per migliorare le prestazioni dei modelli esistenti su compiti complessi come il ragionamento logico e la classificazione di dati tabellari.
Il paper propone un framework di apprendimento federato a due stadi che, raggruppando le turbine eoliche in base al loro comportamento storico tramite un algoritmo di inizializzazione DRS e addestrando modelli LSTM specifici per cluster, garantisce previsioni di potenza accurate e rispettose della privacy per flotte di turbine distribuite.
Questo articolo propone un nuovo quadro di audit per i sistemi di riconoscimento vocale che, superando il tradizionale Word Error Rate, utilizza metriche semantiche e un indice di difficoltà del campione per rivelare e mitigare le disparità sistemiche a danno di gruppi marginalizzati.
Questo articolo presenta il "Whisperer", un innovativo framework di prompting visivo che utilizza un curriculum di apprendimento per imitazione comportamentale di miglioramenti stocastici trovati da un modello di diffusione, permettendo di ridurre significativamente l'errore di riconoscimento dei caratteri su immagini degradate adattando gli input pixel per pixel senza modificare i pesi dei modelli OCR pre-addestrati e congelati.
Questo studio dimostra che per l'analisi OOD dei Vision Transformer è fondamentale scegliere strategicamente sia il livello intermedio che il modulo specifico da sondare, rivelando che l'attivazione interna della rete feed-forward è ottimale in caso di forte shift distributivo, mentre l'output normalizzato dell'attenzione multi-testa lo è quando lo shift è debole.
Il documento presenta il Bayesian Supervised Causal Clustering (BSCC), un nuovo metodo che utilizza l'effetto del trattamento come outcome per identificare sottogruppi di pazienti omogenei sia nelle caratteristiche che nella risposta terapeutica, valutandone l'efficacia su dati simulati e reali.
Questo lavoro stabilisce un quadro formale che collega il dibattito e l'RLAIF, dimostrando come il vantaggio del dibattito dipenda dalla divergenza geometrica delle conoscenze tra i modelli, passando da un regime trascurabile a uno essenziale attraverso una transizione di fase e classificando tre regimi di divergenza che determinano l'efficacia della supervisione avversariale.
Il paper propone Latent Policy Steering (LPS), un metodo offline reinforcement learning che utilizza un policy MeanFlow differenziabile a un passo per guidare l'ottimizzazione dello spazio latente tramite gradienti Q nello spazio delle azioni originali, eliminando la necessità di critici latenti proxy e ottenendo prestazioni all'avanguardia con una sintonizzazione minima.
Il paper presenta WavSLM, un modello linguistico per il parlato che, tramite la distillazione di rappresentazioni WavLM in un unico codice e l'ottimizzazione di un obiettivo di previsione autoregressiva, riesce a modellare congiuntamente informazioni semantiche e acustiche in un singolo flusso di token senza supervisione testuale, ottenendo prestazioni competitive con minori parametri e dati di addestramento.
Il paper propone l'uso dei valori di Shapley asimmetrici come metrica onesta per quantificare l'importanza dei geni nei modelli predittivi clinici ad alta dimensionalità, superando i limiti degli approcci tradizionali legati alla collinearità e alla direzione delle dipendenze, e ne illustra l'efficacia attraverso algoritmi efficienti applicati alla previsione della sopravvivenza libera da progressione nel cancro del colon-retto.
Il paper introduce GALACTIC, il primo framework unificato che genera spiegazioni controfattuali sia locali che globali per il clustering di serie temporali, ottimizzando le perturbazioni a livello di istanza e selezionando un riassunto non ridondante delle transizioni tra cluster tramite un obiettivo basato sulla Lunghezza Minima di Descrizione (MDL) con garanzie di approssimazione.
Il paper presenta FairFinGAN, un framework basato su WGAN che genera dati finanziari sintetici privi di pregiudizi rispetto ad attributi protetti, garantendo al contempo l'utilità dei dati per le attività predittive successive.
Questo articolo dimostra che l'ammissibilità nell'inferenza predittiva è irriducibilmente relativa al criterio scelto, delineando quattro geometrie distinte e non annidate (dominanza di Blackwell, validità *anytime*, copertura marginale e admissibilità CAA) che, pur condividendo un modello di ottimizzazione comune, operano su spazi e vincoli geometricamente incompatibili.
Questo lavoro stabilisce una teoria statistica completa per gli alberi decisionali a minimizzazione del rischio empirico (ERM), fornendo disuguaglianze di oracolo precise e tassi minimassimali ottimali su una nuova classe di funzioni che cattura sparsità, regolarità anisotropa ed eterogeneità spaziale, validi anche in presenza di rumore pesante.
Il lavoro propone il framework di quantizzazione geometricamente consapevole (GAQ) per le GNN equivarianti rispetto a SO(3), che preserva la simmetria continua e l'accuratezza fisica nelle simulazioni molecolari riducendo al contempo costi computazionali e memoria attraverso uno schema di quantizzazione disaccoppiato e strategie di addestramento specifiche.
Il paper propone InfoFlow KV, un metodo che ottimizza la generazione per contesti lunghi nel RAG riformulando la ricomputazione selettiva della cache KV come problema di flusso informativo, utilizzando segnali di attenzione e un riordinamento dei chunk guidato dall'informazione per migliorare l'efficienza e le prestazioni rispetto alle tecniche esistenti.
Il paper introduce TS-BOSS, un metodo scalabile basato sulla ricerca di ordinamenti ottimali per l'apprendimento della struttura causale nelle serie temporali multivariate, che combina alberi grow-shrink per l'efficienza computazionale e garantisce prestazioni superiori rispetto ai metodi basati su vincoli, specialmente in regimi ad alta autocorrelazione.