8364 articoli
Questo articolo propone un metodo di ottimizzazione per la selezione del vocabolario nei modelli di bozza dello speculative decoding, che bilancia copertura e latenza riducendo fino al 97% la dimensione del vocabolario e migliorando il throughput fino al 20% su compiti specifici di dominio.
Questo studio presenta IAENet, un innovativo framework di apprendimento multi-etichetta basato su Transformer che, integrando un dataset specifico (MuAE) e una nuova funzione di perdita, supera le limitazioni degli approcci esistenti nel prevedere tempestivamente eventi avversi intraoperatori multipli, migliorando significativamente la sicurezza del paziente.
Il paper presenta KARL, un sistema di agenti di ricerca aziendale addestrati tramite apprendimento per rinforzo che, grazie a un nuovo benchmark (KARLBench), dati sintetici e un paradigma di post-addestramento iterativo, raggiunge prestazioni all'avanguardia e supera i modelli chiusi più potenti in compiti complessi di ragionamento e ricerca.
Questo lavoro propone un nuovo framework per stimare regole decisionali individualizzate ottimali che integrano vincoli di parità demografica e condizionale, permettendo di mitigare le discriminazioni tramite perturbazioni computazionalmente efficienti delle regole non vincolate, come dimostrato sia teoricamente che empiricamente.
Lo studio dimostra che l'adozione di una topologia sferica vincolata e l'ablazione del routing attentivo adattivo nei Transformer eliminano la fase di memorizzazione nel fenomeno del "grokking" sull'addizione modulare, suggerendo che l'allineamento tra le priorità architetturali e le simmetrie intrinseche del compito è cruciale per accelerare la generalizzazione.
Il paper presenta ASR-TRA, un nuovo framework di adattamento test-time basato sull'apprendimento per rinforzo che utilizza ricompense semantiche audio-testo per migliorare la robustezza e l'accuratezza dei sistemi di riconoscimento vocale in condizioni reali difficili, superando i limiti dei metodi basati sulla minimizzazione dell'entropia.
SlideSparse è il primo sistema che sblocca l'accelerazione tramite Tensor Core di NVIDIA per i modelli con sparsità strutturata su GPU commerciali, riconfigurando i pesi in finestre sovrapposte compatibili con il formato 2:4 e integrando la riorganizzazione delle attivazioni nella quantizzazione per ottenere un'accelerazione significativa senza perdita di accuratezza.
Il paper introduce le Recursive Inference Machines (RIMs), un nuovo framework di ragionamento neurale che integra meccanismi ricorsivi ispirati ai motori di inferenza classici per migliorare le prestazioni dei modelli esistenti su compiti complessi come il ragionamento logico e la classificazione di dati tabellari.
Il paper propone un framework di apprendimento federato a due stadi che, raggruppando le turbine eoliche in base al loro comportamento storico tramite un algoritmo di inizializzazione DRS e addestrando modelli LSTM specifici per cluster, garantisce previsioni di potenza accurate e rispettose della privacy per flotte di turbine distribuite.
Questo articolo propone un nuovo quadro di audit per i sistemi di riconoscimento vocale che, superando il tradizionale Word Error Rate, utilizza metriche semantiche e un indice di difficoltà del campione per rivelare e mitigare le disparità sistemiche a danno di gruppi marginalizzati.
Questo articolo presenta il "Whisperer", un innovativo framework di prompting visivo che utilizza un curriculum di apprendimento per imitazione comportamentale di miglioramenti stocastici trovati da un modello di diffusione, permettendo di ridurre significativamente l'errore di riconoscimento dei caratteri su immagini degradate adattando gli input pixel per pixel senza modificare i pesi dei modelli OCR pre-addestrati e congelati.
Questo studio dimostra che per l'analisi OOD dei Vision Transformer è fondamentale scegliere strategicamente sia il livello intermedio che il modulo specifico da sondare, rivelando che l'attivazione interna della rete feed-forward è ottimale in caso di forte shift distributivo, mentre l'output normalizzato dell'attenzione multi-testa lo è quando lo shift è debole.
Il documento presenta il Bayesian Supervised Causal Clustering (BSCC), un nuovo metodo che utilizza l'effetto del trattamento come outcome per identificare sottogruppi di pazienti omogenei sia nelle caratteristiche che nella risposta terapeutica, valutandone l'efficacia su dati simulati e reali.
Questo lavoro stabilisce un quadro formale che collega il dibattito e l'RLAIF, dimostrando come il vantaggio del dibattito dipenda dalla divergenza geometrica delle conoscenze tra i modelli, passando da un regime trascurabile a uno essenziale attraverso una transizione di fase e classificando tre regimi di divergenza che determinano l'efficacia della supervisione avversariale.
Il paper propone Latent Policy Steering (LPS), un metodo offline reinforcement learning che utilizza un policy MeanFlow differenziabile a un passo per guidare l'ottimizzazione dello spazio latente tramite gradienti Q nello spazio delle azioni originali, eliminando la necessità di critici latenti proxy e ottenendo prestazioni all'avanguardia con una sintonizzazione minima.
Il paper presenta WavSLM, un modello linguistico per il parlato che, tramite la distillazione di rappresentazioni WavLM in un unico codice e l'ottimizzazione di un obiettivo di previsione autoregressiva, riesce a modellare congiuntamente informazioni semantiche e acustiche in un singolo flusso di token senza supervisione testuale, ottenendo prestazioni competitive con minori parametri e dati di addestramento.
Il paper propone l'uso dei valori di Shapley asimmetrici come metrica onesta per quantificare l'importanza dei geni nei modelli predittivi clinici ad alta dimensionalità, superando i limiti degli approcci tradizionali legati alla collinearità e alla direzione delle dipendenze, e ne illustra l'efficacia attraverso algoritmi efficienti applicati alla previsione della sopravvivenza libera da progressione nel cancro del colon-retto.
Il paper introduce GALACTIC, il primo framework unificato che genera spiegazioni controfattuali sia locali che globali per il clustering di serie temporali, ottimizzando le perturbazioni a livello di istanza e selezionando un riassunto non ridondante delle transizioni tra cluster tramite un obiettivo basato sulla Lunghezza Minima di Descrizione (MDL) con garanzie di approssimazione.
Il paper presenta FairFinGAN, un framework basato su WGAN che genera dati finanziari sintetici privi di pregiudizi rispetto ad attributi protetti, garantendo al contempo l'utilità dei dati per le attività predittive successive.
Questo articolo dimostra che l'ammissibilità nell'inferenza predittiva è irriducibilmente relativa al criterio scelto, delineando quattro geometrie distinte e non annidate (dominanza di Blackwell, validità *anytime*, copertura marginale e admissibilità CAA) che, pur condividendo un modello di ottimizzazione comune, operano su spazi e vincoli geometricamente incompatibili.