10632 articoli
Il paper presenta un framework basato sul principio dell'Information Bottleneck deterministico che risolve le sfide del clustering su dati sparsi, permettendo un'assegnazione congiunta di pesi alle feature e di cluster, come dimostrato su dati sintetici e reali di genetica.
Questo lavoro evidenzia come le spiegazioni fornite dalle Reti Neurali su Grafi auto-spiegabili (SE-GNN) possano essere fuorvianti e non correlate alla logica di inferenza del modello, introducendo una nuova metrica di fedeltà in grado di rilevare tali fallimenti sia in contesti malevoli che naturali.
Lo studio dimostra che i modelli di ricompensa ereditano pregiudizi di valore dal loro modello linguistico preaddestrato, mostrando preferenze sistematiche per l'«agenzia» o la «comunione» in base alla base utilizzata, il che sottolinea l'importanza cruciale della fase di preaddestramento e della scelta del modello di base per l'allineamento ai valori umani.
Questo lavoro introduce il benchmark CAAD-3K e un nuovo framework di apprendimento della compatibilità condizionale basato su rappresentazioni visione-linguaggio per affrontare l'individuazione di anomalie contestuali, superando i limiti degli approcci tradizionali che considerano l'anomalia come una proprietà intrinseca indipendente dal contesto.
Il paper propone il Decoupled Diffusion Inverse Solver (DDIS), un framework generativo efficiente nei dati che risolve i problemi inversi delle PDE disaccoppiando l'apprendimento del prior dei coefficienti dalla modellazione esplicita dell'operatore fisico, ottenendo così prestazioni superiori rispetto ai modelli congiunti, specialmente in scenari con dati limitati.
Questo articolo propone un metodo innovativo di quantizzazione post-allenamento per i modelli di diffusione che, assegnando pesi ottimali ai campioni di calibrazione per allineare i gradienti tra i diversi passi temporali, supera le limitazioni delle tecniche esistenti e migliora significativamente l'efficienza e le prestazioni del modello.
Il paper presenta VDR-Bench, un nuovo benchmark di 2.000 istanze progettato per valutare in modo realistico le capacità di ricerca visiva e testuale dei modelli linguistici multimodali, superando le limitazioni degli attuali dataset e proponendo un flusso di lavoro a più round con ritaglio dell'immagine per migliorare le prestazioni di recupero visivo.
Il paper introduce PSN-RLVR, un metodo che supera i limiti esplorativi del Reinforcement Learning con Ricompense Verificabili (RLVR) applicando rumore nello spazio dei parametri dei modelli LLM, integrato con campionamento per importanza tronco e un adattatore di rumore in tempo reale, per migliorare significativamente le prestazioni di ragionamento matematico su larga scala.
Questo lavoro risolve il problema del supremo della divergenza Kullback-Leibler tra tre distribuzioni gaussiane multivariate soddisfacendo una disuguaglianza triangolare rilassata, fornendo una formula precisa per il limite superiore e dimostrando la sua utilità nel rilevamento di dati fuori distribuzione e nell'apprendimento per rinforzo sicuro.
Il paper presenta EDT-Former, un trasformatore di token dinamici guidato dall'entropia che allinea efficientemente encoder grafici congelati con modelli linguistici di grandi dimensioni per la comprensione molecolare, superando i limiti delle architetture statiche esistenti e ottenendo risultati all'avanguardia su diversi benchmark senza richiedere il riaddestramento del backbone LLM.
Questo articolo presenta URSA-GAN, un framework generativo unificato che utilizza un'architettura a doppio embedding e una perturbazione stocastica dinamica per adattare modelli di riconoscimento e potenziamento vocale a condizioni di rumore e canale non visti, migliorando significativamente le prestazioni in scenari cross-domain.
Questo studio propone un framework ibrido quantile-fisico che, sfruttando dati di veicoli connessi e sistemi meteorologici stradali, raccomanda intervalli di velocità sicuri in tempo reale su autostrade in condizioni meteorologiche avverse per ridurre il rischio di incidenti.
Il paper introduce CSRv2, un approccio di addestramento che rende praticabili le embedding ultra-sparse attraverso l'annealing progressivo di k e l'ottimizzazione contrastiva, ottenendo significativi miglioramenti in termini di velocità ed efficienza computazionale rispetto alle embedding dense senza compromettere le prestazioni.
Il paper presenta AceGRPO, un metodo di ottimizzazione della politica basato su un curriculum adattivo e un buffer di dati evolutivo che risolve i problemi di latenza e stagnazione comportamentale negli agenti di Machine Learning autonomi, permettendo al modello Ace-30B di raggiungere prestazioni paragonabili a quelle dei modelli proprietari su benchmark complessi.
Il paper presenta un algoritmo randomizzato incrementale che mantiene con alta probabilità un'approssimazione a fattore costante per il problema del clustering su grafi soggetti a inserimenti di archi, ottenendo un tempo di aggiornamento totale di attraverso un approccio a due stadi che combina un'adattamento dinamico dell'algoritmo di Mettu e Plaxton con spanner dinamici.
Il paper introduce GPU-Fuzz, un fuzzing tool che individua errori di memoria nei framework di deep learning modellando i parametri degli operatori come vincoli formali e generando casi di test mirati, avendo così scoperto 13 bug sconosciuti in PyTorch, TensorFlow e PaddlePaddle.
Il paper presenta MiniCPM-SALA, un'architettura ibrida da 9 miliardi di parametri che combina attenzione sparsa e lineare con un framework di addestramento continuo a basso costo per abilitare modelli linguistici efficienti in grado di gestire contesti fino a 1 milione di token mantenendo alte prestazioni.
Il paper presenta Echo, un modello linguistico audio avanzato che supera i limiti delle attuali architetture adottando un ragionamento intercalato con l'audio, che permette al sistema di riascoltare dinamicamente i segmenti sonori pertinenti durante l'analisi per migliorare la comprensione complessa.
Il paper presenta FGNO, un nuovo framework di apprendimento auto-supervisionato basato su operatori neurali guidati dal flusso che, trattando il livello di corruzione come grado di libertà e utilizzando input puliti per l'estrazione delle rappresentazioni, supera significativamente i metodi esistenti in tre domini biomedici, offrendo prestazioni superiori anche in scenari con scarsità di dati.
Questo lavoro valuta i formati HiFloat (HiF8 e HiF4) ottimizzati per gli NPU Ascend, dimostrando che la loro scalabilità gerarchica e la compatibilità con le tecniche di quantizzazione esistenti offrono una soluzione efficiente per l'inferenza di LLM, superando i limiti delle rappresentazioni intere a 4 bit.