10309 articoli
GradientStabilizer è un metodo leggero e plug-in che risolve l'instabilità nell'addestramento dei modelli deep learning sostituendo la magnitudine dei gradienti con una stima statisticamente stabilizzata per preservarne la direzione, superando così i limiti del gradient clipping e garantendo una convergenza più robusta in vari scenari.
Questo studio valuta la generalizzabilità dei modelli di deep learning per la stima della pressione sanguigna tramite fotopletismografia, evidenziando come le differenze nelle distribuzioni dei dati tra dataset limitino le prestazioni su dati esterni e proponga l'adattamento di dominio come soluzione per migliorare la robustezza.
Questo studio di benchmarking dimostra che, per l'analisi del fotopletismogramma (PPG), le reti neurali convoluzionali profonde che elaborano direttamente le forme d'onda grezze superano gli approcci basati su feature o immagini sia nella previsione della pressione sanguigna che nella rilevazione della fibrillazione atriale.
Il paper dimostra che è possibile ridurre significativamente la memorizzazione nei modelli di diffusione senza comprometterne la qualità, proponendo un metodo teorico e pratico che addestra i modelli utilizzando dati rumorosi a scale elevate, dove la memorizzazione non è necessaria.
Questo lavoro presenta il primo algoritmo di tipo Frank-Wolfe che, garantendo calcoli matriciali di rango uno e convergenza lineare attesa indipendente dalla dimensione, risolve efficientemente problemi di minimizzazione convessa su spettrodi.
Il paper presenta LLaVE, un nuovo framework di modelli di embedding multimodali che utilizza un apprendimento contrastivo ponderato per la difficoltà per superare i limiti delle perdite standard, ottenendo prestazioni all'avanguardia su 36 dataset e dimostrando una forte capacità di generalizzazione zero-shot.
Il paper presenta Vision-R1, un modello MLLM che potenzia le capacità di ragionamento multimodale attraverso un'inizializzazione "cold-start" su un dataset di ragionamento a catena di pensiero generato automaticamente e un addestramento RL con una strategia di soppressione progressiva del pensiero, ottenendo prestazioni paragonabili a OpenAI O1 su benchmark matematici.
Il paper presenta eMIGM, un modello unificato che combina generazione di immagini mascherata e diffusione mascherata per ottenere prestazioni all'avanguardia nella generazione di immagini su ImageNet con una maggiore efficienza computazionale rispetto agli approcci esistenti.
Questo studio analizza dieci articoli sui sistemi di raccomandazione basati su grafi presentati al SIGIR 2022, rivelando gravi problemi di riproducibilità come errori metodologici, incoerenze tra codice e descrizioni, e un uso improprio dei baselines che ne inficiano la validità delle conclusioni.
Questo articolo dimostra teoricamente ed empiricamente che la previsione del prossimo token nelle LLM permette di apprendere rappresentazioni interpretabili dall'uomo, che corrispondono approssimativamente ai logaritmi delle probabilità posteriori di concetti latenti discreti, fornendo così una base teorica per l'ipotesi delle rappresentazioni lineari e per la valutazione degli sparse autoencoder.
Questo lavoro presenta un nuovo framework di valutazione multi-obiettivo, disponibile pubblicamente e applicabile in modo agnostico al modello, che facilita l'analisi sistematica dei compromessi tra utilità e equità nei sistemi di Machine Learning, con una specifica validazione empirica nel dominio dell'imaging medico.
Questo lavoro presenta un dataset di riferimento composto da 624 campioni 2D ad alta risoluzione, generati tramite simulazioni numeriche fedeli, che catturano le complesse interazioni tra CO₂ e acqua nei mezzi porosi per supportare lo sviluppo e la validazione di modelli di apprendimento automatico applicati allo stoccaggio geologico del carbonio.
Il paper propone AdaRank, un nuovo framework di fusione di modelli che migliora l'efficienza e le prestazioni nel multi-task learning selezionando adattivamente le direzioni singolari più utili e rimuovendo dinamicamente quelle interferenti tramite minimizzazione dell'entropia, ottenendo risultati all'avanguardia con un divario prestazionale quasi nullo rispetto ai modelli fine-tuned.
Questo studio dimostra che le reti neurali su grafi e i transformer possono apprendere a ragionare su vincoli geometrici per prevedere posizioni spaziali, organizzando le loro rappresentazioni in uno spazio di embedding bidimensionale che riflette la struttura della griglia, con le reti neurali su grafi che mostrano prestazioni superiori e una migliore scalabilità rispetto ai transformer.
Il paper introduce i giochi su coni simmetrici come quadro unificante per diverse classi di giochi e problemi di ottimizzazione, proponendo l'algoritmo OSCMWU che, grazie alla dimostrazione della forte convessità dell'entropia negativa sui coni simmetrici, calcola efficientemente equilibri di Nash approssimati con complessità iterativa .
Questo studio identifica e valuta le "teste" di attenzione inattive nei grandi modelli linguistici preaddestrati, dimostrando che oltre il 12% di esse può essere rimosso senza compromettere significativamente le prestazioni e che le metriche basate sulla norma dell'output sono più efficaci di quelle tradizionali per rilevare tali ridondanze.
Il paper propone una funzione di standardizzazione generale che trasforma i coefficienti di correlazione tra ranking ponderati, garantendo un valore atteso nullo sotto l'ipotesi di indipendenza e preservando l'intervallo , e fornisce stime numeriche accurate dei parametri distributivi necessari per tale trasformazione tramite campionamento Monte Carlo e regressione polinomiale.
Questo articolo propone una tecnica innovativa per la standardizzazione degli obiettivi nei problemi QUBO multi-obiettivo, basata sul calcolo esatto della varianza per scalare ciascun obiettivo a varianza unitaria, al fine di facilitare la ricerca di soluzioni bilanciate e ridurre la complessità nella selezione dei pesi di scalarizzazione.
Il paper presenta SafeSparse, un nuovo framework di difesa a due livelli che risolve il compromesso tra efficienza e sicurezza nel Federated Learning sparsificato, ripristinando la robustezza contro gli attacchi di avvelenamento attraverso meccanismi di calibrazione topologica e allineamento semantico direzionale.
Il paper introduce due nuovi dataset pre-addestramento aperti, SwallowCode e SwallowMath, creati attraverso un processo sistematico di riscrittura e raffinamento dei dati pubblici che, se utilizzati per l'addestramento continuo, migliorano significativamente le prestazioni dei modelli linguistici su compiti di programmazione e ragionamento matematico.