10300 articoli
Questo lavoro propone un metodo di previsione e controllo basato su dati per sistemi Hammerstein-Wiener che utilizza processi gaussiani fisicamente informati con kernel strutturati e punti derivati virtuali per garantire prestazioni superiori rispetto ai modelli black-box.
Questo articolo dimostra che l'utilizzo di funzioni di attivazione basate su basi ortonormali (polinomiali, trigonometriche e tropicali), combinate con un'inizializzazione che preserva la varianza, permette di addestrare con successo modelli profondi come GPT-2 e ConvNeXt risolvendo i problemi di esplosione e svanimento dei gradienti, offrendo al contempo nuove prospettive sull'interpretazione strutturale delle reti neurali e facilitando il fine-tuning tramite approssimazione di attivazioni classiche.
Questo studio dimostra che, sebbene CLIP appaia comportarsi come un modello "bag-of-words" nell'allineamento cross-modale, le informazioni sulle relazioni attributo-oggetto sono già presenti nelle sue rappresentazioni unimodali e possono essere recuperate efficacemente tramite una semplice trasformazione lineare, migliorando così le prestazioni senza necessità di un addestramento costoso.
Questo lavoro presenta un algoritmo innovativo per l'adattamento progressivo dell'architettura delle reti neurali profonde che, sfruttando il derivato topologico di un funzionale di forma e un punto di vista di controllo ottimo, identifica matematicamente le posizioni ottimali per l'inserimento di nuovi strati e le relative inizializzazioni, superando le strategie di adattamento esistenti.
Questo lavoro introduce un'analisi a basso rango per l'assottigliamento sub-Gaussiano che garantisce una compressione di alta qualità per qualsiasi distribuzione e kernel quando i dati sono approssimativamente a basso rango, migliorando così le prestazioni in applicazioni come l'attenzione nei transformer, l'addestramento stocastico e il confronto di distribuzioni.
Il paper propone un framework di adattamento robusto per i Modelli Multimodali di grandi dimensioni che migliora l'accuratezza e la generalizzazione nel rilevamento dei meme offensivi, superando le prestazioni dei sistemi supervisionati tradizionali e offrendo maggiore interpretabilità.
Il paper presenta SSIBench, un framework open-source modulare per il benchmarking sistematico di 18 metodi di apprendimento auto-supervisionato per la ricostruzione accelerata della risonanza magnetica senza bisogno di immagini ground truth, fornendo un confronto standardizzato su scenari reali e proponendo nuove direzioni di ricerca come la perdita Multi-Operator Equivariant Imaging.
Il paper presenta MoMa, un framework di deep learning modulare che supera i limiti del paradigma pre-addestramento-affinamento adattando dinamicamente moduli specializzati per la previsione delle proprietà dei materiali, ottenendo un miglioramento medio del 14% rispetto alle migliori basi di riferimento su 17 dataset.
Lo studio dimostra che l'integrazione dell'IA predittiva sia nella formazione che nella pratica dei medici neofiti migliora non solo la loro accuratezza diagnostica individuale, ma preserva anche la diversità degli errori, ottimizzando di conseguenza la qualità delle decisioni di gruppo.
GradientStabilizer è un metodo leggero e plug-in che risolve l'instabilità nell'addestramento dei modelli deep learning sostituendo la magnitudine dei gradienti con una stima statisticamente stabilizzata per preservarne la direzione, superando così i limiti del gradient clipping e garantendo una convergenza più robusta in vari scenari.
Questo studio valuta la generalizzabilità dei modelli di deep learning per la stima della pressione sanguigna tramite fotopletismografia, evidenziando come le differenze nelle distribuzioni dei dati tra dataset limitino le prestazioni su dati esterni e proponga l'adattamento di dominio come soluzione per migliorare la robustezza.
Questo studio di benchmarking dimostra che, per l'analisi del fotopletismogramma (PPG), le reti neurali convoluzionali profonde che elaborano direttamente le forme d'onda grezze superano gli approcci basati su feature o immagini sia nella previsione della pressione sanguigna che nella rilevazione della fibrillazione atriale.
Il paper dimostra che è possibile ridurre significativamente la memorizzazione nei modelli di diffusione senza comprometterne la qualità, proponendo un metodo teorico e pratico che addestra i modelli utilizzando dati rumorosi a scale elevate, dove la memorizzazione non è necessaria.
Questo lavoro presenta il primo algoritmo di tipo Frank-Wolfe che, garantendo calcoli matriciali di rango uno e convergenza lineare attesa indipendente dalla dimensione, risolve efficientemente problemi di minimizzazione convessa su spettrodi.
Il paper presenta LLaVE, un nuovo framework di modelli di embedding multimodali che utilizza un apprendimento contrastivo ponderato per la difficoltà per superare i limiti delle perdite standard, ottenendo prestazioni all'avanguardia su 36 dataset e dimostrando una forte capacità di generalizzazione zero-shot.
Il paper presenta Vision-R1, un modello MLLM che potenzia le capacità di ragionamento multimodale attraverso un'inizializzazione "cold-start" su un dataset di ragionamento a catena di pensiero generato automaticamente e un addestramento RL con una strategia di soppressione progressiva del pensiero, ottenendo prestazioni paragonabili a OpenAI O1 su benchmark matematici.
Il paper presenta eMIGM, un modello unificato che combina generazione di immagini mascherata e diffusione mascherata per ottenere prestazioni all'avanguardia nella generazione di immagini su ImageNet con una maggiore efficienza computazionale rispetto agli approcci esistenti.
Questo studio analizza dieci articoli sui sistemi di raccomandazione basati su grafi presentati al SIGIR 2022, rivelando gravi problemi di riproducibilità come errori metodologici, incoerenze tra codice e descrizioni, e un uso improprio dei baselines che ne inficiano la validità delle conclusioni.
Questo articolo dimostra teoricamente ed empiricamente che la previsione del prossimo token nelle LLM permette di apprendere rappresentazioni interpretabili dall'uomo, che corrispondono approssimativamente ai logaritmi delle probabilità posteriori di concetti latenti discreti, fornendo così una base teorica per l'ipotesi delle rappresentazioni lineari e per la valutazione degli sparse autoencoder.
Questo lavoro presenta un nuovo framework di valutazione multi-obiettivo, disponibile pubblicamente e applicabile in modo agnostico al modello, che facilita l'analisi sistematica dei compromessi tra utilità e equità nei sistemi di Machine Learning, con una specifica validazione empirica nel dominio dell'imaging medico.