9809 articoli
Il paper presenta DRA-GRPO, un framework che migliora il ragionamento matematico dei modelli linguistici integrando una calibrazione della diversità basata sull'informazione mutua sottomodulare nel processo di ottimizzazione GRPO, permettendo così di superare la limitazione delle ricompense scalari standard e ottenere prestazioni superiori con dati di addestramento ridotti.
Questo articolo presenta la Double Binary Factorization (DBF), un metodo innovativo che comprime i grandi modelli linguistici fattorizzando le matrici dei pesi in prodotti di due matrici binarie con vettori di scala, offrendo un elevato rapporto di compressione e un controllo fine-granulare della precisione senza compromettere significativamente l'accuratezza.
Questo lavoro dimostra teoricamente che l'efficienza dell'apprendimento nelle reti neurali profonde è intrinsecamente legata a un pregiudizio iniziale verso una classe specifica, collegando così le teorie dei campi medi sull'inizializzazione al fenomeno del "bias di indovinamento iniziale" e smentendo l'idea che un'inizializzazione neutra sia ottimale.
Questo lavoro introduce il metodo di fattorizzazione BISR (Banded Inverse Square Root), che colma il divario teorico esistente fornendo un limite asintoticamente ottimale per l'errore di fattorizzazione matriciale nell'SGD differenzialmente privato multi-epoca, garantendo al contempo semplicità implementativa ed efficienza computazionale.
Il paper presenta SEAM, un nuovo metodo di difesa che rende i modelli linguistici di grandi dimensioni "auto-distruttivi", mantenendo le loro capacità legittime mentre subiscono un collasso delle prestazioni se sottoposti a tentativi di allineamento dannoso, rendendo così inefficaci gli attacchi di fine-tuning malevolo.
Il paper presenta mCLM, un modello linguistico chimico modulare che, tokenizzando le molecole in blocchi funzionali compatibili con la sintesi automatizzata, genera nuovi candidati farmacologici con proprietà migliorate e un'accessibilità sintetica superiore rispetto ai metodi esistenti, inclusi i modelli di grandi dimensioni come GPT-5.
Questo studio teorico dimostra che i transformer preaddestrati in modo avversario possono agire come modelli fondazionali universalmente robusti, adattandosi a compiti di classificazione non visti tramite apprendimento contestuale da esempi puliti senza necessità di ulteriore addestramento avversario.
Il paper introduce GradPCA, un metodo per il rilevamento di dati fuori distribuzione (OOD) che sfrutta la struttura a basso rango dei gradienti delle reti neurali indotta dall'allineamento NTK, applicando l'analisi delle componenti principali (PCA) alle medie dei gradienti per ottenere prestazioni più coerenti e fornendo un quadro teorico che evidenzia il ruolo cruciale della qualità delle feature.
Questo studio analizza la consistenza del routing locale nei modelli Mixture-of-Experts, proponendo nuove metriche per valutare l'efficacia dell'offloading degli esperti e rivelando come il bilanciamento del carico locale e le scelte architetturali influenzino le prestazioni su dispositivi con memoria limitata.
Il paper introduce ICYM2I, un framework basato sulla ponderazione per probabilità inversa che corregge i pregiudizi nella stima del guadagno informativo nel machine learning multimodale causati dai cambiamenti nei modelli di dati mancanti tra ambienti di origine e target.
Il paper propone la Negative-aware Fine-Tuning (NFT), un approccio di apprendimento supervisionato che, modellando le risposte errate generate internamente come una politica implicita, permette ai modelli linguistici di migliorare autonomamente nelle capacità di ragionamento matematico, colmando il divario tra metodi supervisionati e di apprendimento per rinforzo e dimostrando risultati paragonabili o superiori agli algoritmi RL più avanzati.
Questo paper introduce un metodo scalabile basato su autoencoder sparsi per scoprire e guidare concetti interpretabili nei modelli generativi musicali, rivelando sia principi musicali familiari che pattern coerenti ma non codificati che sfuggono alle tradizionali teorie analitiche.
Il paper propone SuperMAN, un framework interpretabile e ad alta espressività basato su grafici impliciti per apprendere da dati temporali eterogenei e sparsi, ottenendo prestazioni all'avanguardia in compiti critici come la previsione dell'insorgenza del morbo di Crohn e il rilevamento di fake news.
Il paper presenta Intuitor, un metodo di apprendimento per rinforzo che utilizza la "self-certainty" (autocertezza) intrinseca del modello come unico segnale di ricompensa, permettendo ai grandi modelli linguistici di migliorare il ragionamento e la generalizzazione in modo completamente non supervisionato senza dipendere da ricompense esterne o dati etichettati.
Questo articolo propone nuove funzioni kernel probabilistiche basate su proiezioni deterministiche per il test degli angoli in spazi ad alta dimensionalità, dimostrando sperimentalmente che superano i metodi basati su distribuzioni gaussiane e offrono un throughput di ricerca 2,5-3 volte superiore rispetto all'algoritmo HNSW.
Il documento presenta PLANETALIGN, una libreria Python completa che facilita lo sviluppo e il benchmarking sistematico dei metodi di allineamento di rete attraverso un ricco insieme di dataset, algoritmi e pipeline di valutazione standardizzate.
Il paper propone EquiReg, un framework plug-and-play che migliora la risoluzione dei problemi inversi tramite modelli di diffusione, regolarizzando le traiettorie di campionamento verso il manifold dei dati sfruttando funzioni equivarianti per ottenere ricostruzioni di alta qualità anche con pochi passi di campionamento.
Il paper presenta AReaL, un sistema di apprendimento per rinforzo completamente asincrono che disaccoppia generazione e addestramento per massimizzare l'utilizzo delle GPU e accelerare l'addestramento dei modelli linguistici su compiti di ragionamento, ottenendo un miglioramento delle prestazioni fino a 2,77 volte rispetto ai sistemi sincroni.
Questo lavoro introduce Protap, un benchmark completo che dimostra come, per applicazioni proteiche realistiche e specifiche, i modelli supervisionati su piccoli dataset, l'integrazione di informazioni strutturali e i prior biologici di dominio possano spesso superare le prestazioni dei grandi modelli preaddestrati su sequenze.
Il paper presenta FAuNO, un framework di apprendimento per rinforzo federato asincrono che ottimizza l'offloading dei compiti nei sistemi edge attraverso un'architettura attore-critico, dimostrando prestazioni superiori rispetto alle soluzioni esistenti nel ridurre latenza e perdita di dati.