2826 articoli
Questo studio dimostra che la duplicazione dei dati è dipendente dalla scala, rivelando come le copie semantiche diventino sempre più dannose per i modelli di grandi dimensioni a causa di gradienti allineati e collisioni semantiche accelerate, portando a derive nelle leggi di scaling che possono essere quantificate tramite nuove formule predittive.
Questo paper introduce un metodo per allineare la confidenza degli LLM alla correttezza delle loro risposte utilizzando punteggi normalizzati basati su token di ancoraggio, dimostrando che il fine-tuning supervisionato migliora l'affidabilità rispetto ai metodi di apprendimento per rinforzo e abilitando applicazioni pratiche come la generazione aumentata da recupero adattiva.
Il paper presenta STAR Set Transformer, un modello che migliora l'analisi delle serie temporali cliniche asincrone introducendo bias di attenzione temporale e di tipo variabile per preservare la struttura dei dati senza ricorrere all'imputazione, ottenendo prestazioni superiori su compiti predittivi in terapia intensiva.
Il paper presenta LegoNet, una tecnica di compressione che raggruppa e clusterizza blocchi di pesi interi per ridurre l'ingombro di memoria fino a 128 volte senza modificare l'architettura, riaddestrare il modello o compromettere significativamente l'accuratezza.
Questo lavoro propone un benchmark sistematico basato su giochi di interferenza progressivamente complessi e dataset su larga scala per valutare le prestazioni degli algoritmi di apprendimento per rinforzo multi-agente nell'allocazione delle risorse V2X, identificando la robustezza e la generalizzazione delle policy su diverse topologie veicolari come la sfida principale e dimostrando la superiorità dei metodi actor-critic rispetto a quelli basati sul valore.
Il paper presenta la Two-Bridge Map Suite, un nuovo benchmark open-source e accessibile per l'apprendimento per rinforzo che colma il divario tra le sfide computazionali di StarCraft II completo e la semplicità eccessiva dei suoi mini-giochi, isolando le abilità tattiche di navigazione e combattimento per facilitare la ricerca con risorse limitate.
Questo articolo presenta un metodo pratico che combina il Test di Randomizzazione Condizionata (CRT) con il modello fondazionale TabPFN per ottenere valori p validi in campioni finiti sulla rilevanza delle feature nei dati tabellari, senza necessità di riaddestramento del modello o assunzioni parametriche.
Il paper introduce CapTrack, un framework basato sulle capacità per valutare il "dimenticare" nei modelli linguistici post-addestrati non solo come perdita di conoscenze fattuali ma come deriva comportamentale sistematica, rivelando attraverso uno studio su larga scala che tale fenomeno compromette anche robustezza e comportamenti predefiniti, con l'addestramento su istruzioni che causa la maggiore deriva e l'ottimizzazione delle preferenze che offre una parziale mitigazione.
Questo articolo presenta DeepScope, un sistema basato sull'intelligenza artificiale che analizza immagini microscopiche di campioni d'acqua non incubati per rilevare la contaminazione fecale in pochi secondi con un costo di 0,44 dollari per test, superando così i requisiti di velocità e accessibilità degli attuali metodi di sicurezza idrica.
Il documento dimostra che, a differenza dei domini verificabili come la matematica, l'aumento della potenza di calcolo tramite strategie di consenso (come il Pass@k) non migliora l'affidabilità delle risposte dei modelli linguistici in ambiti non verificati, poiché gli errori dei modelli sono fortemente correlati e le aggregazioni tendono a rafforzare le concezioni errate condivise anziché filtrarle.
Il paper presenta OptiRoulette, un nuovo meta-ottimizzatore stocastico che seleziona dinamicamente le regole di aggiornamento durante l'addestramento, garantendo una convergenza più rapida e affidabile e migliorando significativamente l'accuratezza rispetto a AdamW su diverse suite di classificazione di immagini.
Questo paper propone una rappresentazione unificata per i modelli di diffusione e il flow matching tramite equazioni lineari, evidenziando attraverso l'analisi teorica come la debole correlazione tra i dati rumorosi e l'obiettivo previsto possa compromettere il processo di apprendimento.
Il paper propone il framework Annealed Co-Generation (ACG), che facilita la co-generazione multivariata in ambito scientifico sostituendo la modellazione congiunta ad alta dimensionalità con modelli di diffusione pairwise a bassa dimensionalità, allineati tramite un processo di ricottura a tre stadi per garantire coerenza senza necessità di ulteriore addestramento.
Il paper presenta RACER, un metodo di instradamento per i grandi modelli linguistici che, formulando il problema come -VOR e utilizzando limiti di concentrazione finiti per la calibrazione, garantisce un controllo rigoroso del rischio di errore distribuendo le query su insiemi di modelli per migliorare l'accuratezza e gestire l'incertezza.
Il paper introduce Evo, un modello linguistico autoregressivo-diffusivo che unifica i due paradigmi in un flusso latente evolutivo, permettendo un bilanciamento adattivo tra generazione e pianificazione per ottenere risultati all'avanguardia su molteplici compiti mantenendo un'efficienza inferenziale elevata.
Il paper propone un nuovo framework basato sull'apprendimento rappresentazionale contestuale e sulla distillazione della conoscenza per migliorare la previsione delle interazioni in zero-shot nelle reti biologiche multiplex, superando i limiti dei metodi esistenti nella modellazione della multiplicità e nell'integrazione di informazioni strutturali e sequenziali.
Il paper introduce NAT (Not All Tokens Are Needed), un framework di apprendimento per rinforzo che ottimizza l'efficienza computazionale aggiornando la politica solo su un sottoinsieme di token tramite una stima del gradiente non distorta, riducendo significativamente costi e memoria senza compromettere le prestazioni su compiti di ragionamento matematico.
Il paper introduce GraphSkill, un framework agentic che migliora il ragionamento su grafi complessi tramite un recupero gerarchico guidato dalla documentazione e un agente di autodebugging, validato su un nuovo dataset dedicato.
Il paper dimostra che i Process Reward Models (PRM) all'avanguardia sono sistematicamente sfruttabili tramite attacchi avversariali, rivelando che funzionano più come rilevatori di fluidità linguistica che come veri verificatori del ragionamento, e propone un nuovo framework diagnostico e benchmark per valutarne la robustezza prima del dispiegamento.
Questo studio valuta empiricamente modelli statistici e di deep learning per la previsione del carico elettrico a PJM, dimostrando che l'architettura Transformer, basata sull'attenzione, supera ARIMA, LSTM e BiLSTM con un errore percentuale medio (MAPE) del 3,8%.