4460 articoli
Il paper presenta HEF (Hierarchical Embedding Fusion), un approccio a due stadi per la generazione di codice che comprime offline i repository in una gerarchia di vettori densi e li integra online tramite pseudo-token, ottenendo prestazioni di accuratezza comparabili ai metodi basati su snippet ma con una latenza end-to-end ridotta fino a 26 volte.
Il paper presenta FuzzingRL, un approccio che combina fuzzing visivo e linguistico con il fine-tuning per rinforzo avversario per generare automaticamente varianti di domande capaci di indurre errori e rivelare le vulnerabilità dei Modelli Linguistici Visivi (VLM).
Il paper introduce SWAN (Switchable Activation Networks), un framework che equipaggia ogni unità neurale con un gate binario deterministico dipendente dall'input per allocare dinamicamente il calcolo, riducendo la ridondanza e preservando l'accuratezza attraverso pattern di attivazione strutturati e adattivi.
Il paper introduce il paradigma di clustering Khatri-Rao, che estende i metodi di clustering basati su centroidi (come k-Means e il deep clustering) decomponendo i centroidi in insiemi più compatti di protocentroidi per generare riassunti dei dati più concisi senza comprometterne l'accuratezza.
Questo studio dimostra che la duplicazione dei dati è dipendente dalla scala, rivelando come le copie semantiche diventino sempre più dannose per i modelli di grandi dimensioni a causa di gradienti allineati e collisioni semantiche accelerate, portando a derive nelle leggi di scaling che possono essere quantificate tramite nuove formule predittive.
Questo paper introduce un metodo per allineare la confidenza degli LLM alla correttezza delle loro risposte utilizzando punteggi normalizzati basati su token di ancoraggio, dimostrando che il fine-tuning supervisionato migliora l'affidabilità rispetto ai metodi di apprendimento per rinforzo e abilitando applicazioni pratiche come la generazione aumentata da recupero adattiva.
Il paper presenta STAR Set Transformer, un modello che migliora l'analisi delle serie temporali cliniche asincrone introducendo bias di attenzione temporale e di tipo variabile per preservare la struttura dei dati senza ricorrere all'imputazione, ottenendo prestazioni superiori su compiti predittivi in terapia intensiva.
Il paper presenta LegoNet, una tecnica di compressione che raggruppa e clusterizza blocchi di pesi interi per ridurre l'ingombro di memoria fino a 128 volte senza modificare l'architettura, riaddestrare il modello o compromettere significativamente l'accuratezza.
Questo lavoro propone un benchmark sistematico basato su giochi di interferenza progressivamente complessi e dataset su larga scala per valutare le prestazioni degli algoritmi di apprendimento per rinforzo multi-agente nell'allocazione delle risorse V2X, identificando la robustezza e la generalizzazione delle policy su diverse topologie veicolari come la sfida principale e dimostrando la superiorità dei metodi actor-critic rispetto a quelli basati sul valore.
Il paper presenta la Two-Bridge Map Suite, un nuovo benchmark open-source e accessibile per l'apprendimento per rinforzo che colma il divario tra le sfide computazionali di StarCraft II completo e la semplicità eccessiva dei suoi mini-giochi, isolando le abilità tattiche di navigazione e combattimento per facilitare la ricerca con risorse limitate.
Questo articolo presenta un metodo pratico che combina il Test di Randomizzazione Condizionata (CRT) con il modello fondazionale TabPFN per ottenere valori p validi in campioni finiti sulla rilevanza delle feature nei dati tabellari, senza necessità di riaddestramento del modello o assunzioni parametriche.
Il paper introduce CapTrack, un framework basato sulle capacità per valutare il "dimenticare" nei modelli linguistici post-addestrati non solo come perdita di conoscenze fattuali ma come deriva comportamentale sistematica, rivelando attraverso uno studio su larga scala che tale fenomeno compromette anche robustezza e comportamenti predefiniti, con l'addestramento su istruzioni che causa la maggiore deriva e l'ottimizzazione delle preferenze che offre una parziale mitigazione.
Questo articolo presenta DeepScope, un sistema basato sull'intelligenza artificiale che analizza immagini microscopiche di campioni d'acqua non incubati per rilevare la contaminazione fecale in pochi secondi con un costo di 0,44 dollari per test, superando così i requisiti di velocità e accessibilità degli attuali metodi di sicurezza idrica.
Il documento dimostra che, a differenza dei domini verificabili come la matematica, l'aumento della potenza di calcolo tramite strategie di consenso (come il Pass@k) non migliora l'affidabilità delle risposte dei modelli linguistici in ambiti non verificati, poiché gli errori dei modelli sono fortemente correlati e le aggregazioni tendono a rafforzare le concezioni errate condivise anziché filtrarle.
Il paper presenta OptiRoulette, un nuovo meta-ottimizzatore stocastico che seleziona dinamicamente le regole di aggiornamento durante l'addestramento, garantendo una convergenza più rapida e affidabile e migliorando significativamente l'accuratezza rispetto a AdamW su diverse suite di classificazione di immagini.
Questo paper propone una rappresentazione unificata per i modelli di diffusione e il flow matching tramite equazioni lineari, evidenziando attraverso l'analisi teorica come la debole correlazione tra i dati rumorosi e l'obiettivo previsto possa compromettere il processo di apprendimento.
Il paper propone il framework Annealed Co-Generation (ACG), che facilita la co-generazione multivariata in ambito scientifico sostituendo la modellazione congiunta ad alta dimensionalità con modelli di diffusione pairwise a bassa dimensionalità, allineati tramite un processo di ricottura a tre stadi per garantire coerenza senza necessità di ulteriore addestramento.
Il paper presenta RACER, un metodo di instradamento per i grandi modelli linguistici che, formulando il problema come -VOR e utilizzando limiti di concentrazione finiti per la calibrazione, garantisce un controllo rigoroso del rischio di errore distribuendo le query su insiemi di modelli per migliorare l'accuratezza e gestire l'incertezza.
Il paper introduce Evo, un modello linguistico autoregressivo-diffusivo che unifica i due paradigmi in un flusso latente evolutivo, permettendo un bilanciamento adattivo tra generazione e pianificazione per ottenere risultati all'avanguardia su molteplici compiti mantenendo un'efficienza inferenziale elevata.
Il paper propone un nuovo framework basato sull'apprendimento rappresentazionale contestuale e sulla distillazione della conoscenza per migliorare la previsione delle interazioni in zero-shot nelle reti biologiche multiplex, superando i limiti dei metodi esistenti nella modellazione della multiplicità e nell'integrazione di informazioni strutturali e sequenziali.