7103 articoli
Il paper propone SCORE, un metodo di fusione di modelli che risolve i conflitti tra sottospazi causati da distribuzioni diverse proiettando le matrici dei task su una base ortogonale condivisa, migliorando così la generalizzazione di dominio rispetto alle tecniche esistenti.
Il paper propone l'ipotesi di sicurezza disaccoppiata (DSH), dimostrando che i meccanismi di sicurezza nei grandi modelli linguistici operano su due assi geometrici distinti (riconoscimento ed esecuzione) e sfruttando questa separazione per sviluppare un attacco di rimozione del rifiuto che raggiunge prestazioni all'avanguardia.
Questo articolo propone un nuovo metodo di gradiente commutante con pesi softmax per l'ottimizzazione minimax stocastica distribuita con vincoli stocastici, dimostrando teoricamente una complessità di e una convergenza ad alta probabilità in scenari di apprendimento federato con partecipazione parziale, senza richiedere assunzioni di limitatezza standard.
Questo studio introduce nuove metriche di alternanza temporale per rivelare come, nel gioco "Battle of the Exes" multi-agente, le tradizionali misure di efficienza e equità possano nascondere gravi carenze di coordinamento temporale, portando le politiche apprese a performare significativamente peggio rispetto a baseline casuali nonostante alti punteggi aggregati.
Il paper presenta un confronto sistematico tra modelli MoE e densi utilizzando crosscoders, rivelando che i primi sviluppano rappresentazioni più specializzate con meno feature uniche rispetto alla distribuzione più ampia e generale delle feature nei secondi.
Il paper "MoE Lens" dimostra che i modelli Mixture of Experts presentano una specializzazione degli esperti altamente concentrata, rivelando che un singolo esperto dominante può spesso sostituire l'intero ensemble con un impatto minimo sulle prestazioni, aprendo così nuove opportunità per l'ottimizzazione dell'inferenza e il pruning mirato.
Il paper presenta MaCS, un semplice framework di regolarizzazione che migliora la calibrazione e la robustezza dei modelli di visione artificiale imponendo un margine tra le classi e la coerenza delle previsioni su input perturbati, senza richiedere modifiche architetturali o dati aggiuntivi.
Il paper presenta SEA-PEFT, un metodo di fine-tuning efficiente nei parametri che automatizza la configurazione degli adapter tramite un ciclo di ricerca, audit e allocazione per migliorare la segmentazione 3D di immagini mediche in scenari few-shot, superando le prestazioni delle tecniche a topologia fissa senza richiedere ingegneri AI specializzati.
Questo studio empirico analizza l'efficacia e i limiti del prompting many-shot come strategia di adattamento a tempo di test per i modelli linguistici, rivelando che mentre funziona bene per compiti strutturati ad alto guadagno informativo, è spesso sensibile alla selezione degli esempi e poco vantaggioso per la generazione aperta.
Il paper introduce ReflexiCoder, un nuovo framework di apprendimento per rinforzo che addestra i modelli linguistici a internalizzare capacità autonome di auto-riflessione e auto-correzione del codice, ottenendo risultati all'avanguardia su diversi benchmark senza dipendere da oracoli esterni o feedback di esecuzione durante l'inferenza.
Il paper introduce STEP, un framework che riformula la previsione di link temporali come un problema di previsione sequenziale in tempo continuo basato su transizioni di motivi temporali e processi di Poisson, ottenendo significativi miglioramenti di precisione rispetto agli stati dell'arte su diversi dataset reali.
Il paper ROSE propone un metodo di pruning one-shot per grandi modelli linguistici che riordina le pesi in base alla perdita stimata, migliorando significativamente l'accuratezza rispetto a SparseGPT e ad altri metodi esistenti su modelli come LLaMA e Mistral.
Il paper presenta PixARMesh, un metodo autoregressivo che ricostruisce mesh 3D complete di scene interne direttamente da una singola immagine RGB, generando layout e geometria in un unico passaggio per produrre mesh coerenti e pronte per l'uso.
Il paper propone tre tecniche di mitigazione del bias per migliorare l'equità nei Concept Bottleneck Models, ottenendo risultati superiori nel compromesso tra equità e prestazioni rispetto ai lavori precedenti.
Il paper introduce RePO, un nuovo approccio di ottimizzazione che combina l'esplorazione tramite apprendimento per rinforzo con reward verificabili e la guida di riferimento tramite addestramento supervisionato, superando i limiti delle tecniche attuali nell'ottimizzazione molecolare basata su LLM in assenza di dati di traiettoria.
Questo studio presenta un framework integrato che combina un'architettura Node Transformer con l'analisi del sentiment basata su BERT per la previsione dei prezzi azionari, ottenendo risultati superiori rispetto ai modelli tradizionali grazie alla capacità di catturare le dipendenze cross-settoriali e l'impatto delle notizie, come dimostrato su 20 titoli S&P 500 con un errore medio assoluto percentuale (MAPE) dell'0,80%.
Il paper propone "Artificial Replay", un nuovo disegno sperimentale che permette di confrontare algoritmi a bandito multi-braccio riutilizzando le traiettorie registrate per ridurre drasticamente i costi di interazione e la varianza dell' stimatore rispetto ai metodi tradizionali.
Questo lavoro introduce Weak-SIGReg, una variante computazionalmente efficiente della regolarizzazione SIGReg che stabilizza l'addestramento di architetture deep learning prive di prior architetturali, come i Vision Transformers, prevenendo il collasso delle rappresentazioni tramite sketching casuale della matrice di covarianza.
Questo studio dimostra che modellare il contesto linguistico dell'autore, affrontando la fallacia ecologica tramite tecniche come HuLM e HuFT, migliora significativamente le prestazioni di un modello Llama da 8 miliardi di parametri rispetto ai metodi di addestramento standard.
Il paper presenta un acceleratore FPGA che risolve il collo di bottiglia di memoria nella decodifica di Gated DeltaNet mantenendo lo stato ricorrente persistente nella memoria on-chip, ottenendo così una velocità 4,5 volte superiore e un'efficienza energetica fino a 60 volte migliore rispetto alle GPU.