11462 articoli
Il paper presenta LLM4Cov, un framework di apprendimento offline per agenti LLM che supera le limitazioni dei feedback di esecuzione costosi nella verifica hardware, permettendo a un modello compatto da 4B parametri di raggiungere prestazioni di copertura superiori rispetto ai modelli più grandi attraverso tecniche di curatela dati e sintesi guidate dalla politica.
Questo lavoro stabilisce un quadro teorico per le leggi di scalabilità nell'addestramento a bassa precisione mediante regressione lineare ad alta dimensionalità, rivelando una dicotomia fondamentale in cui la quantizzazione moltiplicativa preserva la dimensione del modello mentre quella additiva la riduce, fornendo così basi per ottimizzare l'allocazione delle risorse computazionali.
Il paper introduce la Soft Sequence Policy Optimization (SSPO), un nuovo obiettivo di apprendimento per rinforzo off-policy che integra funzioni di gate morbide nei pesi di campionamento dell'importanza a livello di sequenza per migliorare la stabilità e le prestazioni nell'allineamento dei grandi modelli linguistici, in particolare nei compiti di ragionamento matematico.
Il paper propone Decision MetaMamba, un'architettura che migliora le prestazioni dell'apprendimento per rinforzo offline sostituendo il mixer di token Mamba con un mixer di sequenze denso per preservare le informazioni locali e prevenire la perdita di dati, ottenendo risultati all'avanguardia con un numero ridotto di parametri.
Questo articolo stabilisce un collegamento teorico fondamentale tra la distillazione di reti casuali (RND), gli ensemble profondi e l'inferenza bayesiana nel limite di reti neurali infinite, dimostrando che l'incertezza misurata dalla RND equivale alla varianza predittiva degli ensemble e permettendo la costruzione di un modello "Bayesian RND" capace di campionare esattamente dalla distribuzione predittiva bayesiana.
Lo studio rivela che il modello Qwen 32B possiede una capacità latente di introspezione, permettendogli di rilevare e identificare concetti iniettati nel contesto precedente, un effetto che può essere notevolmente potenziato tramite prompt specifici senza aumentare significativamente i falsi positivi.
Questo lavoro propone una decomposizione dell'incertezza epistemica in contributi per classe tramite un vettore , che supera i limiti della mutua informazione scalare nelle applicazioni critiche per la sicurezza permettendo di distinguere l'ignoranza del modello tra classi diverse e migliorando significativamente la selezione delle previsioni, la rilevazione di distribuzioni fuori dal training e la robustezza al rumore.
Questo studio teorico ed empirico dimostra che l'ottimizzazione diretta della metrica Pass@k nei modelli linguistici può degradare le prestazioni Pass@1 a causa di conflitti nei gradienti indotti dall'interferenza negativa tra prompt, spiegando il trade-off osservato tra l'uso di più campioni e l'affidabilità della singola risposta.
Il lavoro propone Muon+, un'ottimizzazione semplice ma efficace dell'ottimizzatore Muon che introduce un passo di normalizzazione aggiuntivo dopo l'ortogonalizzazione, dimostrando attraverso estesi esperimenti di pre-addestramento su modelli di grandi dimensioni un miglioramento coerente delle prestazioni rispetto al Muon originale.
Il paper presenta Duel-Evolve, un algoritmo di ottimizzazione evolutiva che migliora le prestazioni dei modelli linguistici durante il test senza reward esterni, utilizzando preferenze reciproche generate dal modello stesso combinate con un modello di Bradley-Terry bayesiano e il campionamento di Thompson doppio per guidare la ricerca in spazi di output discreti.
Il paper propone un metodo privo di iperparametri basato sulla normalizzazione delle risidui con la matrice jacobiana per migliorare l'addestramento delle PINN su equazioni differenziali rigide, dimostrando con successo la sua efficacia nel risolvere le equazioni di Boltzmann per la materia oscura e nel risolvere problemi inversi per inferire la sezione d'urto di annichilazione.
Questo lavoro risolve una questione aperta determinando i limiti di complessità del campione per la stima robusta della media in presenza di contaminazione da spostamento della media per distribuzioni generali, fornendo sia un algoritmo efficiente basato sull'analisi di Fourier e condizioni spettrali, sia un limite inferiore corrispondente.
Il paper introduce SQaLe, un vasto corpus semi-sintetico di testo-SQL composto da oltre 517.000 triple ad alta qualità derivate da 135.875 schemi reali, progettato per superare le attuali limitazioni dei dataset e favorire lo sviluppo di modelli più generalizzabili.
Il paper presenta SmartChunk, un framework di recupero adattivo per la RAG che ottimizza l'efficienza e l'accuratezza nella risposta alle domande su documenti lunghi utilizzando un pianificatore basato su reinforcement learning (STITCH) e un modulo di compressione per selezionare dinamicamente il livello di astrazione dei chunk più adatto a ciascuna query.
Il paper presenta SEGB, un framework di offerta generativa che supera i limiti delle politiche offline tradizionali sintetizzando stati futuri a breve termine e affinando autonomamente la strategia tramite un processo di auto-evoluzione guidato dal valore, ottenendo risultati superiori rispetto agli stati dell'arte sia su benchmark che in un test A/B su larga scala con un aumento del 10,19% del costo target.
Questo studio presenta un sistema di sorveglianza passiva basato sull'intelligenza artificiale e su un'analisi dei sintomi riportati dai pazienti, che utilizza un modello ibrido di apprendimento automatico per rilevare con alta precisione i rischi di ictus in individui diabetici, offrendo una finestra temporale preziosa per interventi clinici tempestivi.
Questo paper propone un approccio di ottimizzazione multiobiettivo per configurare blockchain multicanale adattive, risolvendo off-chain un problema di allocazione delle risorse tra più agenti per massimizzare l'utilità complessiva e garantire scalabilità, equità e stabilità.
Il documento propone FM-RME, un modello fondazionale che combina l'estrazione di caratteristiche geometriche consapevoli e una strategia di pre-addestramento auto-supervisionato per stimare mappe radio multidimensionali con capacità di generalizzazione zero-shot, superando i limiti dei metodi tradizionali basati sui dati.
Il paper presenta CrossLLM-Mamba, un nuovo framework che utilizza encoder Mamba bidirezionali per modellare le interazioni RNA come transizioni dinamiche di stato, superando le strategie di fusione statiche e ottenendo prestazioni all'avanguardia nella previsione di interazioni RNA-proteina, RNA-molecola piccola e RNA-RNA.
Il paper presenta VAE-MS, un nuovo modello di autoencoder variazionale asimmetrico che combina architetture non lineari e metodi probabilistici per estrarre firme mutazionali con una maggiore accuratezza sui dati reali rispetto agli standard attuali.