4856 articoli
Il paper propone la Local Constrained Bayesian Optimization (LCBO), un nuovo framework che supera le limitazioni dei metodi a regione di fiducia nei problemi vincolati ad alta dimensionalità alternando discesa locale ed esplorazione guidata dall'incertezza, garantendo teoricamente un tasso di convergenza polinomiale rispetto alla dimensionalità e dimostrando prestazioni superiori rispetto agli stati dell'arte su benchmark fino a 100 dimensioni.
Il paper presenta architetture di potenziali interatomici basati su apprendimento automatico che utilizzano miscele di esperti (MoE) e miscele di esperti lineari (MoLE), dimostrando che l'attivazione sparsa con esperti condivisi e il routing elemento per elemento migliorano significativamente l'accuratezza e la stabilità, ottenendo risultati all'avanguardia su diversi benchmark e rivelando una specializzazione degli esperti allineata alle tendenze della tavola periodica.
Il paper introduce \$OneMillion-Bench, un nuovo benchmark composto da 400 task curati da esperti in ambiti professionali critici come diritto e finanza, progettato per valutare la capacità dei agenti linguistici di gestire scenari complessi del mondo reale attraverso un protocollo di valutazione basato su rubriche che misura accuratezza, coerenza logica e conformità professionale.
Il paper presenta MJ1, un giudice multimodale addestrato con apprendimento per rinforzo che, grazie a una catena di verifica fondata sull'evidenza visiva e a una ricompensa per la coerenza controfattuale, raggiunge prestazioni superiori a modelli molto più grandi sul benchmark MMRB2 senza aumentare la scala del modello.
Il paper propone SmartThinker, un metodo di ragionamento efficiente basato su GRPO che utilizza una calibrazione progressiva della lunghezza della catena di pensiero per ridurre dinamicamente la ridondanza dei modelli di ragionamento di grandi dimensioni, ottenendo una significativa compressione della lunghezza delle risposte senza compromettere, e anzi migliorando, l'accuratezza su compiti complessi.
Il paper propone un approccio di ricerca del massimo prodotto interno (MIPS) ammortizzato che utilizza reti neurali apprese, come SupportNet e KeyNet, per prevedere direttamente le soluzioni ottimali sfruttando le proprietà matematiche delle funzioni di supporto, riducendo così i costi computazionali per distribuzioni di query fisse.
Il paper propone FedMomentum, un nuovo framework federato che preserva la momentum dell'addestramento LoRA mediante l'aggregazione strutturata e la decomposizione SVD, risolvendo il problema della perdita di momentum e migliorando significativamente velocità di convergenza e accuratezza rispetto agli stati dell'arte.
Il paper introduce CAMEL, una legge di miscela consapevole della capacità che ottimizza in modo efficiente la selezione dei dati per i grandi modelli linguistici, riducendo i costi di calcolo del 50% e migliorando le prestazioni fino al 3% rispetto ai metodi esistenti.
Il paper propone GCGNet, una rete generativa basata su grafi che migliora la previsione delle serie temporali con variabili esogene modellando congiuntamente le correlazioni temporali e tra canali in modo robusto al rumore, superando i limiti delle strategie a due passaggi esistenti.
Il paper presenta CDRRM, un nuovo framework che utilizza un paradigma di contrasto e sintesi per generare rubriche valutative di alta qualità, migliorando l'interpretabilità, riducendo i pregiudizi e raggiungendo prestazioni all'avanguardia nella modellazione delle ricompense per i LLM con un'efficienza dei dati senza precedenti.
Il paper presenta SFed-LoRA, un nuovo framework per l'addestramento federato di modelli linguistici che introduce un fattore di scala ottimizzato per mitigare l'instabilità e il collasso dei gradienti causati dall'aggregazione di aggiornamenti LoRA su più client, permettendo così un adattamento a rango elevato stabile ed efficiente senza alterare l'architettura del modello.
Questo studio propone un framework di adattamento di dominio basato sull'apprendimento profondo che, attraverso l'allineamento avversariale degli spazi latenti, consente un trasferimento efficace della conoscenza tra dataset eterogenei di RNA-seq, migliorando significativamente la precisione della classificazione dei tumori anche in scenari con dati limitati.
Il paper propone Deterministic Differentiable Pruning (DDP), un metodo di ottimizzazione deterministica che elimina la discrepanza tra addestramento e test tipica delle tecniche stocastiche per il pruning strutturato dei LLM, ottenendo una maggiore efficienza e prestazioni superiori su modelli come Qwen3.
Questo lavoro propone un'architettura ibrida quantistico-classica che integra un circuito quantistico variazionale in una rete neurale ricorrente per migliorare l'accuratezza e la robustezza nella previsione multi-orizzonte di segnali fisiologici multivariati in contesti clinici.
Questo studio valuta l'efficacia dei Tiny Autoregressive Recursive Models (TRM) confrontandoli con trasformatori standard in compiti algoritmici a livello di caratteri, rivelando che, sebbene alcuni meccanismi di raffinamento a due fasi mostrino prestazioni promettenti, l'architettura completa del TRM autoregressivo non offre guadagni affidabili rispetto alle controparti tradizionali.
Il paper presenta EAGLE-Pangu, un sistema riproducibile che implementa il decoding speculativo ad albero su NPU Ascend per il modello Pangu, risolvendo problemi di compatibilità hardware e migliorando il throughput di decodifica fino a 2,46 volte rispetto all'approccio teacher-only.
Il paper introduce il framework DC-W2S, che combina metriche di consenso interno e spaziale per selezionare segnali di supervisione affidabili da dati rumorosi, permettendo così l'addestramento efficiente di modelli di ricompensa per processi (PRM) nel ragionamento biologico senza la necessità di annotazioni esperte esaustive.
Questo studio rivela una minaccia di sicurezza insidiosa in cui un modello linguistico viene sintonizzato per nascondere risposte dannose all'interno di interazioni apparentemente innocue tramite steganografia, eludendo così i rilevamenti di sicurezza sia nelle API proprietarie che nei modelli open-source.
Il paper presenta Tau-BNO, un surrogato basato su operatori neurali che accelera drasticamente la simulazione del modello di trasporto tau (NTM) mantenendo alta accuratezza, superando i limiti computazionali dei modelli esistenti e consentendo nuove scoperte meccanicistiche sulla progressione delle tauopatie.
Il paper propone ROMI, un nuovo metodo di apprendimento offline basato su modelli che supera i limiti di RAMBO evitando l'iper-conservativismo e l'instabilità dei gradienti attraverso un apprendimento robusto consapevole del valore e un'ottimizzazione adattiva implicitamente differenziabile, ottenendo prestazioni superiori su diversi dataset.