2316 articoli
Questo articolo propone un metodo rapido basato sulle reti neurali su grafi per stimare il numero di condizione di matrici sparse, ottenendo un significativo accelerazione rispetto ai metodi tradizionali di Hager-Higham e Lanczos grazie a un'ingegnerizzazione delle caratteristiche efficiente.
Il paper dimostra che l'addestramento supervisionato con pesi esponenziali basati sulla ricompensa (exponential reward-weighted SFT) supera i metodi RLHF nei sistemi di raccomandazione generativi offrendo una soluzione robusta, scalabile e priva di hacking delle ricompense, con garanzie teoriche e un parametro di temperatura interpretabile per bilanciare miglioramento e robustezza.
Questo lavoro propone un nuovo framework ADMM plug-and-play che integra un denoiser AC-DC per risolvere le sfide di disallineamento geometrico e garantire la convergenza nell'utilizzo di modelli generativi basati su score per problemi inversi.
Questo articolo propone l'utilizzo della decomposizione ai valori singolari generalizzata (GSVD) per definire un punteggio angolare interpretabile che diagnostica, su base campionale, se un'osservazione è meglio spiegata da uno dei due dataset confrontati o da entrambi, valorizzando così l'apprendimento basato sulla geometria.
Il paper introduce Copula-ResLogit, un innovativo framework di modellazione congiunta basato su deep learning e copule che integra architetture ResNet per rilevare e mitigare gli effetti di confondimento non osservati nell'analisi della domanda di viaggio, come dimostrato da studi su dati pedonali e scelte di mobilità.
Il paper propone MultiwayPAM, un nuovo metodo di clustering tensoriale che analizza i punteggi ottenuti tramite LLM-as-a-Judge per ridurre i costi computazionali e identificare i bias intrinseci degli evaluator, permettendo di scoprire la struttura di appartenenza di domande, rispondenti e valutatori attraverso l'individuazione simultanea dei membri e dei medoidi di ciascun cluster.
Lo studio dimostra che l'entanglement quantistico offre un vantaggio competitivo negli agenti di apprendimento per rinforzo avversari, permettendo loro di superare le controparti separabili e di eguagliare o superare le prestazioni delle reti neurali classiche nel gioco di Pong.
Il paper propone HyMEM, una memoria strutturata ibrida e auto-evolutiva basata su grafi che combina nodi simbolici discreti e embedding continui per potenziare gli agenti GUI, permettendo a modelli open-source di dimensioni ridotte di superare le prestazioni di modelli proprietari avanzati.
Il paper presenta GaLoRA, un framework efficiente in termini di parametri che integra le informazioni strutturali nei Large Language Models per migliorare la classificazione dei nodi nei grafi attribuiti al testo, ottenendo prestazioni all'avanguardia con solo lo 0,24% dei parametri necessari per il fine-tuning completo.
Questo lavoro introduce un framework di apprendimento in contesto guidato da modelli linguistici di grandi dimensioni che, senza bisogno di riaddestramento, migliora la previsione della volatilità finanziaria adattandosi dinamicamente alle diverse regimie di mercato attraverso un campionamento contestuale mirato.
Questo studio presenta una procedura di ricerca per identificare forme di schedule del learning rate quasi ottimali, rivelando che sebbene il warmup e il decadimento siano caratteristiche robuste, le famiglie di schedule comunemente utilizzate non sono ottimali e la forma ideale dipende fortemente da iperparametri come il weight decay.
Questo articolo propone un metodo di campionamento flessibile ed efficace basato sulla ricerca a fascio stocastica per ottimizzare le proprietà biologiche dei modelli linguistici mascherati, dimostrando attraverso valutazioni *in silico* e *in vitro* su anticorpi terapeutici che la scelta del metodo di campionamento è almeno tanto cruciale quanto quella del modello stesso.
Il paper presenta un framework di apprendimento di operatori non locali basato su kernel di integrazione guidati dai dati che, separando l'aggregazione delle informazioni non locali dalle previsioni non lineari locali, garantisce modelli interpretabili ed efficienti per la previsione delle precipitazioni del monsone sud-asiatico.
Il paper presenta NasoVoce, un'interfaccia montata sul ponte del naso che integra microfoni e sensori di vibrazione per catturare segnali acustici e ossei, permettendo conversazioni vocali con l'IA sempre disponibili, discrete e robuste al rumore ambientale.
Il paper propone FairFAL, un framework di apprendimento attivo federato adattivo che supera le sfide dello sbilanciamento globale delle classi e dell'eterogeneità dei dati non-IID selezionando dinamicamente tra modelli locali e globali e utilizzando strategie di campionamento guidate da prototipi per migliorare le prestazioni finali.
Questo lavoro risolve il problema di identificazione del braccio migliore in banditi lineari non stazionari stabilendo un limite inferiore dipendente dall'insieme dei bracci e proponendo l'algoritmo basato sul design ottimale adiacente, che raggiunge tale limite e supera le stime pessimistiche basate sul design G-ottimale.
Il paper presenta HEAL, un framework privo di RL che supera i limiti del "soffitto dell'insegnante" nella distillazione dei modelli di ragionamento integrando concetti pedagogici come la Zona di Sviluppo Prossimale con tre moduli chiave (GEAR, PURE e PACE) per riparare attivamente le traiettorie di ragionamento e guidare l'apprendimento progressivo dei modelli più piccoli.
Il paper propone i Causal Concept Graphs (CCG), una struttura a grafo aciclico diretto che mappa le dipendenze causali tra concetti nel latente di un LLM tramite autoencoder sparsi e apprendimento strutturale, dimostrando su diversi benchmark di ragionamento una fedeltà causale significativamente superiore rispetto ai metodi di tracciamento esistenti.
Questo paper estende le leggi di scalabilità neurale ai modelli Mixture-of-Experts, identificando una relazione a legge di potenza che determina l'allocazione ottimale delle risorse di calcolo tra i livelli di attenzione ed esperti per massimizzare le prestazioni entro un budget computazionale fisso.
Il lavoro propone una strategia di ponderazione adattiva basata sulla varianza per bilanciare la dinamica di addestramento dei modelli di diffusione a diversi livelli di rumore, migliorando così le prestazioni generative e la stabilità su CIFAR-10 e CIFAR-100.