13021 articoli
Il paper propone il QKAN-LSTM, un modello di memoria a lungo termine ispirato alla meccanica quantistica che integra moduli di attivazione DARUAN per migliorare l'espressività non lineare e ridurre i parametri, dimostrando prestazioni superiori su dati sequenziali reali e estendendo il framework alla rete HQKAN per l'apprendimento gerarchico.
Il paper presenta SHARP, un metodo che genera in meno di un secondo una rappresentazione 3D metrica fotorealistica da una singola immagine, consentendo la sintesi di nuove viste con prestazioni superiori allo stato dell'arte e una generalizzazione zero-shot.
Questo studio integra diverse tecniche di inferenza dell'appartenenza nel processo di estrazione dei dati dai grandi modelli linguistici per valutarne sistematicamente l'efficacia pratica e confrontarne le prestazioni con i benchmark tradizionali.
Il paper propone GPA (Generalized Primal Averaging), un ottimizzatore che estende il metodo di Nesterov per unificare e migliorare l'addestramento di LLM rispetto a DiLoCo e AdamW, riducendo il consumo di memoria e accelerando la convergenza grazie a una media esponenziale degli iterati.
Il documento propone il Trust Region Masking (TRM), un metodo che maschera intere sequenze violando i limiti di regione di fiducia per risolvere le discrepanze off-policy nei modelli linguistici su lunghi orizzonti temporali, permettendo così per la prima volta garanzie di miglioramento monotono non vacue.
Questo articolo presenta un nuovo framework di apprendimento per rinforzo che utilizza una codifica di ripetizione adattiva per garantire una protezione dagli errori diseguale a livello di dimensione nelle embedding semantiche quantizzate, migliorando significativamente la fedeltà semantica e la preservazione delle entità in scenari a banda limitata rispetto alle tecniche di protezione uniforme tradizionali.
Il paper introduce CSyMR-Bench, un benchmark per il recupero compositivo di informazioni musicali su spartiti simbolici basato su scenari reali, e propone un framework di ragionamento potenziato da strumenti che integra operatori di analisi simbolica deterministica con modelli linguistici, dimostrando guadagni significativi di accuratezza rispetto agli approcci basati esclusivamente su LLM.
Questo tutorial illustra come l'uso della programmazione differenziabile, supportata da framework moderni come PyTorch e JAX, permetta di apprendere e adattare algoritmi di ottimizzazione del primo ordine basati sulla dualità di Fenchel-Rockafellar, migliorando significativamente convergenza e qualità delle soluzioni in problemi su larga scala.
Il paper presenta GreenServ, un framework di routing dinamico e consapevole del contesto che ottimizza il compromesso tra accuratezza ed efficienza energetica nell'inferenza di LLM multi-modello, utilizzando un approccio a bandito multi-braccio per instradare le query al modello più adatto e dimostrando, rispetto a strategie statiche o casuali, un aumento dell'accuratezza e una significativa riduzione del consumo energetico.
Il paper introduce GenAI-Net, un framework di intelligenza artificiale generativa che automatizza la progettazione di reti biomolecolari trasformando specifiche comportamentali in circuiti implementabili, superando le limitazioni dei metodi manuali tradizionali.
Il paper propone DUET, un metodo innovativo di distillazione che combina i vantaggi dell'unlearning basato su tuning e su contesto per rimuovere conoscenze indesiderate dai modelli linguistici preservando le prestazioni generali con un'efficienza dei dati superiore rispetto alle tecniche esistenti.
Il paper propone e valida sperimentalmente una nuova funzione di perdita convessa per le SVM e le reti neurali, dimostrando che l'integrazione delle correlazioni dei pattern migliora le prestazioni di generalizzazione rispetto alle funzioni di perdita standard.
Il paper introduce scBatchProx, un metodo di ottimizzazione post-hoc ispirato all'apprendimento federato che corregge gli effetti del lotto nello spazio latente delle rappresentazioni cellulari senza richiedere dati grezzi centralizzati, migliorando significativamente la qualità dell'embedding e la conservazione dei segnali biologici.
Il paper presenta Quant VideoGen (QVG), un framework senza addestramento che utilizza la quantizzazione a 2 bit della cache KV tramite smoothing semantico e quantizzazione progressiva dei residui per ridurre fino a 7 volte l'uso di memoria nelle generazioni video autoregressive, migliorando al contempo la coerenza a lungo termine e mantenendo un basso overhead di latenza.
Il lavoro presenta EAGLE, un framework iterativo di distillazione generalista-specialista che genera una politica unificata e robusta per il controllo del corpo intero di diversi robot umanoidi eterogenei, superando le limitazioni legate alle variazioni dinamiche e topologiche senza necessità di sintonizzare ricompense specifiche per ogni robot.
Il paper introduce "Erase at the Core" (EC), un framework agnostico al modello che risolve il problema della "dimenticanza superficiale" applicando l'apprendimento contrastivo e supervisionato a tutti i livelli della rete per garantire la cancellazione effettiva delle informazioni sia a livello di logit che di rappresentazioni interne.
Questo studio formula l'apprendimento di classificatori robusti in presenza di input perturbati e dati scelti avversarialmente come un problema di apprendimento online, introducendo una nuova dimensione che caratterizza i limiti di errore e rimpianto sia nei contesti realistici che agnostici, estendendosi anche a casi multiclasse e a scenari con perturbazioni incerte.
Il documento presenta il Pretrained Variational Bridge (PVB), un modello generativo che unifica l'addestramento su dati strutturali e di traiettoria per produrre simulazioni di dinamica molecolare efficienti e fedeli, superando i limiti computazionali delle tradizionali simulazioni MD.
Questo lavoro presenta una pipeline automatizzata e in black-box per rilevare i "bias non verbalizzati" nei modelli linguistici, identificando nuove distorsioni specifiche del compito (come la padronanza linguistica o la formalità) senza richiedere categorie predefinite, pur validando al contempo i pregiudizi noti.
Il paper propone SFCrP, un metodo di apprendimento per imitazione che combina un modello di previsione del flusso di scena con una politica condizionata per generalizzare efficacemente compiti complessi da poche dimostrazioni robotiche, integrando dati video umani per superare i limiti delle rappresentazioni basate sul flusso tradizionali.