12592 articoli
Il paper presenta MultiPUFFIN, un modello fondazionale multimodale vincolato da principi termodinamici che, integrando diverse rappresentazioni molecolari e equazioni fisiche, supera le prestazioni dei modelli pre-addestrati su larga scala nella previsione simultanea di nove proprietà fisico-chimiche, pur richiedendo una frazione minima dei dati e della potenza computazionale.
Il paper introduce l'Active Flow Matching (AFM), un nuovo metodo che riformula gli obiettivi variazionali per guidare i modelli di flusso verso regioni ad alta fitness in contesti di ottimizzazione black-box online, dimostrando prestazioni competitive in compiti di progettazione di proteine e piccole molecole.
Questo studio dimostra che i principali modelli linguistici fondazionali, pur eccellendo nei benchmark, mostrano un'allineamento negativo con gli esiti di apprendimento degli studenti e che le loro prestazioni su compiti educativi sono più correlate tra loro che con il comportamento umano esperto, suggerendo che la pre-addestramento comune è una fonte significativa di questo disallineamento.
Questo studio presenta una valutazione su larga scala di un sistema di grading AI basato su LLM e OCR per compiti di calcolo a mano scritti da studenti universitari, dimostrando un forte allineamento con le valutazioni dei tutor e proponendo un nuovo benchmark standardizzato per la ricerca futura.
Questo studio propone un framework a doppio apprendista, ispirato al sistema di memoria umano, che combina un apprendista veloce per il trasferimento di conoscenze e un meta-apprendista per l'integrazione incrementale e la prevenzione dell'oblio catastrofico, dimostrando prestazioni superiori nell'apprendimento per rinforzo continuo su diversi benchmark.
Questo lavoro propone un framework teorico basato sul principio della Lunghezza Minima di Descrizione (MDL) che utilizza il guadagno aggiustato per la curvatura per allocare in modo ottimale le capacità computazionali o eseguire il pruning negli strati dei grandi modelli linguistici, garantendo soluzioni a forma chiusa, complessità computazionale efficiente e limiti di rimpianto trasferibili.
Il paper propone TALBO, un metodo di ottimizzazione bayesiana nello spazio latente che integra la variabilità temporale sia nel modello surrogato che nella rappresentazione generativa per adattarsi dinamicamente agli obiettivi in evoluzione, dimostrando prestazioni superiori rispetto alle tecniche esistenti in scenari di progettazione molecolare con obiettivi mutevoli.
Lo studio dimostra che l'uso del clamping del margine nell'apprendimento Contrastive Forward-Forward aumenta significativamente la varianza dell'addestramento su CIFAR-10 a causa della saturazione dei gradienti, un effetto dipendente dal dataset che può essere eliminato sostituendo il clamping con una sottrazione neutra rispetto al gradiente.
Questo lavoro introduce il framework Logits Convex Optimization (LCO), che colma il divario di stabilità tra l'addestramento supervisionato e il reinforcement learning nei grandi modelli linguistici sfruttando la convessità dei logit per garantire un'ottimizzazione più stabile ed efficace rispetto ai metodi tradizionali come PPO.
Questo articolo stabilisce una fondazione decisionale per l'uso della perdita di Nash-Sutcliffe nell'addestramento e nella valutazione di modelli su più serie temporali, dimostrando che minimizzarla equivale a stimare una media ponderata dei dati e permettendo così di gestire in modo coerente serie stazionarie con proprietà stocastiche diverse.
Questo lavoro estende l'analisi delle proprietà di generalizzazione dei metodi a caratteri casuali ai kernel a valori operatore, fornendo un quadro teorico unificato per le reti neurali e gli operatori neurali che stabilisce tassi di apprendimento ottimali e condizioni sulla quantità di neuroni necessari.
Questo paper propone il framework ICS-RL, che combina la previsione delle intenzioni nemiche tramite LSTM con un meccanismo di sinergia contestuale e agenti DQN eterogenei, permettendo ai droni autonomi di prendere decisioni proattive e adattive che massimizzano il successo della missione e riducono l'esposizione in ambienti aerei contesi.
Il paper presenta HiMAC, un framework di apprendimento per rinforzo gerarchico che scompone il processo decisionale a lungo termine in pianificazione macro e esecuzione micro, ottenendo prestazioni superiori e una maggiore efficienza nel campionamento rispetto ai metodi esistenti su diversi ambienti complessi.
Il framework SoberDSE risolve il problema della selezione algoritmica nella esplorazione dello spazio di progettazione (DSE) per la Sintesi di Alto Livello, superando gli stati dell'arte tramite un meccanismo di apprendimento automatico che identifica dinamicamente l'algoritmo più performante per ogni istanza specifica, garantendo risultati superiori anche in scenari con pochi dati.
Questo articolo presenta MiM-MU, un metodo innovativo per l'oblio delle macchine nei modelli di diffusione testo-immagine che elimina i concetti indesiderati minimizzando l'informazione reciproca, ottenendo così una rimozione efficace senza compromettere la qualità delle generazioni rimanenti e senza richiedere alcuna compensazione post-remediale.
Questa lettera propone DWAFM, un nuovo modello di previsione del traffico che integra un'embedding dinamica di grafi pesati con meccanismi di attenzione e MLP nel dominio della frequenza per catturare efficacemente le dipendenze spazio-temporali complesse e dinamiche nei dati del traffico.
Il paper introduce AG-REPA, una strategia di selezione causale dei livelli basata sull'ablatione per guidare l'allineamento delle rappresentazioni nel Flow Matching audio, dimostrando che l'addestramento è più efficace quando si allineano i livelli che guidano causalmente il campo di velocità piuttosto che quelli semplicemente ricchi di informazioni rappresentative.
Gli autori propongono FW-MRS, un algoritmo di sottocampionamento rappresentativo pesato per le feature che riduce l'impatto delle variabili fortemente distorte durante il debiasing, preservando al contempo le prestazioni di generalizzazione sui compiti successivi senza alterare significativamente le variabili già rappresentative.
Il paper propone BadRSSD, il primo attacco backdoor che compromette lo strato di rappresentazione dei modelli di diffusione auto-supervisionati, manipolando lo spazio latente tramite PCA e vincoli coordinati per generare immagini target specifiche in modo stealthy mantenendo l'alta utilità del modello.
Il paper presenta One-Token Verification (OTV), un metodo efficiente che stima la correttezza del ragionamento in un singolo passaggio durante la generazione, riducendo significativamente la latenza e l'uso dei token rispetto alle tecniche di verifica tradizionali.