12577 articoli
Questo articolo esamina le recenti intersezioni tra apprendimento di operatori, teoria statistica e approssimazione, analizzando i limiti di convergenza, le barriere statistiche fondamentali e le questioni aperte attraverso una prospettiva minimax.
Questo studio dimostra che monitori basati su LLM, ottimizzati su dati sintetici generati da specifiche comportamentali naturali, riescono a generalizzare l'individuazione di schemi di inganno in ambienti realistici, sebbene le prestazioni raggiungano rapidamente un plateau oltre il quale un'ulteriore ottimizzazione porta solo a un sovradattamento.
Il paper propone Tiny-Critic RAG, un approccio che utilizza un piccolo modello linguistico efficiente in parametri come gatekeeper per il routing binario nei sistemi RAG agentici, riducendo significativamente la latenza e i costi rispetto all'uso di grandi modelli per la valutazione.
Il paper presenta GeMi, un sistema di raccomandazione basato su reti neurali grafiche e dati multimodali progettato per conservare e promuovere le antiche pitture narrate a rotolo, un'arte performativa a rischio di estinzione.
Questo articolo presenta un metodo innovativo che integra algoritmi genetici, regressione quantile e test di causalità di Granger per generare spiegazioni controfattuali plausibili e proiettare scenari futuri nell'analisi e nella previsione di serie temporali multivariate.
Il paper presenta MultiPUFFIN, un modello fondazionale multimodale vincolato da principi termodinamici che, integrando diverse rappresentazioni molecolari e equazioni fisiche, supera le prestazioni dei modelli pre-addestrati su larga scala nella previsione simultanea di nove proprietà fisico-chimiche, pur richiedendo una frazione minima dei dati e della potenza computazionale.
Il paper introduce l'Active Flow Matching (AFM), un nuovo metodo che riformula gli obiettivi variazionali per guidare i modelli di flusso verso regioni ad alta fitness in contesti di ottimizzazione black-box online, dimostrando prestazioni competitive in compiti di progettazione di proteine e piccole molecole.
Questo studio dimostra che i principali modelli linguistici fondazionali, pur eccellendo nei benchmark, mostrano un'allineamento negativo con gli esiti di apprendimento degli studenti e che le loro prestazioni su compiti educativi sono più correlate tra loro che con il comportamento umano esperto, suggerendo che la pre-addestramento comune è una fonte significativa di questo disallineamento.
Questo studio presenta una valutazione su larga scala di un sistema di grading AI basato su LLM e OCR per compiti di calcolo a mano scritti da studenti universitari, dimostrando un forte allineamento con le valutazioni dei tutor e proponendo un nuovo benchmark standardizzato per la ricerca futura.
Questo studio propone un framework a doppio apprendista, ispirato al sistema di memoria umano, che combina un apprendista veloce per il trasferimento di conoscenze e un meta-apprendista per l'integrazione incrementale e la prevenzione dell'oblio catastrofico, dimostrando prestazioni superiori nell'apprendimento per rinforzo continuo su diversi benchmark.
Questo lavoro propone un framework teorico basato sul principio della Lunghezza Minima di Descrizione (MDL) che utilizza il guadagno aggiustato per la curvatura per allocare in modo ottimale le capacità computazionali o eseguire il pruning negli strati dei grandi modelli linguistici, garantendo soluzioni a forma chiusa, complessità computazionale efficiente e limiti di rimpianto trasferibili.
Il paper propone TALBO, un metodo di ottimizzazione bayesiana nello spazio latente che integra la variabilità temporale sia nel modello surrogato che nella rappresentazione generativa per adattarsi dinamicamente agli obiettivi in evoluzione, dimostrando prestazioni superiori rispetto alle tecniche esistenti in scenari di progettazione molecolare con obiettivi mutevoli.
Lo studio dimostra che l'uso del clamping del margine nell'apprendimento Contrastive Forward-Forward aumenta significativamente la varianza dell'addestramento su CIFAR-10 a causa della saturazione dei gradienti, un effetto dipendente dal dataset che può essere eliminato sostituendo il clamping con una sottrazione neutra rispetto al gradiente.
Questo lavoro introduce il framework Logits Convex Optimization (LCO), che colma il divario di stabilità tra l'addestramento supervisionato e il reinforcement learning nei grandi modelli linguistici sfruttando la convessità dei logit per garantire un'ottimizzazione più stabile ed efficace rispetto ai metodi tradizionali come PPO.
Questo articolo stabilisce una fondazione decisionale per l'uso della perdita di Nash-Sutcliffe nell'addestramento e nella valutazione di modelli su più serie temporali, dimostrando che minimizzarla equivale a stimare una media ponderata dei dati e permettendo così di gestire in modo coerente serie stazionarie con proprietà stocastiche diverse.
Questo lavoro estende l'analisi delle proprietà di generalizzazione dei metodi a caratteri casuali ai kernel a valori operatore, fornendo un quadro teorico unificato per le reti neurali e gli operatori neurali che stabilisce tassi di apprendimento ottimali e condizioni sulla quantità di neuroni necessari.
Questo paper propone il framework ICS-RL, che combina la previsione delle intenzioni nemiche tramite LSTM con un meccanismo di sinergia contestuale e agenti DQN eterogenei, permettendo ai droni autonomi di prendere decisioni proattive e adattive che massimizzano il successo della missione e riducono l'esposizione in ambienti aerei contesi.
Il paper presenta HiMAC, un framework di apprendimento per rinforzo gerarchico che scompone il processo decisionale a lungo termine in pianificazione macro e esecuzione micro, ottenendo prestazioni superiori e una maggiore efficienza nel campionamento rispetto ai metodi esistenti su diversi ambienti complessi.
Il framework SoberDSE risolve il problema della selezione algoritmica nella esplorazione dello spazio di progettazione (DSE) per la Sintesi di Alto Livello, superando gli stati dell'arte tramite un meccanismo di apprendimento automatico che identifica dinamicamente l'algoritmo più performante per ogni istanza specifica, garantendo risultati superiori anche in scenari con pochi dati.
Questo articolo presenta MiM-MU, un metodo innovativo per l'oblio delle macchine nei modelli di diffusione testo-immagine che elimina i concetti indesiderati minimizzando l'informazione reciproca, ottenendo così una rimozione efficace senza compromettere la qualità delle generazioni rimanenti e senza richiedere alcuna compensazione post-remediale.