3797 articoli
Questo articolo sviluppa un quadro teorico generale per il controllo ottimale della densità di probabilità su spazi di misura, stabilendo un principio di massimo e un'equazione di Hamilton-Jacobi-Bellman per problemi multi-agente su larga scala, e propone un algoritmo numerico scalabile basato su reti neurali profonde per affrontarli.
Il paper introduce VISTA, un nuovo framework senza addestramento che sfrutta i modelli visione-linguaggio per prevedere i prezzi delle azioni combinando rappresentazioni testuali e grafiche, ottenendo prestazioni superiori rispetto ai metodi tradizionali e basati solo su testo.
Questo paper propone un nuovo metodo di difesa contro gli attacchi di iniezione di prompt nei modelli linguistici su larga scala, che inietta segnali gerarchici di istruzione direttamente nelle rappresentazioni intermedie della rete tramite embedding addestrabili, ottenendo una riduzione significativa del tasso di successo degli attacchi rispetto alle tecniche esistenti senza compromettere l'utilità del modello.
Il paper propone OCN, un nuovo metodo per la previsione dei collegamenti che combina ortogonalizzazione e normalizzazione per eliminare la ridondanza e mitigare il sovra-lisciamento nei vicini comuni di ordine superiore, ottenendo prestazioni superiori rispetto agli stati dell'arte sui benchmark più popolari.
Il paper introduce ViTaPEs, un'architettura transformer che utilizza codifiche posizionali visuo-tattili a due stadi per allineare le modalità in modo efficace, superando gli stati dell'arte in compiti di riconoscimento e generalizzazione zero-shot senza dipendere da modelli pre-addestrati.
Il paper introduce LoFT, un metodo di adattamento a basso rango che allinea le dinamiche interne dell'ottimizzatore con quelle del full fine-tuning proiettando i momenti di Adam nello stesso sottospazio, riducendo così il divario prestazionale rispetto ai metodi standard come LoRA senza aumentare i costi di inferenza.
Il paper propone Progressive Neural Collapse (ProNC), un nuovo framework per l'apprendimento continuo che supera i limiti degli ETF globali fissi espandendo progressivamente il target geometrico per includere nuove classi, riducendo così l'oblio catastrofico e migliorando le prestazioni rispetto agli approcci esistenti.
Questo lavoro propone un nuovo approccio di correzione adattiva e plug-and-play che garantisce il rispetto rigoroso delle leggi di conservazione nei risultati degli operatori neurali, migliorando al contempo accuratezza, stabilità e flessibilità rispetto alle tecniche esistenti.
Il paper presenta ActivePusher, un framework innovativo che combina modelli di fisica residua e apprendimento attivo basato sull'incertezza per migliorare l'efficienza dei dati e l'affidabilità della pianificazione a lungo termine nella manipolazione non prensile.
Il paper introduce MMTU, un nuovo benchmark su larga scala con oltre 28.000 domande su 25 compiti reali, progettato per valutare in modo completo le capacità di comprensione, ragionamento e manipolazione delle tabelle da parte dei modelli linguistici, rivelando che anche i modelli più avanzati attuali hanno ancora margini significativi di miglioramento in questo dominio.
Questo studio dimostra che impostare i tassi di apprendimento in una regione di caos transitorio, dove l'ottimizzazione bilancia esplorazione e sfruttamento, accelera il training delle reti neurali riducendo il tempo necessario per raggiungere un'accuratezza accettabile su diversi compiti e architetture.
Il paper presenta EROICA, il primo sistema di risoluzione dei problemi di prestazioni online per l'addestramento di modelli su larga scala, che combina profilazione dettagliata e osservabilità differenziale per diagnosticare con successo sia problemi hardware che software su cluster di GPU di produzione.
Il documento presenta BemaGANv2, un vocoder basato su GAN avanzato per la generazione audio a lungo termine che integra innovazioni architetturali come il modulo AMP e una valutazione sistematica di diverse strategie di combinazione dei discriminatori, tra cui il nuovo Multi-Envelope Discriminator, per migliorare coerenza temporale e fedeltà del suono.
Il paper propone Co-LoRA, un metodo di apprendimento federato personalizzato che affronta l'eterogeneità sia dei dati che delle architetture dei modelli attraverso una strategia di aggregazione consapevole della rilevanza del compito e un modulo dimensionale-invariante, validato su un nuovo benchmark multi-modale che dimostra prestazioni superiori rispetto agli stati dell'arte.
Il paper propone due algoritmi efficienti, Slate-GLU-OFU e Slate-GLM-TS, per il problema dei banditi contestuali a slate logistici che, combinando una pianificazione locale con un apprendimento globale, raggiungono un basso rimpianto e una complessità computazionale ridotta, dimostrando efficacia sia in ambienti sintetici che nell'ottimizzazione di esempi in contesto per modelli linguistici.
Questo lavoro dimostra che l'ottimizzazione Sharpness-Aware (SAM) migliora l'oblio delle macchine riducendo l'interferenza tra segnali di mantenimento e di rimozione, e propone il metodo "Sharp MinMax" che combina SAM e massimizzazione della sharpness per ottenere un disaccoppiamento superiore tra i dati da mantenere e quelli da dimenticare, garantendo una maggiore robustezza agli attacchi di inferenza di appartenenza.
Il documento introduce il Kolmogorov-Arnold Energy Model (KAEM), un nuovo approccio generativo che combina velocità, interpretabilità ed efficienza inferenziale grazie a una struttura latente univariata basata sul teorema di rappresentazione di Kolmogorov-Arnold, superando i compromessi tra modelli latenti semplici e campionatori iterativi complessi.
Il paper propone un approccio di apprendimento semi-auto-supervisionato basato su GLMask, che trasforma la segmentazione semantica in quella istanziale con annotazioni minime, ottenendo risultati all'avanguardia nella segmentazione delle spighe di grano e miglioramenti significativi sul dataset COCO.
Questo lavoro presenta SamS, un algoritmo efficiente che ottimizza l'adeguamento dei modelli linguistici alle preferenze umane attraverso una selezione dinamica e adattiva dei campioni di addestramento a livello di batch durante l'Ottimizzazione Diretta delle Preferenze (DPO), migliorando significativamente le prestazioni senza modificare l'algoritmo di base.
Il paper presenta DemoDiffusion, un metodo che permette ai robot di imitare un'unica dimostrazione umana per eseguire compiti di manipolazione, combinando la retargeting cinematica con una politica di diffusione pre-addestrata per ottenere un tasso di successo significativamente superiore rispetto alle tecniche esistenti senza necessità di dati umani-robot accoppiati o addestramento specifico.