3761 articoli
Il paper presenta HDLxGraph, un nuovo framework che integra le caratteristiche grafiche intrinseche dei linguaggi HDL (tramite AST e DFG) nei sistemi RAG per migliorare significativamente le prestazioni di ricerca, debug e completamento del codice rispetto agli approcci basati sulla similarità semantica, supportato dal nuovo benchmark HDLSearch.
Il paper presenta WikiDBGraph, un nuovo benchmark su larga scala derivato da 100.000 database relazionali reali che evidenzia le limitazioni delle attuali tecniche di apprendimento collaborativo nel gestire silos di dati frammentati e non allineati, proponendo una valutazione più realistica dell'intero ciclo di gestione dei dati.
Il paper introduce AgarCL, una piattaforma di ricerca basata sul gioco Agar.io per l'apprendimento per rinforzo continuo, che offre un ambiente non episodico e dinamico per valutare algoritmi standard e metodi di apprendimento continuo, rivelando che le sfide poste dall'ambiente vanno oltre il classico dilemma stabilità-plasticità.
Questo lavoro presenta X-MethaneWet, il primo dataset di benchmark globale cross-scala per le emissioni di metano dalle zone umide, che integra dati di simulazione e osservazioni reali per valutare modelli di deep learning e tecniche di transfer learning al fine di migliorare la previsione dei flussi di metano e lo sviluppo di modelli climatici basati sull'intelligenza artificiale.
Questo articolo sviluppa un quadro teorico generale per il controllo ottimale della densità di probabilità su spazi di misura, stabilendo un principio di massimo e un'equazione di Hamilton-Jacobi-Bellman per problemi multi-agente su larga scala, e propone un algoritmo numerico scalabile basato su reti neurali profonde per affrontarli.
Il paper introduce VISTA, un nuovo framework senza addestramento che sfrutta i modelli visione-linguaggio per prevedere i prezzi delle azioni combinando rappresentazioni testuali e grafiche, ottenendo prestazioni superiori rispetto ai metodi tradizionali e basati solo su testo.
Questo paper propone un nuovo metodo di difesa contro gli attacchi di iniezione di prompt nei modelli linguistici su larga scala, che inietta segnali gerarchici di istruzione direttamente nelle rappresentazioni intermedie della rete tramite embedding addestrabili, ottenendo una riduzione significativa del tasso di successo degli attacchi rispetto alle tecniche esistenti senza compromettere l'utilità del modello.
Il paper propone OCN, un nuovo metodo per la previsione dei collegamenti che combina ortogonalizzazione e normalizzazione per eliminare la ridondanza e mitigare il sovra-lisciamento nei vicini comuni di ordine superiore, ottenendo prestazioni superiori rispetto agli stati dell'arte sui benchmark più popolari.
Il paper introduce ViTaPEs, un'architettura transformer che utilizza codifiche posizionali visuo-tattili a due stadi per allineare le modalità in modo efficace, superando gli stati dell'arte in compiti di riconoscimento e generalizzazione zero-shot senza dipendere da modelli pre-addestrati.
Il paper introduce LoFT, un metodo di adattamento a basso rango che allinea le dinamiche interne dell'ottimizzatore con quelle del full fine-tuning proiettando i momenti di Adam nello stesso sottospazio, riducendo così il divario prestazionale rispetto ai metodi standard come LoRA senza aumentare i costi di inferenza.
Il paper propone Progressive Neural Collapse (ProNC), un nuovo framework per l'apprendimento continuo che supera i limiti degli ETF globali fissi espandendo progressivamente il target geometrico per includere nuove classi, riducendo così l'oblio catastrofico e migliorando le prestazioni rispetto agli approcci esistenti.
Questo lavoro propone un nuovo approccio di correzione adattiva e plug-and-play che garantisce il rispetto rigoroso delle leggi di conservazione nei risultati degli operatori neurali, migliorando al contempo accuratezza, stabilità e flessibilità rispetto alle tecniche esistenti.
Il paper presenta ActivePusher, un framework innovativo che combina modelli di fisica residua e apprendimento attivo basato sull'incertezza per migliorare l'efficienza dei dati e l'affidabilità della pianificazione a lungo termine nella manipolazione non prensile.
Il paper introduce MMTU, un nuovo benchmark su larga scala con oltre 28.000 domande su 25 compiti reali, progettato per valutare in modo completo le capacità di comprensione, ragionamento e manipolazione delle tabelle da parte dei modelli linguistici, rivelando che anche i modelli più avanzati attuali hanno ancora margini significativi di miglioramento in questo dominio.
Questo studio dimostra che impostare i tassi di apprendimento in una regione di caos transitorio, dove l'ottimizzazione bilancia esplorazione e sfruttamento, accelera il training delle reti neurali riducendo il tempo necessario per raggiungere un'accuratezza accettabile su diversi compiti e architetture.
Il paper presenta EROICA, il primo sistema di risoluzione dei problemi di prestazioni online per l'addestramento di modelli su larga scala, che combina profilazione dettagliata e osservabilità differenziale per diagnosticare con successo sia problemi hardware che software su cluster di GPU di produzione.
Il documento presenta BemaGANv2, un vocoder basato su GAN avanzato per la generazione audio a lungo termine che integra innovazioni architetturali come il modulo AMP e una valutazione sistematica di diverse strategie di combinazione dei discriminatori, tra cui il nuovo Multi-Envelope Discriminator, per migliorare coerenza temporale e fedeltà del suono.
Il paper propone Co-LoRA, un metodo di apprendimento federato personalizzato che affronta l'eterogeneità sia dei dati che delle architetture dei modelli attraverso una strategia di aggregazione consapevole della rilevanza del compito e un modulo dimensionale-invariante, validato su un nuovo benchmark multi-modale che dimostra prestazioni superiori rispetto agli stati dell'arte.
Il paper propone due algoritmi efficienti, Slate-GLU-OFU e Slate-GLM-TS, per il problema dei banditi contestuali a slate logistici che, combinando una pianificazione locale con un apprendimento globale, raggiungono un basso rimpianto e una complessità computazionale ridotta, dimostrando efficacia sia in ambienti sintetici che nell'ottimizzazione di esempi in contesto per modelli linguistici.
Questo lavoro dimostra che l'ottimizzazione Sharpness-Aware (SAM) migliora l'oblio delle macchine riducendo l'interferenza tra segnali di mantenimento e di rimozione, e propone il metodo "Sharp MinMax" che combina SAM e massimizzazione della sharpness per ottenere un disaccoppiamento superiore tra i dati da mantenere e quelli da dimenticare, garantendo una maggiore robustezza agli attacchi di inferenza di appartenenza.