2364 articoli
Questo studio applica l'interpretabilità meccanicistica per dimostrare che la distillazione della conoscenza, pur preservando il comportamento funzionale, induce una significativa riorganizzazione interna nei modelli studenti, che comprimono e scartano componenti del modello insegnante affidandosi a un numero ridotto di unità attivate.
Il paper introduce Ready2Unlearn, un approccio proattivo che ottimizza la fase di addestramento dei modelli per prepararli a future richieste di cancellazione dei dati, rendendo il processo di machine unlearning più efficiente e fondato su principi solidi.
Il paper presenta EgoDex, il più ampio e diversificato dataset esistente di manipolazione abile umana registrato con Apple Vision Pro, che offre 829 ore di video egocentrici con annotazioni 3D delle mani per affrontare la scarsità di dati nell'apprendimento per imitazione e promuovere i progressi nella robotica e nella visione artificiale.
Il paper presenta FreeKV, un framework di co-ottimizzazione algoritmo-sistema privo di addestramento che migliora l'efficienza del recupero della cache KV mantenendo un'accuratezza quasi perfetta e ottenendo fino a 13 volte di velocità rispetto ai metodi esistenti.
Il paper propone due nuovi algoritmi online per l'apprendimento decisionale focalizzato (DFL) in ambienti dinamici, che superano le sfide della non differenziabilità e non convessità attraverso regolarizzazione e tecniche di perturbazione, garantendo per la prima volta limiti di rimedio statici e dinamici e dimostrando prestazioni superiori in esperimenti pratici.
Il paper presenta Vid2World, un approccio generale che trasforma modelli di diffusione video pre-addestrati in modelli del mondo interattivi ad alta fedeltà, permettendo una generazione autoregressiva e un controllo efficace delle azioni attraverso la causalizzazione dell'architettura e una guida causale.
Il paper introduce MAS-ZERO, il primo framework di auto-evoluzione che progetta sistemi multi-agente senza supervisione esterna, adattando dinamicamente ruoli e protocolli durante l'inferenza per ottenere prestazioni superiori rispetto ai metodi manuali e automatici esistenti.
Il paper presenta HDLxGraph, un nuovo framework che integra le caratteristiche grafiche intrinseche dei linguaggi HDL (tramite AST e DFG) nei sistemi RAG per migliorare significativamente le prestazioni di ricerca, debug e completamento del codice rispetto agli approcci basati sulla similarità semantica, supportato dal nuovo benchmark HDLSearch.
Il paper presenta WikiDBGraph, un nuovo benchmark su larga scala derivato da 100.000 database relazionali reali che evidenzia le limitazioni delle attuali tecniche di apprendimento collaborativo nel gestire silos di dati frammentati e non allineati, proponendo una valutazione più realistica dell'intero ciclo di gestione dei dati.
Il paper introduce AgarCL, una piattaforma di ricerca basata sul gioco Agar.io per l'apprendimento per rinforzo continuo, che offre un ambiente non episodico e dinamico per valutare algoritmi standard e metodi di apprendimento continuo, rivelando che le sfide poste dall'ambiente vanno oltre il classico dilemma stabilità-plasticità.
Questo lavoro presenta X-MethaneWet, il primo dataset di benchmark globale cross-scala per le emissioni di metano dalle zone umide, che integra dati di simulazione e osservazioni reali per valutare modelli di deep learning e tecniche di transfer learning al fine di migliorare la previsione dei flussi di metano e lo sviluppo di modelli climatici basati sull'intelligenza artificiale.
Questo articolo sviluppa un quadro teorico generale per il controllo ottimale della densità di probabilità su spazi di misura, stabilendo un principio di massimo e un'equazione di Hamilton-Jacobi-Bellman per problemi multi-agente su larga scala, e propone un algoritmo numerico scalabile basato su reti neurali profonde per affrontarli.
Il paper introduce VISTA, un nuovo framework senza addestramento che sfrutta i modelli visione-linguaggio per prevedere i prezzi delle azioni combinando rappresentazioni testuali e grafiche, ottenendo prestazioni superiori rispetto ai metodi tradizionali e basati solo su testo.
Questo paper propone un nuovo metodo di difesa contro gli attacchi di iniezione di prompt nei modelli linguistici su larga scala, che inietta segnali gerarchici di istruzione direttamente nelle rappresentazioni intermedie della rete tramite embedding addestrabili, ottenendo una riduzione significativa del tasso di successo degli attacchi rispetto alle tecniche esistenti senza compromettere l'utilità del modello.
Il paper propone OCN, un nuovo metodo per la previsione dei collegamenti che combina ortogonalizzazione e normalizzazione per eliminare la ridondanza e mitigare il sovra-lisciamento nei vicini comuni di ordine superiore, ottenendo prestazioni superiori rispetto agli stati dell'arte sui benchmark più popolari.
Il paper introduce ViTaPEs, un'architettura transformer che utilizza codifiche posizionali visuo-tattili a due stadi per allineare le modalità in modo efficace, superando gli stati dell'arte in compiti di riconoscimento e generalizzazione zero-shot senza dipendere da modelli pre-addestrati.
Il paper introduce LoFT, un metodo di adattamento a basso rango che allinea le dinamiche interne dell'ottimizzatore con quelle del full fine-tuning proiettando i momenti di Adam nello stesso sottospazio, riducendo così il divario prestazionale rispetto ai metodi standard come LoRA senza aumentare i costi di inferenza.
Il paper propone Progressive Neural Collapse (ProNC), un nuovo framework per l'apprendimento continuo che supera i limiti degli ETF globali fissi espandendo progressivamente il target geometrico per includere nuove classi, riducendo così l'oblio catastrofico e migliorando le prestazioni rispetto agli approcci esistenti.
Questo lavoro propone un nuovo approccio di correzione adattiva e plug-and-play che garantisce il rispetto rigoroso delle leggi di conservazione nei risultati degli operatori neurali, migliorando al contempo accuratezza, stabilità e flessibilità rispetto alle tecniche esistenti.
Il paper presenta ActivePusher, un framework innovativo che combina modelli di fisica residua e apprendimento attivo basato sull'incertezza per migliorare l'efficienza dei dati e l'affidabilità della pianificazione a lungo termine nella manipolazione non prensile.