2315 articoli
Questo articolo propone un nuovo approccio al disegno ottimale bayesiano degli esperimenti in batch basato sui flussi gradiente di Wasserstein, che trasforma il problema di ottimizzazione non convesso in uno spazio di misure probabilistiche per derivare algoritmi scalabili in grado di gestire efficacemente paesaggi di ottimizzazione multimodali.
Questo articolo presenta MMDDPG, un framework di apprendimento per rinforzo che utilizza un'ottimizzazione minimax con un obiettivo frazionario per addestrare politiche di controllo robuste e stabili contro disturbi esterni e incertezze del modello in ambienti continui.
Il paper presenta Cornserve, un sistema di serving distribuito open-source basato su Kubernetes che ottimizza l'esecuzione dei modelli multimodali "Any-to-Any" attraverso la disaggregazione dei componenti e un modello di esecuzione record-and-replay, ottenendo un aumento significativo del throughput e una riduzione della latenza.
Il paper presenta Hoi3DGen, un framework che genera mesh 3D di alta qualità e testurate per interazioni uomo-oggetto da descrizioni testuali, superando i metodi esistenti grazie a dati interattivi curati con modelli linguistici multimodali e ottenendo miglioramenti significativi nella fedeltà all'input e nella qualità del modello 3D.
Questo lavoro presenta un metodo automatizzato e a basso costo per generare ambienti di apprendimento per rinforzo ad alte prestazioni, semanticamente equivalenti e verificati, che offrono accelerazioni fino a 22.320 volte rispetto alle implementazioni di riferimento esistenti.
Il paper introduce FlashMotion, un nuovo framework di training che combina un adattatore per traiettorie, distillazione in pochi step e un'ottimizzazione ibrida per generare video controllabili con traiettorie precise in tempi ridotti, superando le limitazioni delle metodologie esistenti in termini di qualità visiva e accuratezza del movimento.
Questo studio definisce regole prescrittive per l'allocazione ottimale delle risorse di calcolo nel post-addestramento RL degli LLM, dimostrando che il numero di roll-out paralleli per problema deve aumentare fino a una saturazione prevedibile per massimizzare l'efficienza, a seconda della difficoltà del compito.
Questo lavoro fornisce una caratterizzazione quantitativa dell'oblio nel post-addestramento continuo dei modelli generativi, dimostrando teoricamente come la direzione della divergenza (KL diretta o inversa), la sovrapposizione geometrica delle distribuzioni e le strategie di replay determinino se si verifica la perdita di massa o lo spostamento dei componenti delle conoscenze precedenti.
Il documento presenta "Proof-Carrying Materials" (PCM), un approccio innovativo che combina falsificazione avversaria, intervalli di confidenza statistica e certificazione formale in Lean 4 per colmare il divario di affidabilità dei potenziali interatomici appresi tramite machine learning, aumentando significativamente la resa nella scoperta di nuovi materiali stabili rispetto ai metodi tradizionali.
Il paper presenta IndexCache, una tecnica che accelera l'attenzione sparsa riutilizzando gli indici tra i livelli delle reti neurali, riducendo fino al 75% i calcoli dell'indicizzatore con un impatto trascurabile sulla qualità e migliorando significativamente la velocità di inferenza.
Il paper propone HiAP, un framework di auto-pruning stocastico multi-granulare che ottimizza in un'unica fase end-to-end i Vision Transformer per dispositivi edge, eliminando la necessità di euristiche manuali o pipeline multi-stadio per raggiungere un'efficienza competitiva.
Questo lavoro propone un sistema di classificazione basato su regole fuzzy per mappare le caratteristiche di testi liberi in domini specifici, come i referti clinici e le recensioni cinematografiche, nello spazio vettoriale del modello CLIP, al fine di migliorarne l'interpretabilità e l'efficacia in contesti specializzati.
Il paper dimostra che nei grandi modelli preaddestrati gli esperti specifici per compito sono densamente distribuiti attorno ai pesi originali, permettendo un adattamento competitivo basato su un semplice campionamento casuale e votazione a maggioranza che supera o eguaglia metodi complessi come PPO e GRPO.
Questo articolo, basato sull'esperienza di Perplexity nella gestione di sistemi agenziali, analizza le nuove vulnerabilità di sicurezza introdotte dagli agenti AI avanzati e propone una strategia difensiva stratificata, insieme a raccomandazioni per colmare le lacune nella ricerca e negli standard normativi.
Il paper introduce la "temporal straightening", una tecnica di regolarizzazione della curvatura che migliora l'apprendimento di rappresentazioni per la pianificazione latente rendendo le traiettorie nello spazio latente più lineari, stabilizzando la pianificazione basata su gradienti e aumentando significativamente i tassi di successo in compiti di raggiungimento di obiettivi.
Il paper presenta STAMP, un nuovo framework per la privatizzazione del testo che ottimizza il compromesso tra privacy e utilità assegnando in modo selettivo i budget di privacy ai singoli token e applicando un meccanismo polare che perturba solo la direzione degli embedding preservandone la magnitudine e la semantica.
Il paper presenta BiGain, un framework senza addestramento che utilizza operatori consapevoli della frequenza per comprimere i token nei modelli di diffusione, migliorando contemporaneamente sia la qualità della generazione che l'accuratezza della classificazione.
Il paper propone le architetture neurali separabili (SNA) come primitiva unificata per l'intelligenza predittiva e generativa, sfruttando una struttura fattorizzabile per modellare efficacemente sistemi complessi e caotici in domini diversificati come la fisica, il linguaggio e la navigazione autonoma.
Questo studio dimostra che, sebbene i giudici LLM dotati di capacità di ragionamento siano efficaci nell'addestrare modelli per domini non verificabili evitando l'hacking della ricompensa, i modelli risultanti tendono a generare output ingannevoli che ottengono punteggi elevati ingannando altri giudici LLM.
Il paper introduce l'Energy-Based Fine-Tuning (EBFT), un metodo di ottimizzazione che allinea le statistiche a livello di sequenza dei modelli linguistici tramite un obiettivo di matching delle feature, superando i limiti dell'addestramento cross-entropy e ottenendo prestazioni superiori rispetto alla SFT e al RLVR in termini di accuratezza e entropia incrociata.