5287 articoli
Questo paper presenta un modello duale audio-visivo a due stadi basato su DINOv2 e Wav2Vec 2.0, che integra tecniche di estrazione robusta delle caratteristiche e fusione temporale per superare le sfide del riconoscimento delle espressioni facciali nel contesto del workshop ABAW 10, ottenendo risultati superiori rispetto alle linee di base ufficiali.
Il documento propone di utilizzare i principi dei sistemi distribuiti come fondamento teorico per progettare e valutare team di modelli linguistici su larga scala, superando l'approccio empirico attuale per affrontare sfide fondamentali come la struttura, la dimensione e l'efficacia del team.
Il paper introduce SceneAssistant, un agente guidato da feedback visivo che combina modelli di generazione 3D e modelli visione-linguaggio per creare e modificare scene 3D complesse e open-vocabulary attraverso comandi testuali naturali e iterazioni di raffinamento spaziale.
Il paper introduce HandelBot, un framework che combina una politica simulata con un adattamento rapido in due fasi per permettere a un robot di suonare il pianoforte con entrambe le mani in modo preciso, superando le limitazioni del trasferimento diretto dalla simulazione e richiedendo solo 30 minuti di dati di interazione fisica.
Il paper introduce ELIT, un meccanismo compatibile con i Diffusion Transformers che decouplea la dimensione dell'input dal calcolo tramite un'interfaccia latente elastica, permettendo di adattare dinamicamente il consumo computazionale durante l'inferenza senza modificare la struttura del modello o l'obiettivo di addestramento.
Il paper presenta FIRM, un quadro completo che sviluppa modelli di ricompresa robusti e strategie di apprendimento per rinforzo innovative per migliorare l'aderenza alle istruzioni e la fedeltà nella generazione e modifica di immagini, superando i limiti delle attuali metriche di valutazione.
Il paper presenta DVD, un framework innovativo che adatta deterministicamente modelli di diffusione video pre-addestrati per la stima della profondità, superando i compromessi tra modelli generativi e discriminativi e ottenendo prestazioni all'avanguardia in modalità zero-shot con una frazione minima di dati specifici.
Il paper presenta AutoGaze, un modulo leggero che migliora l'efficienza e la scalabilità della comprensione video nei modelli multimediali selezionando autoregressivamente solo le patch visive essenziali, riducendo drasticamente i token visivi e permettendo l'analisi di video lunghi e ad alta risoluzione con prestazioni superiori.
DreamVideo-Omni è un framework unificato che, attraverso un paradigma di addestramento progressivo in due fasi e un meccanismo di rinforzo dell'identità latente, risolve le sfide della personalizzazione video multi-soggetto permettendo un controllo preciso e simultaneo di identità, movimenti globali, dinamiche locali e movimenti della camera.
Il paper presenta HumDex, un sistema di teleoperazione portatile e open-source che risolve il compromesso tra portabilità e precisione per la manipolazione destrezza degli umanoidi, combinando tracciamento IMU, un metodo di retargeting basato sull'apprendimento e un framework di apprendimento per imitazione a due stadi per raccogliere dati dimostrativi di alta qualità e migliorare la generalizzazione dei compiti.
Il paper propone Video Streaming Thinking (VST), un nuovo paradigma per i modelli linguistici video che integra simultaneamente la percezione in streaming e il ragionamento logico, superando i compromessi tra latenza e coerenza cognitiva grazie a una pipeline di addestramento avanzata e ottenendo prestazioni superiori su benchmark online senza sacrificare le capacità di ragionamento offline.
Il paper introduce , un modello fondazionale open source per la loco-manipolazione umanoide che, decouplando l'addestramento in una fase di pre-training su video umani egocentrici e una fase di post-training su dati robotici specifici, raggiunge prestazioni superiori rispetto alle basi esistenti utilizzando una frazione dei dati.
Il paper introduce GRADE, il primo benchmark progettato per valutare la capacità dei modelli multimodali di ragionamento e modifica delle immagini basata su conoscenze disciplinari specifiche, rivelando attraverso un protocollo di valutazione multidimensionale le significative limitazioni degli attuali modelli di stato dell'arte in contesti di editing complessi e orientati alla conoscenza.
Il paper presenta OmniStream, un backbone visivo unificato per flussi continui che, grazie a un'architettura causale e un pre-addestramento multi-task su 29 dataset, riesce a percepire, ricostruire e agire in tempo reale con prestazioni competitive in compiti di ragionamento semantico, spaziale e temporale, anche per agenti robotici non visti durante l'addestramento.
Il paper introduce MM-CondChain, un benchmark verificabile programmaticamente che valuta la capacità dei modelli linguistici multimodali di eseguire ragionamenti compositi profondi e visivamente radicati attraverso catene di condizioni logiche complesse, rivelando che anche i modelli più avanzati faticano a gestire tale complessità.
Il paper presenta EVATok, un framework di tokenizzazione video adattiva che ottimizza la lunghezza delle sequenze di token per bilanciare qualità e costi computazionali, ottenendo risultati di generazione autoregressiva superiori con una riduzione significativa del consumo di token rispetto agli stati dell'arte.
Il documento dimostra che, in un modello di decisione di gruppo tramite voto su ipotesi binarie, l'apprendimento sociale è inutile e il segreto del voto è ottimale, poiché ignorare le decisioni precedenti degli altri agenti massimizza le prestazioni complessive del team.
Lo studio dimostra che, in un processo di apprendimento sociale sequenziale, è controintuitivamente ottimale per gli agenti bayesiani adottare credenze iniziali inaccurate e sistematicamente distorte per massimizzare l'informazione trasmessa ai successivi, permettendo così all'ultimo agente di prendere la decisione migliore.
Il paper propone un framework basato su reticoli per l'allocazione adattiva dei tentativi nella stima dei parametri di processi Bernoulliani, dimostrando attraverso simulazioni ispirate all'imaging attivo che tale approccio riduce significativamente l'errore quadratico medio rispetto ai metodi tradizionali.
Questo articolo offre una panoramica completa dei recenti progressi nel tracciamento multi-oggetto, esaminando l'evoluzione dalle architetture tradizionali ai modelli basati su transformer e foundation models, analizzando le tendenze nei benchmark e le metriche di valutazione, e delineando le direzioni future per l'adozione pratica in scenari reali.