Grounding Synthetic Data Generation With Vision and Language Models

Questo lavoro presenta un framework interpretabile basato su modelli visione-linguaggio per la generazione e valutazione di dati sintetici nel telerilevamento, introducendo il dataset ARAS400k che dimostra come l'addestramento su dati reali aumentati con dati sintetici superi le prestazioni dei modelli basati solo su dati reali per segmentazione semantica e descrizione di immagini.

Ümit Mert Ça\u{g}lar, Alptekin TemizelWed, 11 Ma🤖 cs.AI

OTPL-VIO: Robust Visual-Inertial Odometry with Optimal Transport Line Association and Adaptive Uncertainty

Il paper presenta OTPL-VIO, un sistema di odometria visivo-inerziale stereo robusto che combina descrittori profondi senza addestramento per le linee con un'associazione basata sul trasporto ottimo e un pesamento adattivo dell'incertezza, migliorando significativamente accuratezza e stabilità in scenari a bassa texture e con variazioni di illuminazione.

Zikun Chen, Wentao Zhao, Yihe Niu, Tianchen Deng, Jingchuan WangWed, 11 Ma💻 cs

When to Lock Attention: Training-Free KV Control in Video Diffusion

Il paper presenta KV-Lock, un metodo senza addestramento per i modelli di diffusione video basati su DiT che migliora la qualità del primo piano mantenendo la coerenza dello sfondo, regolando dinamicamente il blocco delle chiavi-valori e la scala della guida condizionale in base al rischio di allucinazione.

Tianyi Zeng, Jincheng Gao, Tianyi Wang, Zijie Meng, Miao Zhang, Jun Yin, Haoyuan Sun, Junfeng Jiao, Christian Claudel, Junbo Tan, Xueqian WangWed, 11 Ma🤖 cs.AI

DiffWind: Physics-Informed Differentiable Modeling of Wind-Driven Object Dynamics

Il paper presenta DiffWind, un framework differenziabile basato sulla fisica che unisce ricostruzione video e simulazione per modellare con alta precisione le dinamiche di oggetti mossi dal vento, integrando metodi come MPM e LBM e introducendo il nuovo dataset WD-Objects.

Yuanhang Lei, Boming Zhao, Zesong Yang, Xingxuan Li, Tao Cheng, Haocheng Peng, Ru Zhang, Yang Yang, Siyuan Huang, Yujun Shen, Ruizhen Hu, Hujun Bao, Zhaopeng CuiWed, 11 Ma💻 cs

AutoViVQA: A Large-Scale Automatically Constructed Dataset for Vietnamese Visual Question Answering

Il paper presenta AutoViVQA, un dataset su larga scala per il Visual Question Answering in vietnamita costruito automaticamente, e ne esamina l'efficacia utilizzando architetture basate su transformer e confrontando diverse metriche di valutazione automatica in contesti multilingue.

Nguyen Anh Tuong, Phan Ba Duc, Nguyen Trung Quoc, Tran Dac Thinh, Dang Duy Lan, Nguyen Quoc Thinh, Tung LeWed, 11 Ma🤖 cs.AI

TemporalDoRA: Temporal PEFT for Robust Surgical Video Question Answering

Il paper introduce TemporalDoRA, un metodo di adattamento efficiente dei parametri specifico per video che integra un'attenzione temporale nel bottleneck a basso rango per migliorare la robustezza e l'accuratezza nel rispondere a domande su video chirurgici, validando l'approccio sul nuovo dataset REAL-Colon-VQA.

Luca Carlini, Chiara Lena, Cesare Hassan, Danail Stoyanov, Elena De Momi, Sophia Bano, Mobarak I. HoqueWed, 11 Ma💻 cs

EXPLORE-Bench: Egocentric Scene Prediction with Long-Horizon Reasoning

Il paper introduce EXPLORE-Bench, un nuovo benchmark basato su video in prima persona per valutare la capacità dei modelli linguistici multimodali di prevedere le conseguenze fisiche a lungo termine di azioni sequenziali in scenari egocentrici, evidenziando un significativo divario rispetto alle prestazioni umane e l'efficacia parziale del ragionamento passo-passo nel colmarlo.

Chengjun Yu, Xuhan Zhu, Chaoqun Du, Pengfei Yu, Wei Zhai, Yang Cao, Zheng-Jun ZhaWed, 11 Ma🤖 cs.AI

FetalAgents: A Multi-Agent System for Fetal Ultrasound Image and Video Analysis

Il paper presenta FetalAgents, il primo sistema multi-agente progettato per orchestrare dinamicamente esperti visivi specializzati al fine di analizzare immagini e video ecografici fetali, generando report clinici strutturati con prestazioni superiori rispetto ai modelli esistenti.

Xiaotian Hu, Junwei Huang, Mingxuan Liu, Kasidit Anmahapong, Yifei Chen, Yitong Luo, Yiming Huang, Xuguang Bai, Zihan Li, Yi Liao, Haibo Qu, Qiyuan TianWed, 11 Ma💻 cs

M2M^2-Occ: Resilient 3D Semantic Occupancy Prediction for Autonomous Driving with Incomplete Camera Inputs

Il paper presenta M2M^2-Occ, un framework innovativo per la previsione dell'occupazione semantica 3D che garantisce resilienza e coerenza strutturale in scenari di guida autonoma con input multivista incompleti, grazie a un modulo di ricostruzione mascherata e a una memoria di caratteristiche che recuperano informazioni mancanti senza compromettere le prestazioni in condizioni ottimali.

Kaixin Lin, Kunyu Peng, Di Wen, Yufan Chen, Ruiping Liu, Kailun YangWed, 11 Ma⚡ eess

Let's Reward Step-by-Step: Step-Aware Contrastive Alignment for Vision-Language Navigation in Continuous Environments

Il paper introduce SACA, un nuovo framework di allineamento contrastivo step-aware che risolve le limitazioni degli attuali metodi di addestramento per la navigazione visione-linguaggio in ambienti continui, migliorando la generalizzazione e il recupero dagli errori attraverso una supervisione densa e un'analisi dettagliata dei singoli passaggi.

Haoyuan Li, Rui Liu, Hehe Fan, Yi YangWed, 11 Ma💻 cs