3290 articoli
Questo lavoro propone una strategia di post-addestramento basata sul reinforcement learning, che estende l'ottimizzazione della politica relativa di gruppo (GRPO) ai modelli multimodali unificati, per abilitare la generazione intercalata di testo e immagini senza dipendere da grandi dataset specifici, migliorando significativamente la coerenza e la qualità in compiti come il racconto visivo.
Il paper introduce DynHiL-EQA, un nuovo dataset per la risposta a domande in ambienti embodied dinamici, e propone DIVRR, un framework senza addestramento che migliora la robustezza e l'efficienza inferenziale attraverso la raffinazione delle viste e la selezione adattiva della memoria.
Questo studio presenta un'analisi completa e comparativa di diversi metodi di imaging non in linea di vista (NLOS) basati sul tempo di volo, unificandone la formulazione teorica e l'hardware per valutarne le prestazioni, le limitazioni e le somiglianze in condizioni sperimentali controllate.
Il paper presenta GeoSolver, un nuovo framework che migliora il ragionamento passo-passo nei modelli visione-linguaggio per il telerilevamento attraverso un dataset di supervisione processuale su larga scala, un modello di ricompensa granulare e un algoritmo di apprendimento per rinforzo, ottenendo prestazioni all'avanguardia e una scalabilità durante il test-time.
Il paper presenta GeoAlignCLIP, un framework unificato che migliora l'allineamento visione-linguaggio fine-granulare nelle immagini di telerilevamento attraverso l'apprendimento di allineamenti semantici multi-granulari e la coerenza intra-modale, supportato dal nuovo dataset RSFG-100k, ottenendo prestazioni superiori rispetto ai metodi esistenti su diversi benchmark.
Questo lavoro introduce il paradigma di Panorama-Language Modeling (PLM) e il dataset PanoVQA per gestire scene panoramiche avverse, proponendo un modulo di attenzione sparsa che permette ai modelli visione-linguaggio esistenti di comprendere l'intero contesto 360° senza riaddestramento, superando i limiti della semplice aggregazione di immagini a campo visivo ristretto.
Il paper presenta BinaryAttention, un metodo innovativo che utilizza l'attenzione QK a 1 bit per i Transformer visivi e di diffusione, sostituendo i prodotti scalari in virgola mobile con operazioni bitwise e tecniche di addestramento avanzate per ottenere un'accelerazione superiore a 2x rispetto a FlashAttention2 mantenendo o superando l'accuratezza dei modelli full-precision.
Il paper presenta ParTY, un nuovo framework che migliora la sintesi di movimenti umani da testo guidando la generazione globale attraverso parti specifiche del corpo, risolvendo così le limitazioni di coerenza e allineamento semantico dei metodi esistenti.
Questo studio propone un metodo di classificazione delle immagini ispirato ai movimenti saccadici oculari umani, che utilizza le mappe di attenzione del modello Vision Transformer DINO per selezionare e processare solo le regioni visive più informative, ottenendo prestazioni pari o superiori all'elaborazione dell'immagine completa con maggiore efficienza.
Il paper propone un nuovo framework di super-risoluzione zero-shot per la risonanza magnetica (MRI) basato su una rappresentazione esplicita di Gaussiane fisicamente motivate e un rendering volumetrico, che bilancia l'efficienza computazionale e la qualità ricostruttiva senza richiedere dati di addestramento accoppiati.
Il paper presenta QDR, un framework di distillazione senza decoder che risolve le sfide dell'addestramento consapevole alla quantizzazione per il ripristino delle immagini, permettendo a modelli Int8 di raggiungere prestazioni vicine a quelle FP32 e un'elevata velocità di inferenza su dispositivi edge.
Questo lavoro presenta un framework interpretabile basato su modelli visione-linguaggio per la generazione e valutazione di dati sintetici nel telerilevamento, introducendo il dataset ARAS400k che dimostra come l'addestramento su dati reali aumentati con dati sintetici superi le prestazioni dei modelli basati solo su dati reali per segmentazione semantica e descrizione di immagini.
Il paper presenta X-GS, un framework open ed estensibile che unifica le tecniche di 3D Gaussian Splatting con modelli multimodali downstream, permettendo la creazione in tempo reale di mappe 3D semantiche da flussi video non calibrati per abilitare compiti avanzati come il rilevamento di oggetti e la generazione di didascalie.
Il paper presenta OTPL-VIO, un sistema di odometria visivo-inerziale stereo robusto che combina descrittori profondi senza addestramento per le linee con un'associazione basata sul trasporto ottimo e un pesamento adattivo dell'incertezza, migliorando significativamente accuratezza e stabilità in scenari a bassa texture e con variazioni di illuminazione.
Il paper presenta KV-Lock, un metodo senza addestramento per i modelli di diffusione video basati su DiT che migliora la qualità del primo piano mantenendo la coerenza dello sfondo, regolando dinamicamente il blocco delle chiavi-valori e la scala della guida condizionale in base al rischio di allucinazione.
Il paper presenta DiffWind, un framework differenziabile basato sulla fisica che unisce ricostruzione video e simulazione per modellare con alta precisione le dinamiche di oggetti mossi dal vento, integrando metodi come MPM e LBM e introducendo il nuovo dataset WD-Objects.
Il paper presenta VarSplat, un sistema SLAM RGB-D basato su 3D Gaussian Splatting che migliora la robustezza nella localizzazione e mappatura apprendendo esplicitamente la varianza di incertezza per ogni gaussiana per guidare l'ottimizzazione verso regioni più affidabili.
Il paper presenta FootMR, un metodo di raffinamento della motion capture dei piedi che, sfruttando dati di motion capture su larga scala e un dataset di valutazione chiamato MOOF, supera le limitazioni delle tecniche attuali migliorando significativamente la precisione della ricostruzione 3D dei movimenti dei piedi in video monoculare.
Il paper presenta AutoViVQA, un dataset su larga scala per il Visual Question Answering in vietnamita costruito automaticamente, e ne esamina l'efficacia utilizzando architetture basate su transformer e confrontando diverse metriche di valutazione automatica in contesti multilingue.
Il paper presenta DRIFT, un modello basato su Transformer che utilizza un'architettura a doppio percorso per fondere efficacemente informazioni locali e globali dai punti cloud 4D dei radar, ottenendo prestazioni superiori nella rilevazione di oggetti e nella stima della strada libera rispetto ai metodi esistenti.