6859 articoli
Questo lavoro propone un nuovo modello causale parziale latente per l'apprendimento multimodale che, superando i limiti dei DAG tradizionali, dimostra teoricamente e verifica sperimentalmente come l'apprendimento contrastivo multimodale (MMCL) e modelli pre-addestrati come CLIP possano generare rappresentazioni disaccoppiate robuste, migliorando l'apprendimento con pochi esempi e la generalizzazione di dominio.
Il documento presenta l'adattamento del framework ZACAF, integrato con tecniche di apprendimento per trasferimento e aumento dei dati, per migliorare la precisione e la generalizzabilità dell'analisi automatica della funzione cardiovascolare in zebrafish, inclusa la valutazione di mutanti nrap affetti da cardiomiopatia.
Il paper presenta FiLo, un nuovo metodo per il rilevamento di anomalie zero-shot che migliora le prestazioni combinando descrizioni testuali fine-grained generate da LLM e una localizzazione di alta qualità potenziata da Grounding DINO e interazione cross-modale multiscala, ottenendo risultati all'avanguardia sui dataset MVTec e VisA.
Questo lavoro propone il metodo USEFUL, che riduce il pregiudizio verso la semplicità modificando la distribuzione dei dati di addestramento tramite un campionamento mirato basato sull'output iniziale della rete, migliorando così la generalizzazione in-distribuzione e ottenendo prestazioni state-of-the-art su diversi dataset e architetture.
Il paper presenta OS-Det3D, un framework di formazione in due fasi che combina proposte di oggetti 3D agnostiche alla classe derivate da LiDAR con un modulo di selezione congiunta basato su caratteristiche visive BEV per migliorare la rilevazione di oggetti sconosciuti e noti nella guida autonoma.
Il paper presenta PO-GUISE+, un trasformatore video multi-task che migliora l'efficienza computazionale e l'accuratezza nel riconoscimento delle azioni distratte alla guida selezionando i token in base alla postura del conducente e agli oggetti interagenti, superando gli attuali metodi sullo stato dell'arte su diversi dataset e piattaforme embedded.
Il paper presenta MSSPlace, un metodo innovativo per il riconoscimento dei luoghi che integra dati visivi e testuali provenienti da sensori multipli (telecamere, LiDAR e segmentazione semantica) per generare descrittori unificati, ottenendo prestazioni superiori rispetto agli approcci a singola modalità su dataset reali.
Questo paper presenta un nuovo dataset pubblico composto da video e un'analisi tassonomica di 90 oggetti critici, progettato per migliorare i sistemi di riconoscimento visivo e supportare la navigazione delle persone con disabilità visive, evidenziando al contempo le lacune delle attuali soluzioni di computer vision.
Il paper propone un metodo a due fasi che costruisce un modello causale strutturale nello spazio latente di un VQ-VAE per generare counterfactuali di risonanza magnetica cerebrale 3D ad alta fedeltà, superando i limiti di diversità e qualità delle tecniche generative tradizionali.
Il paper propone il MV-Adapter, un modulo di attenzione adattiva ai canali che migliora le prestazioni della segmentazione di istanze sottomarine nell'architettura USIS-SAM mitigando gli effetti dell'attenuazione della luce, della distorsione cromatica e dei fondali complessi.
Il paper presenta XPoint, un'architettura auto-supervisionata basata su spazi di stato visivi e modulare che supera le limitazioni dei metodi attuali nell'allineamento di immagini multispettrali, ottenendo prestazioni superiori su diverse combinazioni di modalità grazie all'uso di un encoder VMamba e a testine di decodifica specializzate.
Il paper presenta EchoMimicV2, un metodo innovativo per l'animazione umana a mezzo busto che, attraverso una strategia di armonizzazione audio-pose dinamica e l'uso di dati headshot durante l'addestramento, elimina le condizioni ridondanti per ottenere risultati espressivi e di alta qualità senza richiedere input aggiuntivi durante l'inferenza.
Il paper introduce MFP3D, un nuovo framework che stima con precisione le porzioni di cibo a partire da una singola immagine monoculare generando una nuvola di punti 3D e combinando le caratteristiche spaziali e cromatiche per superare i limiti dei metodi esistenti.
Il paper introduce il nuovo paradigma "Grounding-IQA" per l'assessamento della qualità delle immagini, che integra modelli linguistici multimodali con compiti di grounding per abilitare valutazioni più dettagliate e localizzate, supportato dal dataset GIQA-160K e dal benchmark GIQA-Bench.
Il paper presenta DAWN-FM, un metodo di Flow Matching che integra embedding di dati e rumore per risolvere problemi inversi mal posti in modo robusto, permettendo anche la quantificazione dell'incertezza attraverso la generazione di molteplici esiti plausibili.
Il paper propone FiLo++, un metodo per il rilevamento di anomalie in scenari zero-shot e few-shot che combina descrizioni testuali granulari fuse generate da LLM con una localizzazione deformabile basata su Grounding DINO per superare i limiti delle descrizioni generiche e delle corrispondenze a patch rigide.
Questo articolo dimostra che l'utilizzo di funzioni di attivazione basate su basi ortonormali (polinomiali, trigonometriche e tropicali), combinate con un'inizializzazione che preserva la varianza, permette di addestrare con successo modelli profondi come GPT-2 e ConvNeXt risolvendo i problemi di esplosione e svanimento dei gradienti, offrendo al contempo nuove prospettive sull'interpretazione strutturale delle reti neurali e facilitando il fine-tuning tramite approssimazione di attivazioni classiche.
Questo studio dimostra che l'inferenza generativa profonda applicata alle mappe di perfusione derivate dalla TC angiografica (CTA) permette di localizzare i substrati neurali dei deficit clinici nell'ictus ischemico acuto senza conoscere la lesione stessa, offrendo un potente strumento per la caratterizzazione funzionale precoce della malattia.
Questo studio dimostra che, sebbene CLIP appaia comportarsi come un modello "bag-of-words" nell'allineamento cross-modale, le informazioni sulle relazioni attributo-oggetto sono già presenti nelle sue rappresentazioni unimodali e possono essere recuperate efficacemente tramite una semplice trasformazione lineare, migliorando così le prestazioni senza necessità di un addestramento costoso.
Il paper introduce WorldSense, il primo benchmark omni-modale che valuta la comprensione video integrata di audio, visivi e testo attraverso 1.662 video sincronizzati e 3.172 domande, rivelando le attuali limitazioni dei modelli nello scenario reale.