6607 articoli
Il paper presenta XPoint, un'architettura auto-supervisionata basata su spazi di stato visivi e modulare che supera le limitazioni dei metodi attuali nell'allineamento di immagini multispettrali, ottenendo prestazioni superiori su diverse combinazioni di modalità grazie all'uso di un encoder VMamba e a testine di decodifica specializzate.
Il paper presenta EchoMimicV2, un metodo innovativo per l'animazione umana a mezzo busto che, attraverso una strategia di armonizzazione audio-pose dinamica e l'uso di dati headshot durante l'addestramento, elimina le condizioni ridondanti per ottenere risultati espressivi e di alta qualità senza richiedere input aggiuntivi durante l'inferenza.
Il paper introduce MFP3D, un nuovo framework che stima con precisione le porzioni di cibo a partire da una singola immagine monoculare generando una nuvola di punti 3D e combinando le caratteristiche spaziali e cromatiche per superare i limiti dei metodi esistenti.
Il paper introduce il nuovo paradigma "Grounding-IQA" per l'assessamento della qualità delle immagini, che integra modelli linguistici multimodali con compiti di grounding per abilitare valutazioni più dettagliate e localizzate, supportato dal dataset GIQA-160K e dal benchmark GIQA-Bench.
Il paper presenta DAWN-FM, un metodo di Flow Matching che integra embedding di dati e rumore per risolvere problemi inversi mal posti in modo robusto, permettendo anche la quantificazione dell'incertezza attraverso la generazione di molteplici esiti plausibili.
Il paper propone FiLo++, un metodo per il rilevamento di anomalie in scenari zero-shot e few-shot che combina descrizioni testuali granulari fuse generate da LLM con una localizzazione deformabile basata su Grounding DINO per superare i limiti delle descrizioni generiche e delle corrispondenze a patch rigide.
Questo articolo dimostra che l'utilizzo di funzioni di attivazione basate su basi ortonormali (polinomiali, trigonometriche e tropicali), combinate con un'inizializzazione che preserva la varianza, permette di addestrare con successo modelli profondi come GPT-2 e ConvNeXt risolvendo i problemi di esplosione e svanimento dei gradienti, offrendo al contempo nuove prospettive sull'interpretazione strutturale delle reti neurali e facilitando il fine-tuning tramite approssimazione di attivazioni classiche.
Questo studio dimostra che l'inferenza generativa profonda applicata alle mappe di perfusione derivate dalla TC angiografica (CTA) permette di localizzare i substrati neurali dei deficit clinici nell'ictus ischemico acuto senza conoscere la lesione stessa, offrendo un potente strumento per la caratterizzazione funzionale precoce della malattia.
Questo studio dimostra che, sebbene CLIP appaia comportarsi come un modello "bag-of-words" nell'allineamento cross-modale, le informazioni sulle relazioni attributo-oggetto sono già presenti nelle sue rappresentazioni unimodali e possono essere recuperate efficacemente tramite una semplice trasformazione lineare, migliorando così le prestazioni senza necessità di un addestramento costoso.
Il paper introduce WorldSense, il primo benchmark omni-modale che valuta la comprensione video integrata di audio, visivi e testo attraverso 1.662 video sincronizzati e 3.172 domande, rivelando le attuali limitazioni dei modelli nello scenario reale.
Questo lavoro dimostra che meno dell'1% dei parametri dei modelli di diffusione, localizzati esclusivamente nei livelli di attenzione, è responsabile della generazione del testo nelle immagini, permettendo di migliorare l'efficienza, l'editing e la sicurezza del contenuto testuale attraverso tecniche mirate come il fine-tuning LoRA su questi specifici strati.
Il paper propone un framework di adattamento robusto per i Modelli Multimodali di grandi dimensioni che migliora l'accuratezza e la generalizzazione nel rilevamento dei meme offensivi, superando le prestazioni dei sistemi supervisionati tradizionali e offrendo maggiore interpretabilità.
Il paper presenta "Jumbo", un nuovo token globale ad alta capacità che, integrato in architetture Vision Transformer (ViT) standard, ne migliora significativamente accuratezza ed efficienza mantenendo la compatibilità con metodi di pre-addestramento e adattabilità a diversi compiti, superando i compromessi tipici tra velocità e precisione.
Il paper presenta MemeXplain, un nuovo dataset spiegabile per la rilevazione di meme propagandistici e d'odio, e propone un approccio di ottimizzazione multi-stadio che, utilizzando modelli visione-linguaggio, supera lo stato dell'arte migliorando sia la classificazione che la generazione di spiegazioni.
Il paper presenta OpenFly, una piattaforma completa che include un motore di rendering avanzato, un toolchain automatizzato e un vasto dataset per la navigazione visione-linguaggio aerea, insieme a un agente specializzato che supera le sfide della navigazione outdoor in ambienti aerei.
Il paper presenta LLaVE, un nuovo framework di modelli di embedding multimodali che utilizza un apprendimento contrastivo ponderato per la difficoltà per superare i limiti delle perdite standard, ottenendo prestazioni all'avanguardia su 36 dataset e dimostrando una forte capacità di generalizzazione zero-shot.
Il paper presenta Vision-R1, un modello MLLM che potenzia le capacità di ragionamento multimodale attraverso un'inizializzazione "cold-start" su un dataset di ragionamento a catena di pensiero generato automaticamente e un addestramento RL con una strategia di soppressione progressiva del pensiero, ottenendo prestazioni paragonabili a OpenAI O1 su benchmark matematici.
Il paper presenta SemHiTok, un tokenizzatore di immagini unificato basato su un codice gerarchico guidato semanticamente che risolve il compromesso tra comprensione e generazione multimodale, ottenendo prestazioni superiori in entrambi i compiti.
Il paper presenta eMIGM, un modello unificato che combina generazione di immagini mascherata e diffusione mascherata per ottenere prestazioni all'avanguardia nella generazione di immagini su ImageNet con una maggiore efficienza computazionale rispetto agli approcci esistenti.
Il paper introduce SPEED, un metodo efficiente per l'eliminazione scalabile e precisa di concetti dai modelli di diffusione testo-immagine che, modificando direttamente i parametri del modello all'interno di uno spazio nullo e utilizzando strategie di filtraggio e vincoli invarianti, garantisce la preservazione della qualità dei concetti non target permettendo di rimuovere fino a 100 concetti in soli 5 secondi.