6966 articoli
Questo studio dimostra che, sebbene CLIP appaia comportarsi come un modello "bag-of-words" nell'allineamento cross-modale, le informazioni sulle relazioni attributo-oggetto sono già presenti nelle sue rappresentazioni unimodali e possono essere recuperate efficacemente tramite una semplice trasformazione lineare, migliorando così le prestazioni senza necessità di un addestramento costoso.
Il paper introduce WorldSense, il primo benchmark omni-modale che valuta la comprensione video integrata di audio, visivi e testo attraverso 1.662 video sincronizzati e 3.172 domande, rivelando le attuali limitazioni dei modelli nello scenario reale.
Questo lavoro dimostra che meno dell'1% dei parametri dei modelli di diffusione, localizzati esclusivamente nei livelli di attenzione, è responsabile della generazione del testo nelle immagini, permettendo di migliorare l'efficienza, l'editing e la sicurezza del contenuto testuale attraverso tecniche mirate come il fine-tuning LoRA su questi specifici strati.
Il paper propone un framework di adattamento robusto per i Modelli Multimodali di grandi dimensioni che migliora l'accuratezza e la generalizzazione nel rilevamento dei meme offensivi, superando le prestazioni dei sistemi supervisionati tradizionali e offrendo maggiore interpretabilità.
Il paper presenta "Jumbo", un nuovo token globale ad alta capacità che, integrato in architetture Vision Transformer (ViT) standard, ne migliora significativamente accuratezza ed efficienza mantenendo la compatibilità con metodi di pre-addestramento e adattabilità a diversi compiti, superando i compromessi tipici tra velocità e precisione.
Il paper presenta MemeXplain, un nuovo dataset spiegabile per la rilevazione di meme propagandistici e d'odio, e propone un approccio di ottimizzazione multi-stadio che, utilizzando modelli visione-linguaggio, supera lo stato dell'arte migliorando sia la classificazione che la generazione di spiegazioni.
Il paper presenta OpenFly, una piattaforma completa che include un motore di rendering avanzato, un toolchain automatizzato e un vasto dataset per la navigazione visione-linguaggio aerea, insieme a un agente specializzato che supera le sfide della navigazione outdoor in ambienti aerei.
Il paper presenta LLaVE, un nuovo framework di modelli di embedding multimodali che utilizza un apprendimento contrastivo ponderato per la difficoltà per superare i limiti delle perdite standard, ottenendo prestazioni all'avanguardia su 36 dataset e dimostrando una forte capacità di generalizzazione zero-shot.
Il paper presenta Vision-R1, un modello MLLM che potenzia le capacità di ragionamento multimodale attraverso un'inizializzazione "cold-start" su un dataset di ragionamento a catena di pensiero generato automaticamente e un addestramento RL con una strategia di soppressione progressiva del pensiero, ottenendo prestazioni paragonabili a OpenAI O1 su benchmark matematici.
Il paper presenta SemHiTok, un tokenizzatore di immagini unificato basato su un codice gerarchico guidato semanticamente che risolve il compromesso tra comprensione e generazione multimodale, ottenendo prestazioni superiori in entrambi i compiti.
Il paper presenta eMIGM, un modello unificato che combina generazione di immagini mascherata e diffusione mascherata per ottenere prestazioni all'avanguardia nella generazione di immagini su ImageNet con una maggiore efficienza computazionale rispetto agli approcci esistenti.
Il paper introduce SPEED, un metodo efficiente per l'eliminazione scalabile e precisa di concetti dai modelli di diffusione testo-immagine che, modificando direttamente i parametri del modello all'interno di uno spazio nullo e utilizzando strategie di filtraggio e vincoli invarianti, garantisce la preservazione della qualità dei concetti non target permettendo di rimuovere fino a 100 concetti in soli 5 secondi.
Questo lavoro presenta un nuovo framework di valutazione multi-obiettivo, disponibile pubblicamente e applicabile in modo agnostico al modello, che facilita l'analisi sistematica dei compromessi tra utilità e equità nei sistemi di Machine Learning, con una specifica validazione empirica nel dominio dell'imaging medico.
Il paper presenta un modello di diffusione video consapevole dell'obiettivo che genera video da un'immagine di input, permettendo a un attore di interagire con un oggetto specifico definito da una maschera di segmentazione e descritto tramite un prompt testuale, migliorando così la pianificazione delle interazioni umano-oggetto e abilitando applicazioni come la sintesi di movimenti 3D e la creazione di contenuti video a lungo termine.
Il paper propone AdaRank, un nuovo framework di fusione di modelli che migliora l'efficienza e le prestazioni nel multi-task learning selezionando adattivamente le direzioni singolari più utili e rimuovendo dinamicamente quelle interferenti tramite minimizzazione dell'entropia, ottenendo risultati all'avanguardia con un divario prestazionale quasi nullo rispetto ai modelli fine-tuned.
Questo lavoro introduce i "concetti analitici" come ponte tra la conoscenza semantica dei modelli linguistici multimodali e il mondo fisico, permettendo ai robot di manipolare oggetti articolati in modo generalizzato e accurato grazie a rappresentazioni informate dalla fisica.
Il paper presenta OSDM-MReg, un nuovo framework per la registrazione di immagini multisensoriali che utilizza un modello di diffusione condizionale a un solo passo per tradurre le immagini in un dominio unificato e una rete di registrazione multiscale per migliorare precisione e robustezza.
Questo articolo presenta VR-FuseNet, un modello ibrido di deep learning che fonde i dati eterogenei di cinque dataset pubblici e integra tecniche di intelligenza artificiale spiegabile per migliorare l'accuratezza e l'interpretabilità clinica nella classificazione della retinopatia diabetica.
Questo articolo sostiene che i modelli di visione artificiale per l'ecologia e la biologia debbano essere valutati tramite metriche specifiche dell'applicazione che riflettano l'impatto sulle analisi finali, anziché basarsi esclusivamente sulle tradizionali metriche di apprendimento automatico, come dimostrato da casi studio su stime di abbondanza di scimpanzé e direzione dello sguardo di piccioni.
Questo lavoro propone un metodo basato sull'Intelligenza Artificiale Spiegabile per attribuire in modo efficiente e accurato le distanze di Wasserstein a specifici componenti dei dati, come sottogruppi o caratteristiche, facilitando così l'analisi degli spostamenti dei dataset e dei fenomeni di trasporto.