7585 artigos
Este artigo apresenta o LLaDA-MedV, o primeiro modelo de difusão de linguagem grande adaptado para a compreensão de imagens biomédicas, que supera os modelos autoregressivos existentes em tarefas de conversação visual e perguntas e respostas, estabelecendo novos patamares de desempenho e oferecendo insights sobre estratégias de treinamento e inferência.
O artigo apresenta o Lang2Lift, um sistema autônomo de empilhadeira guiado por linguagem natural que integra percepção visual baseada em modelos fundamentais e planejamento de movimento para realizar a identificação, estimativa de pose e manuseio autônomo de paletes em ambientes industriais externos não estruturados.
Este artigo propõe o Módulo de Densificação de Voxel (VDM), uma abordagem inovadora que expande espacialmente os voxels antes da serialização para mitigar a esparsidade e melhorar a detecção de objetos 3D em frameworks baseados em Transformers e Modelos de Espaço de Estado, alcançando resultados superiores em múltiplos benchmarks.
O artigo apresenta o V²Drop, um método inovador de eliminação dinâmica de tokens visuais baseado na variação que acelera significativamente a inferência de Grandes Modelos Visuais-Linguísticos mantendo alto desempenho em tarefas de imagem e vídeo.
O artigo apresenta o MedicalPatchNet, uma arquitetura de IA autoexplicável baseada em patches para classificação de radiografias de tórax que, mantendo desempenho comparável aos modelos de ponta, oferece localizações de patologias mais precisas e transparentes, eliminando a necessidade de técnicas de explicação pós-hoc e aumentando a confiança clínica.
O artigo apresenta o JanusVLN, um novo framework de navegação visão-linguagem que supera métodos anteriores ao empregar uma memória neural implícita dual para desacoplar e representar de forma compacta informações espaciais e semânticas, alcançando desempenho de ponta (SOTA) com maior eficiência computacional.
Este artigo propõe o conceito de "Grounding IDs" como identificadores latentes induzidos por pistas externas que, ao alinhar objetos com suas respectivas partições no espaço de embedding e reduzir a lacuna entre modalidades, explicam mecanicamente como estruturas visuais melhoram a ligação multimodal e reduzem alucinações em modelos de linguagem e visão grandes.
Este estudo demonstra que o uso da entropia semântica discreta para filtrar perguntas com alta inconsistência semântica melhora significativamente a precisão de modelos de linguagem visão-linguagem de caixa-preta na resposta a questões visuais em radiologia, oferecendo uma estratégia eficaz para detectar e reduzir alucinações em aplicações clínicas.
O artigo apresenta o ImpMIA, um ataque de inferência de associação que explora o viés implícito de redes neurais para identificar dados de treinamento sem a necessidade de modelos de referência ou suposições sobre o processo de treinamento, superando os métodos atuais em cenários onde apenas os pesos do modelo e um superset dos dados estão disponíveis.
O artigo apresenta o Uni-MMMU, um benchmark abrangente e multidisciplinar que avalia a sinergia bidirecional entre compreensão e geração visual em oito domínios de raciocínio, preenchendo a lacuna das avaliações atuais que tratam essas capacidades de forma isolada.
Este artigo propõe um método de IA explicativa baseado em legendas que integra modelos de visão computacional ao CLIP por meio de uma abordagem de cirurgia de rede para identificar conceitos dominantes, mitigando assim riscos de viés e melhorando a robustez dos modelos.
O artigo apresenta o Cosmos-Predict2.5 e o Cosmos-Transfer2.5, modelos de fundação de mundo aprimorados para IA física que unificam a geração de cenários a partir de texto, imagem e vídeo, oferecendo maior fidelidade e controle para simulação, geração de dados sintéticos e inteligência corporificada, com recursos de código aberto disponibilizados pela NVIDIA.
O artigo propõe o CoMa, um novo paradigma de pré-treinamento que desacopla a compressão de dados da aprendizagem por contraste, permitindo transformar modelos de linguagem multimodal (MLLMs) em modelos de incorporação competitivos e eficientes com poucos dados e alcançando resultados de última geração.
O artigo apresenta o QTSplus, um módulo leve de seleção de tokens visuais que, ao analisar dinamicamente a complexidade da consulta textual e preservar a ordem temporal, reduz drasticamente a latência e o custo computacional na compreensão de vídeos longos por modelos multimodais, mantendo ou até melhorando a precisão em tarefas de localização e ordenação.
O artigo apresenta o RobustGait, um framework abrangente que avalia a robustez de sistemas de reconhecimento de marcha baseados em aparência frente a diversas perturbações do mundo real, revelando a sensibilidade desses modelos a vieses na extração de silhuetas e propondo estratégias de treinamento para melhorar seu desempenho em cenários de implantação.
O artigo propõe o NINT, um método que acelera o treinamento de Representações Neurais Implícitas ao selecionar dinamicamente coordenadas com base no Kernel Tangente Neural, reduzindo o tempo de treinamento em quase metade enquanto mantém ou melhora a qualidade da representação.
O artigo apresenta o MIRA, um agente de raciocínio multimodal iterativo e leve que melhora significativamente a edição de imagens guiada por instruções complexas ao simular interações humano-modelo em múltiplos turnos, utilizando um ciclo de percepção, raciocínio e ação com feedback visual para alcançar resultados competitivos com sistemas proprietários.
Este artigo apresenta um quadro unificado para a navegação aérea visão-linguagem que permite a UAVs navegar em ambientes urbanos complexos baseando-se exclusivamente em instruções de linguagem natural e observações monoculares RGB, alcançando desempenho superior através de uma abordagem de previsão de próximo token que otimiza conjuntamente a percepção espacial, o raciocínio de trajetória e a previsão de ações.
Este artigo apresenta o KD-OCT, um novo framework de distilação de conhecimento que comprime um modelo ConvNeXtV2-Large pesado em um modelo EfficientNet-B2 leve, mantendo desempenho diagnóstico clínico de alta precisão para a classificação de OCT retiniano e permitindo a implantação em tempo real para triagem de degeneração macular relacionada à idade.
Este artigo apresenta o VULCA-Bench, um benchmark multicultural de arte e crítica que avalia a compreensão cultural de Modelos Visuais-Linguísticos através de um framework de cinco camadas, indo além da percepção visual superficial para abranger interpretações filosóficas e estéticas em oito tradições culturais.