2781 artigos
O artigo apresenta o LAP, um modelo inovador que utiliza a expressividade da linguagem para superar a ambiguidade visual no planejamento de procedimentos em vídeos instrucionais, alcançando desempenho superior ao estado da arte em múltiplos benchmarks ao empregar um modelo de linguagem visual para gerar representações textuais distintas que alimentam um modelo de difusão para prever sequências de ações.
O artigo apresenta o LogoDiffuser, um método sem treinamento que utiliza o mecanismo de atenção de transformadores difusores multimodais para gerar e estilizar logotipos multilíngues com alta fidelidade estrutural, inserindo os caracteres como imagens em vez de prompts textuais.
O artigo apresenta o PanoAffordanceNet, um novo framework e conjunto de dados (360-AGD) que estabelecem a tarefa de "Grounding de Apropriação Holística" em ambientes internos de 360°, superando desafios como distorções geométricas e dispersão semântica para permitir uma percepção global em agentes corporificados.
O artigo "Ego" propõe um método eficiente de personalização para modelos de linguagem visual que, ao extrair tokens visuais representativos de conceitos específicos por meio dos mecanismos de atenção internos, permite que o modelo reconheça e descreva esses conceitos em novas imagens sem a necessidade de treinamento adicional ou pipelines complexos.
Este artigo demonstra que a simples remoção de gatilhos conhecidos é insuficiente para neutralizar backdoors, pois existem "gatilhos alternativos" distintos que ativam a mesma vulnerabilidade, motivando assim defesas que visem diretamente as direções do backdoor no espaço de representações em vez de apenas os gatilhos no espaço de entrada.
Este artigo demonstra que conceitos ausentes, cuja falta ativa neurônios, são comuns em redes neurais e frequentemente ignorados pelos métodos padrão de IA explicável, propondo extensões simples para técnicas de atribuição e visualização de recursos a fim de revelar e explorar essas "ausências codificadas" para melhorar a interpretabilidade e a mitigação de viés.
Este artigo propõe o DCPGN, um método inovador de adaptação no momento do teste que utiliza crescimento de protótipos multi-rótulo e consistência de dupla pista (visual e textual) para superar o desafio de antecipar ações entre as perspectivas egocêntrica e exocêntrica sem depender de dados de treinamento no alvo.
Este artigo apresenta a nova tarefa de aprendizado áudio-visual de alta granularidade denominada RA-SSU, acompanhada dos conjuntos de dados f-Music e f-Lifescene e do modelo SSUFormer, que alcança desempenho superior na segmentação e descrição textual de fontes sonoras em nível de quadro.
O artigo apresenta o ConfCtrl, um framework de interpolação de vídeo que utiliza um mecanismo de interpolação consciente da confiança e correções residuais aprendidas para permitir que modelos de difusão gerem novas visões geometricamente consistentes e visualmente plausíveis a partir de apenas duas imagens, mesmo sob grandes mudanças de perspectiva.
O artigo apresenta o BrainSTR, um framework de aprendizado contrastivo espaciotemporal que melhora a modelagem interpretável de redes cerebrais dinâmicas para diagnóstico neuropsiquiátrico, identificando fases críticas e sub-redes relevantes através de uma partição de fase adaptativa e aprendizado supervisionado contrastivo.
O artigo apresenta o VLM-Loc, um framework que utiliza modelos de visão e linguagem para aprimorar a localização em mapas de nuvem de pontos a partir de descrições textuais, combinando representações estruturadas como imagens de visão aérea e grafos de cena com um mecanismo de atribuição de nós, e introduz o benchmark CityLoc para avaliação sistemática.
Este trabalho apresenta o MA-EgoQA, um novo benchmark e definição de problema para avaliar a compreensão de múltiplos vídeos egocêntricos de agentes corporificados, introduzindo também o modelo EgoMAS como baseline para lidar com a coordenação e memória compartilhada entre agentes.
O artigo apresenta o CycleULM, um quadro de aprendizado profundo unificado e sem rótulos que supera as limitações de dados e simulação na microscopia de localização por ultrassom, melhorando significativamente a resolução, a precisão de localização de microbolhas e a velocidade de processamento para viabilizar aplicações clínicas em tempo real.
O artigo apresenta o MissBench, um novo benchmark e framework para análise afetiva multimodal que padroniza protocolos de dados faltantes desbalanceados e introduz métricas diagnósticas para avaliar a equidade e o desequilíbrio de otimização entre modalidades em cenários do mundo real.
O artigo apresenta o InternVL-U, um modelo unificado multimodal leve de 4 bilhões de parâmetros que democratiza capacidades de compreensão, raciocínio, geração e edição, superando modelos maiores como o BAGEL (14B) em tarefas de geração e edição graças a uma arquitetura modular e um pipeline de dados focado em raciocínio.
O artigo apresenta o DISPLAY, um framework inovador para geração de vídeos de interação humano-objeto que utiliza coordenadas esparsas de pulsos e caixas delimitadoras de objetos para garantir controle intuitivo e consistência física, aprimorado por mecanismos de atenção focados no objeto e uma estratégia de treinamento auxiliar multi-tarefa.
O artigo apresenta o CourtSI, o primeiro grande conjunto de dados e benchmark para avaliar a inteligência espacial de modelos de linguagem e visão em cenários esportivos, demonstrando que o ajuste fino com esses dados supera significativamente as lacunas de desempenho atuais e melhora a capacidade de raciocínio espacial e geração de comentários em esportes de rede.
O artigo apresenta o WikiCLIP, um framework contrastivo eficiente que supera métodos generativos em reconhecimento visual de entidades de domínio aberto ao utilizar embeddings de modelos de linguagem com um adaptador guiado por visão e um mecanismo de síntese de negativos difíceis, alcançando ganhos significativos de desempenho e reduzindo a latência de inferência em até 100 vezes.
Este artigo demonstra que a otimização direta da distância de Chamfer em formas 3D falha estruturalmente devido a um colapso de gradientes local, e propõe que a introdução de acoplamento não local, como deformação de base compartilhada ou um prior MPM diferenciável, é necessária para suprimir esse colapso e melhorar significativamente os resultados.
Este artigo propõe um método de recuperação de movimento baseado em ângulos articulares que transforma características locais em pseudo-imagens e utiliza interação tardia token-patch para superar as limitações de métodos globais, alcançando resultados superiores e maior interpretabilidade nas tarefas de recuperação texto-movimento.