8419 artigos
O artigo apresenta o CMT (Consistency Mid-Training), uma nova etapa intermediária de treinamento que estabiliza e acelera o aprendizado de modelos de mapa de fluxo, como Consistency Models e Mean Flow, alcançando resultados de estado da arte com até 98% menos dados e tempo de GPU em comparação com métodos anteriores.
O artigo apresenta o AlignTok, uma estratégia de três etapas que alinha codificadores visuais pré-treinados a tokenizadores para modelos de difusão, aproveitando sua rica estrutura semântica para acelerar a convergência e melhorar a qualidade da geração de imagens em comparação com os métodos tradicionais.
O artigo apresenta o SAGE, um pipeline de treinamento unificado que aprimora o Reconhecimento Visual de Locais ao integrar um módulo de sondagem suave para agregação de características locais e uma exploração adaptativa de grafos geo-visuais para mineração de amostras difíceis, alcançando desempenho state-of-the-art em oito benchmarks.
O artigo apresenta o Flower, um solver inovador para problemas inversos lineares que utiliza um modelo de fluxo pré-treinado em um processo iterativo de três etapas para gerar reconstruções consistentes com as medições, unificando perspectivas teóricas de amostragem bayesiana e alcançando resultados state-of-the-art com hiperparâmetros universais.
O artigo apresenta o VIRTUE, um novo modelo de incorporação universal texto-imagem que integra interações visuais (como pontos e máscaras) para melhorar a precisão na localização de regiões de interesse e o aprendizado de informações em nível de entidade, alcançando desempenho superior em benchmarks universais e em uma nova tarefa de recuperação de legendas baseada em segmentação.
O artigo apresenta o RewardMap, um framework de aprendizado por reforço em múltiplos estágios que supera o desafio de recompensas esparsas no raciocínio visual detalhado de modelos de linguagem multimodal, utilizando o conjunto de dados ReasonMap-Plus e um design de recompensa sensível à dificuldade para alcançar melhorias consistentes em tarefas de raciocínio espacial e visual.
O artigo apresenta o OBS-Diff, um novo framework de poda one-shot e sem treinamento que adapta o algoritmo Optimal Brain Surgeon aos modelos de difusão, utilizando uma construção Hessiana sensível aos timesteps e uma estratégia de poda em grupo para alcançar compressão precisa e aceleração de inferência com mínima degradação na qualidade visual.
O artigo apresenta o EDJE, um codificador conjunto discriminativo e eficiente que supera os gargalos computacionais dos modelos existentes para reclassificação em escala de visão e linguagem, pré-calculando e comprimindo tokens visuais para permitir inferência de alto rendimento com armazenamento reduzido, mantendo ao mesmo tempo o desempenho de recuperação em benchmarks como Flickr e COCO.
O artigo apresenta o LinVideo, uma framework de pós-treinamento livre de dados que substitui seletivamente módulos de atenção quadrática por atenção linear em modelos de difusão de vídeo, utilizando correspondência de distribuição para alcançar acelerações de 1,25 a 2,00 vezes (e até 15,92 vezes em modelos destilados) sem comprometer a qualidade de geração.
Este artigo apresenta o Modelo Específico de Estado (SSM), um novo quadro unificado que melhora a detecção e antecipação de ações em vídeos não editados ao comprimir redundâncias, modelar dinâmicas de ação complexas e integrar interações cruzadas temporais para capturar a intenção do agente, alcançando desempenho superior em múltiplos conjuntos de dados de referência.
Este artigo apresenta o NEO, uma nova família de Modelos Visuais-Linguísticos (VLMs) nativos construída a partir de princípios fundamentais para superar as limitações dos modelos modulares, alinhando representações de pixels e palavras em um espaço semântico compartilhado e oferecendo uma arquitetura monolítica eficiente e acessível para pesquisa escalável.
Este artigo investiga o impacto da complexidade dos prompts na qualidade, diversidade e consistência de dados sintéticos gerados por modelos de texto-para-imagem, demonstrando que, embora prompts mais complexos reduzam a divergência da distribuição real, eles diminuem a diversidade e a consistência, sendo que a expansão de prompts via modelos de linguagem pré-treinados se destaca como a intervenção mais eficaz para superar até mesmo os dados reais em diversidade e estética.
O artigo apresenta o MergeMix, um paradigma unificado de aumento de dados baseado em fusão de tokens que combina as vantagens do ajuste fino supervisionado e do aprendizado por reforço para melhorar a eficiência, estabilidade e generalização do alinhamento em modelos de linguagem multimodal.
O artigo apresenta o SYNAPSE-Net, uma estrutura unificada e adaptativa baseada em codificadores convolucionais multi-stream e fusão por atenção cruzada, que demonstra robustez e alta precisão na segmentação automática de lesões cerebrais heterogêneas em ressonância magnética multimodal, validada em três conjuntos de dados públicos de desafios internacionais.
O artigo apresenta o BEAT, um novo framework que injeta backdoors visuais em agentes corporificados baseados em Modelos Visuais-Linguísticos (VLMs) utilizando objetos do ambiente como gatilhos, empregando uma técnica inovadora de Aprendizado de Gatilho Contrastivo (CTL) para garantir ativações precisas e generalizáveis sem comprometer o desempenho em tarefas benignas.
Este artigo apresenta uma rede neural 3D-CNN leve e eficiente para reconhecimento de ações humanas baseada em dados de visão baseada em eventos, que oferece privacidade inerente e alcança alta precisão (94,17%) ao superar arquiteturas convencionais em dispositivos de borda.
Este artigo propõe o *Rank-enhancing Token Fuser*, um framework de fusão multimodal baseado em rank efetivo que mitiga simultaneamente o colapso de características e de modalidades, resultando no sistema R3D que supera o estado da arte em antecipação de ações humanas ao integrar dados de profundidade e RGB.
O StreamDiffusionV2 é um pipeline de geração de vídeo ao vivo sem necessidade de treinamento que utiliza agendamento inteligente, cache KV guiado e orquestração escalável para superar os desafios de consistência temporal e latência, permitindo a execução eficiente de modelos de difusão em tempo real em ambientes multi-GPU heterogêneos.
O PRISM é um framework de destilação de dados que supera os métodos existentes ao desacoplar os objetivos de treinamento e supervisioná-los com modelos professores de arquiteturas diversas, resultando em dados sintéticos com maior diversidade intraclasse e melhor generalização.
O MoDES é um framework sem treinamento que acelera a inferência de modelos multimodais de linguagem grande baseados em Mixture-of-Experts (MoE) ao introduzir um mecanismo de gate globalmente modulado e um método de limiarização de dupla modalidade para ignorar dinamicamente especialistas redundantes, resultando em ganhos significativos de velocidade e precisão sem degradação de desempenho.