LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training
O artigo apresenta o LAION-BVD, um enorme conjunto de dados aberto que compreende 80 milhões de vídeos (10 milhões de horas) com legendas geradas sinteticamente, o qual possibilita o pré-treinamento multimodal de estado da arte em tarefas de vídeo, áudio e imagem-texto.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Na era moderna da inteligência artificial, os computadores estão aprendendo a ver e ouvir o mundo não sendo ensinados por regras, mas absorvendo vastas quantidades de exemplos. Durante anos, pesquisadores construíram bibliotecas massivas de imagens pareadas com descrições de texto, ensinando as máquinas a entender que uma foto de um cachorro frequentemente vem acompanhada da palavra "cachorro". Esse processo, conhecido como aprendizado multimodal, permite que os computadores conectem o que veem com o que leem, formando a base para sistemas que podem descrever imagens, responder perguntas sobre elas ou até mesmo gerar novas imagens a partir de texto. No entanto, embora essas bibliotecas de imagens estáticas tenham crescido para incluir bilhões de entradas, as coleções equivalentes para imagens em movimento e som permaneceram surpreendentemente pequenas. Vídeos são muito mais complexos do que fotos estáticas; eles contêm movimento, mudanças de cena e, frequentemente, uma trilha sonora que conta uma história junto com o visual. O desafio tem sido que reunir dados de vídeo suficientes para treinar esses sistemas poderosos é incrivelmente difícil, pois os vídeos estão frequentemente trancados atrás das paredes de plataformas comerciais e exigem um poder computacional imenso para serem processados.
Uma equipe de pesquisadores rompeu agora essa barreira ao lançar um conjunto de dados de escala sem precedentes chamado LAION-BVD. Esta coleção representa um salto gigantesco à frente na ciência aberta, oferecendo uma biblioteca de 10 milhões de horas de vídeo. Para colocar isso em perspectiva, se alguém fosse assistir a cada hora deste conteúdo sem parar, levaria mais de mil anos para terminar. O conjunto de dados foi construído primeiro reunindo 1,3 bilhão de links para vídeos da web pública, especificamente de plataformas importantes como YouTube, Vimeo e Dailymotion. Dessa lista enorme, os pesquisadores baixaram com sucesso 80 milhões de vídeos distintos. Eles então usaram ferramentas automatizadas para retalhar esses vídeos longos em clipes mais curtos e significativos baseados em mudanças de cena, garantindo que cada segmento capturasse um momento coerente em vez de uma bagunça confusa de tomadas não relacionadas.
A verdadeira inovação deste trabalho reside em como os pesquisadores ensinaram o computador a entender esses clipes. Como nenhum humano poderia possivelmente assistir a 10 milhões de horas de vídeo e escrever uma descrição para cada segundo, a equipe usou inteligência artificial para gerar os rótulos de texto automaticamente. Eles treinaram modelos especializados para assistir aos clipes de vídeo e escrever legendas sintéticas curtas descrevendo a ação, enquanto modelos separados ouviam as trilhas de áudio para descrever os sons, desde música até fala e ruído ambiente. Eles também extraíram quadros individuais dos vídeos para criar uma coleção massiva de 300 milhões de imagens, cada uma com sua própria descrição. Esse processo criou um conjunto de dados rico e multicamadas onde o computador pode aprender a ligar vídeo a texto, áudio a texto e até mesmo imagem única a texto, tudo a partir da mesma fonte de material.
Quando os pesquisadores testaram esses novos dados treinando modelos de computador com eles, os resultados foram impressionantes. Os modelos aprenderam a entender vídeo e áudio tão bem quanto, e em alguns casos melhor do que, modelos treinados em conjuntos de dados existentes e menores. O desempenho melhorou consistentemente à medida que os pesquisadores alimentavam os modelos com mais dados e usavam arquiteturas de computador maiores, sugerindo que esta biblioteca massiva é um recurso de alta qualidade para ensinar máquinas. Os modelos treinados em vídeo tornaram-se melhores em reconhecer ações humanas, como identificar alguém jogando basquete ou realizando uma dança específica, e tornaram-se mais habilidosos em encontrar o vídeo correto ao receber uma descrição de texto. Da mesma forma, os modelos treinados em áudio mostraram uma forte capacidade de combinar palavras faladas ou descrições escritas com os sons corretos, fosse o canto de um pássaro ou o motor de um carro dando partida.
Talvez de forma surpreendente, as imagens extraídas desses vídeos também se provaram uma nova e poderosa fonte de aprendizado. Embora os modelos treinados nessas imagens derivadas de vídeo não fossem os absolutamente melhores em identificar objetos específicos de uma forma rígida e de livro didático, eles se destacaram em uma tarefa diferente: encontrar a imagem certa para uma determinada descrição. Isso sugere que o mundo visual capturado em vídeos oferece um tipo diferente de variedade do que as imagens padrão da web, proporcionando uma perspectiva única que ajuda os computadores a entender o mundo de forma mais ampla. Os pesquisadores descobriram que as legendas geradas pelo seu sistema automatizado eram precisas o suficiente para serem úteis, com a grande maioria descrevendo corretamente o conteúdo dos clipes.
Este trabalho faz mais do que apenas fornecer um novo conjunto de dados; ele demonstra que o gargalo para o treinamento de IA avançada de vídeo e áudio não é mais a falta de dados disponíveis, mas sim o esforço de engenharia necessário para processá-los. Ao mostrar que uma coleção massiva e abertamente disponível de vídeos da web pode ser curada com sucesso e usada para treinar modelos de última geração, os pesquisadores abriram as portas para uma nova geração de inteligência artificial. Eles provaram que, com as ferramentas certas, o vasto e caótico oceano de vídeo online pode ser transformado em um recurso estruturado e educativo, permitindo que as máquinas aprendam com todo o espectro da experiência humana conforme ela se move e soa, não apenas enquanto permanece estática.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.