Building a Multimodal Dataset of Academic Paper for Keyword Extraction

Resumo Técnico: Construção de um Conjunto de Dados Multimodal de Artigos Acadêmicos para Extração de Palavras-Chave

Definição do Problema
As tarefas atuais de extração de palavras-chave dependem predominantemente de dados textuais, frequentemente negligenciando detalhes visuais e características de áudio inerentes ao conteúdo acadêmico multimodal. Essa dependência leva a deficiências na riqueza de informações e ignora potenciais correlações entre modalidades, restringindo a capacidade de um modelo de aprender representações de dados precisas. Além disso, o campo de pesquisa sofre com a escassez de conjuntos de dados multimodais especificamente projetados para a extração de palavras-chave, o que dificulta o desenvolvimento e a validação de métodos de extração multimodal. Embora a informação acadêmica seja cada vez mais disseminada através de texto, imagens (slides) e áudio (palestras), os métodos existentes falham em aproveitar essas diversas fontes de maneira eficaz.

Metodologia
Para abordar essas lacunas, o estudo constrói um novo conjunto de dados multimodal e avalia o desempenho da extração de palavras-chave através de diferentes modalidades e estratégias de fusão.

• Construção do Conjunto de Dados: Os autores curaram um conjunto de dados de 1.000 amostras de artigos acadêmicos provenientes do VideoLectures.net e da SPIE Digital Library. Cada amostra inclui:

  • Texto do Artigo: Texto completo do artigo acadêmico.
  • Imagens de Slides: Slides de apresentação extraídos de vídeos de conferências.
  • Áudio: Gravações de fala dos palestrantes durante as apresentações.
  • Palavras-Chave: Palavras-chave fornecidas pelos autores servindo como o padrão de referência (ground truth).
  • Pré-processamento: O pipeline envolveu raspagem de dados (web scraping), segmentação de vídeo (usando protocolos HLS/DASH), extração de áudio (OpenCV), deduplicação de quadros via algoritmos de similaridade estrutural e Reconhecimento Óptico de Caracteres (OCR) para o texto dos slides. As transcrições de áudio foram obtidas via Reconhecimento Automático de Fala (ASR). Todas as modalidades foram alinhadas com base em carimbos de tempo (timestamps). A limpeza de dados envolveu a remoção de caracteres corrompidos e inconsistências de formatação.

• Configuração Experimental: O estudo empregou modelos de extração de palavras-chave tanto não supervisionados quanto supervisionados:

  • Não Supervisionados: TF-IDF, TextRank e SVM (com subamostragem para equilibrar as classes).
  • Supervisionados: CRF, BiLSTM-CRF e BERT-BiLSTM-CRF.
  • Variações de Entrada: Experimentos foram conduzidos utilizando texto derivado exclusivamente de artigos ($P_t$), áudio ($A_t$) e imagens ($I_t$), bem como um texto multimodal concatenado ($M_t$) combinando todas as três fontes.
  • Avaliação: O desempenho foi medido usando Precisão, Recall e o escore F1 (F1@3, F1@5, F1@10) com base na correspondência exata contra as palavras-chave fornecidas pelos autores.

Principais Resultados

• Desempenho das Modalidades: O texto do artigo consistentemente apresentou o melhor desempenho de extração de palavras-chave na maioria dos modelos, particularmente em abordagens supervisionadas como CRF e SVM. O texto do áudio apresentou um desempenho moderado, enquanto o texto da imagem (derivado de OCR) teve o pior desempenho. Os autores atribuem o baixo desempenho do texto da imagem ao ruído e à interferência de fundo que afetam a precisidade do OCR, e às limitações do texto de áudio devido à qualidade da gravação e ao ruído de fundo.
• Efetividade da Fusão: A concatenação do texto do artigo, áudio e imagem ($M_t$) aumentou efetivamente o desempenho da extração de palavras-chave em vários modelos, particularmente em arquiteturas de aprendizagem profunda como BiLSTM-CRF e BERT-BiLSTM-CRF. Isso sugere que as informações de diferentes modalidades podem se complementar; por exemplo, palavras-chave perdidas no texto do artigo foram, por vezes, recuperáveis a partir do texto de áudio ou de imagem.
• Comparação de Modelos: Modelos de aprendizagem profunda (BiLSTM-CRF, BERT-BiLSTM-CRF) geralmente superaram os métodos estatísticos tradicionais (TF-IDF, TextRank) ao utilizar dados multimodais concatenados. No entanto, modelos tradicionais como CRF e SVM permaneceram robustos, com o CRF demonstrando um forte desempenho apenas no texto do artigo.

Principais Contribuições

1. Criação de Conjunto de Dados: O estudo preenche uma lacuna crítica ao fornecer o primeiro conjunto de dados multimodal especificamente adaptado para a extração de palavras-chave acadêmicas, compreendendo 1.000 amostras de alta qualidade com modalidades de texto, imagem e áudio alinhadas.
2. Validação Empírica: A pesquisa demonstra que a concatenação de texto de artigos, áudio e imagem pode melhorar a precisão da extração de palavras-chave em comparação com o uso de modalidades únicas.
3. Insight Metodológico: O trabalho destaca as características distintas de diferentes modalidades, observando que, embora o texto do artigo seja a fonte primária de palavras-chave, a fusão multimodal oferece uma captura semântica mais abrangente, potencialmente auxiliando os modelos a superar as limitações de dados de fonte única.

Significância e Direções Futuras
O artigo afirma que sua principal significância reside em fornecer novos recursos de dados para a pesquisa acadêmica multimodal e avançar a extração de palavras-chave em direção à utilização de dados modais mais amplos, aumentando assim a precisão e a robustez dos algoritmos. Os autores mantêm uma postura modesta, reconhecendo que seus experimentos atuais utilizaram apenas o conteúdo textual extraído das modalidades, ignorando características visuais únicas (tamanho da fonte, negrito) nos slides ou características acústicas (energia da fala, duração) no áudio. Eles sugerem que trabalhos futuros devem explorar essas características específicas das modalidades e aproveitar as capacidades de autoaprendizagem e generalização de grandes modelos de linguagem para melhorar ainda mais a extração de palavras-chave multimodal.