💬 NLP

Building a Multimodal Dataset of Academic Paper for Keyword Extraction

Este estudio aborda la escasez de recursos multimodales para la extracción de palabras clave mediante la construcción de un nuevo conjunto de datos de 1.000 artículos académicos que contienen texto, imágenes y audio, demostrando que la fusión de información de estas diversas modalidades mejora significativamente el rendimiento de la extracción en comparación con el uso exclusivo de texto.

Autores originales: Jingyu Zhang, Xinyi Yan, Yi Xiang, Yingyi Zhang, Chengzhi Zhang

Publicado 2026-07-01

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jingyu Zhang, Xinyi Yan, Yi Xiang, Yingyi Zhang, Chengzhi Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encontrar los ingredientes más importantes en un libro de recetas gigante y complejo. Normalmente, cuando la gente intenta elegir los ingredientes clave (lo que los investigadores llaman "palabras clave"), solo leen el texto escrito de la receta. Ignoran las imágenes del plato terminado o la grabación de audio del chef explicando los pasos.

Este artículo sostiene que, al ignorar las imágenes y el audio, nos estamos perdiendo de mucho sabor. Los autores construyeron una nueva "cocina" (un conjunto de datos) para probar si observar la comida completa —texto, imágenes y audio juntos— ayuda a identificar mejor los ingredientes clave.

Aquí hay un desglose sencillo de lo que hicieron y lo que encontraron:

1. El problema: Una conversación de un solo lado

Durante mucho tiempo, las computadoras han sido muy buenas leyendo texto para encontrar palabras clave. Pero en el mundo real, la información no es solo texto. Es una mezcla de:

Texto: Las palabras reales en la página.
Imágenes: Diapositivas, gráficos y fotos.
Audio: El sonido de un orador hablando.

Los autores dicen que, al solo escuchar la parte del "texto" de la conversación, nos perdemos las pistas ocultas en las imágenes y la voz. Además, no existía realmente un "libro de recetas" disponible que tuviera estas tres cosas alineadas juntas para que los investigadores pudieran estudiarlas.

2. La solución: Construir un nuevo "libro de recetas"

Para solucionar esto, el equipo creó un nuevo conjunto de datos llamado Dataset Multimodal.

¿Qué hay dentro? Reunieron 1,000 muestras de conferencias académicas.
Los ingredientes: Para cada una de las muestras, recolectaron:
1. El artículo escrito (el texto).
2. Las diapositivas de la presentación (las imágenes).
3. La grabación del orador (el audio).
4. La lista de palabras clave que los autores eligieron originalmente (la "clave de respuestas").

Piensa en esto como crear una guía de estudio donde cada página tiene el ensayo, los diagramas y una grabación del profesor explicándolo, todo perfectamente sincronizado.

3. El experimento: La prueba de sabor

Una vez que tuvieron su conjunto de datos, realizaron una "prueba de sabor" utilizando diferentes programas informáticos (modelos) para ver qué método podía encontrar las palabras clave mejor. Probaron tres escenarios:

La dieta de solo texto: Alimentar a la computadora únicamente con el artículo escrito.
La dieta de audio e imagen: Alimentar a la computadora únicamente con el texto transcrito del audio o el texto reconocido de las imágenes (usando OCR, que es como un robot leyendo un letrero).
El buffet: Alimentar a la computadora con una mezcla de estas tres fuentes de texto combinadas.

4. Los resultados: ¿Qué funcionó mejor?

Aquí es donde la "prueba de sabor" reveló lo siguiente:

El artículo escrito es la estrella: El texto de los artículos académicos reales fue la fuente más confiable. Tenía la información más rica, por lo que las computadoras hicieron el mejor trabajo encontrando palabras clave aquí.
El audio es una buena guarnición: El texto transcrito de la voz del orador fue útil, aunque no tan bueno como el artículo escrito.
Las imágenes son la parte difícil: El texto extraído de las diapositivas (imágenes) fue el que peor funcionó. Los autores explican que esto es como intentar leer un menú escrito en una servilleta borrosa y arrugada; la computadora a menudo se confundía con el ruido de fondo o la mala iluminación, haciendo que el texto fuera difícil de leer.
El poder del buffet (Fusión): El mayor descubrimiento fue que combinar las tres fuentes funcionaba mejor que usar solo una. Aunque el texto de la imagen fuera desordenado, cuando la computadora miraba el artículo, el audio y el texto de la imagen todos a la vez, podía llenar los huecos. Si una palabra clave faltaba en el artículo pero se mencionaba en el audio, el método del "Buffet" la capturaba.

5. La conclusión

La lección principal de este artículo es que, si bien el texto escrito es el ingrediente más importante, ignorar las otras partes de la presentación (la voz y las diapositivas) es dejar información sobre la mesa.

Al construir este nuevo conjunto de datos y demostrar que mezclar estos diferentes tipos de información mejora la capacidad de la computadora para encontrar palabras clave, los autores han entregado a los investigadores una nueva herramienta. Es como pasar de leer una receta en la oscuridad a leerla con una linterna, una foto del plato y una grabación del chef, todo al mismo tiempo.

En resumen: Construyeron una nueva biblioteca de artículos académicos de medios mixtos y demostraron que cuando las computadoras leen el texto, escuchan el audio y miran las diapositivas todas juntas, obtienen una imagen mucho más clara de lo que trata realmente el artículo.

Resumen Técnico: Construcción de un Conjunto de Datos Multimodal de Artículos Académicos para la Extracción de Palabras Clave

Planteamiento del Problema
Las tareas actuales de extracción de palabras clave dependen predominantemente de datos textuales, omitiendo a menudo los detalles visuales y las características de audio inherentes al contenido académico multimodal. Esta dependencia conduce a deficiencias en la riqueza de la información y pasa por alto las posibles correlaciones entre modalidades, lo que limita la capacidad de un modelo para aprender representaciones de datos precisas. Además, el campo de la investigación sufre de una escasez de conjuntos de datos multimodales diseñados específicamente para la extracción de palabras clave, lo que dificulta el desarrollo y la validación de métodos de extracción multimodales. Si bien la información académica se difunde cada vez más a través de texto, imágenes (diapositivas) y audio (conferencias), los métodos existentes no logran aprovechar estas diversas fuentes de manera efectiva.

Metodología
Para abordar estas brechas, el estudio construye un nuevo conjunto de datos multimodal y evalúa el rendimiento de la extracción de palabras clave a través de diferentes modalidades y estrategias de fusión.

Construcción del Conjunto de Datos: Los autores curaron un conjunto de datos de 1,000 muestras de artículos académicos obtenidas de VideoLectures.net y la Biblioteca Digital de SPIE. Cada muestra incluye:
- Texto del Artículo: Texto completo del artículo académico.
- Imágenes de Diapositivas: Diapositivas de presentaciones extraídas de videos de conferencias.
- Audio: Grabaciones de los ponentes de las presentaciones.
- Palabras Clave: Palabras clave proporcionadas por los autores que sirven como verdad de campo (ground truth).
- Preprocesamiento: El flujo de trabajo involucró la extracción de datos web, segmentación de video (usando protocolos HLS/DASH), extracción de audio (OpenCV), deduplicación de fotogramas mediante algoritmos de similitud estructural y Reconocimiento Óptico de Caracteres (OCR) para el texto de las diapositivas. Las transcripciones de audio se obtuvieron mediante Reconocimiento Automático del Habla (ASR). Todas las modalidades fueron alineadas basadas en marcas de tiempo. La limpieza de datos consistió en eliminar caracteres deformados e inconsistencias de formato.
Configuración Experimental: El estudio empleó modelos de extracción de palabras clave tanto no supervisados como supervisados:
- No supervisados: TF-IDF, TextRank y SVM (con submuestreo para equilibrar las clases).
- Supervisados: CRF, BiLSTM-CRF y BERT-BiLSTM-CRF.
- Variaciones de Entrada: Los experimentos se realizaron utilizando texto derivado únicamente de los artículos ( $P_t$ ), audio ( $A_t$ ) e imágenes ( $I_t$ ), así como un texto multimodal concatenado ( $M_t$ ) que combina las tres fuentes.
- Evaluación: El rendimiento se midió utilizando Precisión, Exhaustividad (Recall) y la puntuación F1 (F1@3, F1@5, F1@10) basada en la coincidencia exacta con las palabras clave proporcionadas por los autores.

Resultos Clave

Rendimiento de la Modalidad: El texto del artículo produjo consistentemente el mejor rendimiento de extracción de palabras clave en la mayoría de los modelos, particularmente en enfoques supervisados como CRF y SVM. El texto de audio funcionó moderadamente bien, mientras que el texto de imagen (derivado de OCR) fue el que peor desempeño tuvo. Los autores atribuyen el bajo rendimiento del texto de imagen al ruido e interferencia de fondo que afectan la precisión del OCR, y a las limitaciones del texto de audio debido a la calidad de la grabación y el ruido de fondo.
Efectividad de la Fusión: La concatenación del texto de papel, audio e imagen ( $M_t$ ) mejoró efectivamente el rendimiento de la extracción de palabras clave en varios modelos, particularmente en arquitectías de aprendizaje profundo como BiLSTM-CRF y BERT-BiLSTM-CRF. Esto sugiere que la información de diferentes modalidades puede complementarse entre sí; por ejemplo, las palabras clave omitidas en el texto del artículo a veces eran recuperables del texto de audio o de imagen.
Comparación de Modelos: Los modelos de aprendizaje profundo (BiLSTM-CRF, BERT-BiLSTM-CRF) generalmente superaron a los métodos estadísticos tradicionales (TF-IDF, TextRank) cuando utilizaban datos multimodales concatenados. Sin embargo, los modelos tradicionales como CRF y SVM siguieron siendo robustos, con CRF mostrando un fuerte desempeño solo con el texto del artículo.

Contribuciones Clave

Creación de Conjunto de Datos: El estudio llena un vacío crítico al proporcionar el primer conjunto de datos multimodal diseñado específicamente para la extracción de palabras clave académicas, compuesto por 1,000 muestras de alta calidad con modalidades de texto, imagen y audio alineadas.
Validación Empírica: La investigación demuestra que la concatenación de texto de las modalidades de papel, imagen y audio puede mejorar la precisión de la extracción de palabras clave en comparación con el uso de modalidades únicas.
Perspectiva Metodológica: El trabajo destaca las características distintivas de las diferentes modalidades, señalando que, si bien el texto del artículo es la fuente primaria de palabras clave, la fusión multimodal ofrece una captura semántica más completa, ayudando potencialmente a los modelos a superar las limitaciones de los datos de una sola fuente.

Significancia y Direcciones Futuras
El artículo afirma que su principal significancia radica en proporcionar nuevos recursos de datos para la investigación académica multimodal y en avanzar la extracción de palabras clave hacia la utilización de datos modales más amplios, mejorando así la precisión y robustez de los algoritmos. Los autores mantienen una postura modesta, reconociendo que sus experimentos actuales utilizaron únicamente el contenido textual extraído de las modalidades, ignorando características visuales únicas (tamaño de fuente, negritas) en las diapositas o características acústicas (energía del habla, duración) en el audio. Sugieren que el trabajo futuro debería explorar estas características específicas de la modalidad y aprovechar las capacidades de autoaprendizaje y generalización de los grandes modelos de lenguaje para mejorar aún más la extracción de palabras clave multimodal.

1. El problema: Una conversación de un solo lado

2. La solución: Construir un nuevo "libro de recetas"

3. El experimento: La prueba de sabor

4. Los resultados: ¿Qué funcionó mejor?

5. La conclusión

Más como este