Evaluating Multimodal Input Combinations for Zero-Shot Summarization Across Indian Languages

Resumen Técnico: Evaluación de Combinaciones de Entradas Multimodales para la Resumición Zero-Shot en Lenguas Indias

Planteamiento del Problema
La rápida proliferación de noticias digitales en lenguas regionales indias ha creado una demanda de sistemas de resumición automatizada capaces de manejar contenido heterogéneo. Los procesos de resumición tradicionales suelen depender únicamente del texto del artículo (titulares y cuerpo), fallando al no aprovechar la rica información contextual disponible en los artículos de noticias multimodales, específicamente las imágenes acompañantes y los comentarios de los lectores. Aunque la resumición multimodal ha avanzado para el inglés y las lenguas de altos recursos, el Procesamiento de Lenguaje Natural (NLP) para las lenguas indias permanece poco explorado debido a la falta de conjuntos de datos multimodales sensibles a los comentarios y de marcos de trabajo de código abierto reproducibles. Las evaluaciones existentes suelen depender de Modelos de Lenguaje de Gran Escala (LLM) propietarios con transparencia limitada respecto a las combinaciones de modalidades de entrada. Este estudio aborda la brecha en la comprensión de cómo los modelos ligeros de secuencia a secuencia (sequence-to-sequence) se desempeñan en un entorno zero-shot a través de nueve lenguas indias cuando se exponen a diversas combinaciones de titulares, contenido, URLs de imágenes y comentarios de lectores.

Metodología
La investigación propone un flujo de trabajo (pipeline) de Python totalmente automatizado y de extremo a extremo, implementado en un entorno de Google Colab, para evaluar cinco modelos de transformadores de secuencia a secuencia pre-entrenados: mT5, T5, BART, mBART y PEGASUS.

• Conjunto de Datos: El estudio utiliza el conjunto de datos COSMMIC (Corpus Multilingüe de la India Sensible a Comentarios y Multimodal), que contiene 4,959 pares artículo-imagen y 24,484 comentarios de lectores en nueve lenguas (bengalí, hindi, tamil, telugu, maratí, guyaratí, kannada, malayalam y odia). Los datos incluyen resúmenes de referencia escritos por humanos.
• Diseño Experimental: La evaluación se lleva a cabo de manera zero-shot, lo que significa que ninguno de los modelos es ajustado (fine-tuned) con el conjunto de datos COSMMIC. Esto aísla las capacidades inherentes de su pre-entrenamiento.
• Modalidades de Entrada: El sistema prueba sistemáticamente 15 combinaciones distintas de entrada formadas a partir de cuatro modalidades: Titular (H), Contenido (C), URL de Imagen (I) y Comentarios (Co). Estas van desde entradas de una sola modalidad hasta la combinación cuadrimodal completa (H+C+I+Co). Notablemente, las URLs de las imágenes se procesan como cadenas de texto sin procesar en lugar de características visuales.
• Métricas de Evaluación: Los resúmenes generados se evalúan frente a los resúmenes de referencia utilizando siete métricas: ROUGE-1, ROUGE-2, ROUGE-L, METEOR, BERTScore Precisión, BERTScore Recall, BERTScore F1 y CIDEr.
• Clasificación de Calidad: Un clasificador basado en una matriz de confusión etiqueta los resúmenes generados como "BUENOS" (ROUGE-L $\ge$ 0.50) o "MALOS" (< 0.50) para proporcionar una evaluación binaria de calidad más allá de las estadísticas agregadas.
• Estudio de Caso: Se realiza un análisis detallado sobre el subconjunto de hindi, el más grande del corpus, para investigar el impacto de tipos de comentarios específicos ("Buenos" vs. "Malos") y la utilidad marginal de las URLs de Imágenes.

Contribuciones Clave

1. Pipeline de Código Abierto Reproducible: El autor introduce el primer flujo de trabajo de código abierto totalmente automatizado para la resumición multimodal en el conjunto de datos COSMMIC. Automatiza la adquisición de datos, la división, la carga de modelos, la generación y la evaluación de múltiples métricas sin requerir anotación manual o acceso a APIs propietarias.
2. Benchmark Zero-Shot Exhaustivo: El estudio proporciona el primer benchmark sistemático de cinco modelos distintos de secuencia a secuencia (mT5, PEGASUS, BART, mBART, T5) a través de todas las 15 combinaciones posibles de entrada para nueve lenguas indias.
3. Análisis de Contribución de Modalidades: Al probar todos los subconjuntos de modalidades de entrada, el trabajo cuantifica la contribución específica de los titulares, los comentarios y las URLs de imágenes a la calidad de la resumición, ofreciendo orientación a los arquitectos de sistemas sobre la asignación de recursos.
4. Marco de Clasificación de Calidad: La integración de un clasificador de calidad basado en una matriz de confusión permite la visualización de las distribuciones de resúmenes "BUENOS" vs. "MALOS", ofreciendo una medida de la fiabilidad del modelo más intuitiva que las puntuaciones brutas por sí solas.

Resultos y Análisis

• Desempeño de los Modelos: Entre los modelos evaluados, mBART demostró el desempeño más robusto en el entorno zero-shot, particularmente para la lengua hindi. Esto se atribuye a su pre-entrenamiento explícito en datos de hindi dentro del corpus CC25. Por el contrario, T5 y mT5 mostraron un desempeño inferior, probablemente debido a su pre-entrenamiento centrado en el inglés o menos específico para estas lenguas.
• Impacto de la Modalidad de Entrada:
  • El Contenido (C) por sí solo proporcionó el desempeño base más sólido.
  • Añadir Comentarios de Lectores generalmente mejoró las métricas, pero la calidad de los comentarios importaba; los comentarios "Buenos" mejoraron la calidad del resumen, mientras que los comentarios sin filtrar o "Malos" introdujeron ruido que degradó el desempeño.
  • Las URLs de Imágenes, cuando se incluyeron como cadenas de texto, proporcionaron mejoras marginales pero consistentes en las puntuaciones ROUGE-L en la mayoría de las lenguas, lo que sugiere que los metadatos de las URL pueden servir como señales supervisoras débiles.
  • La combinación completa de las cuatro modalidades (H+C+I+Co) no siempre superó la línea base de solo Contenido, lo que indica que las entradas multimodales sin filtrar pueden introducir ruido en un contexto zero-shot.
• Varianza entre Lenguas: El desempeño varió significativamente entre las lenguas. El hindi arrojó los mejores resultados, mientras que las lenguas con escrituras complejas o morfología aglutinante (ej. malayalam, tamil) mostraron puntuaciones más bajas, resaltando los desafíos del "efecto del tamaño de los datos" y la complejidad de las escrituras.
• Limitaciones Zero-Shot: El estudio observó puntuaciones ROUGE-2 extremadamente bajas (cercanas a 0.00) en la mayoría de los modelos y lenguas. Esto subraya que la resumición abstractiva zero-shot para las lenguas indias sigue siendo un desafío significativo y que la implementación práctica probablemente requiere, al menos, un ajuste fino (fine-tuning) específico de la tarea.
• Identificación de Artefactos: El análisis de las salidas de mBART reveló la generación de tokens especiales (ej. <extra_id_0>) debido a su objetivo de pre-entrenamiento de enmascaramiento de tramos (span-masking), lo que requiere post-procesamiento o ingeniería de prompts (ej. añadir "resumir") para obtener resultados óptimos.

Significancia
El artículo establece un marco fundacional y reproducible para evaluar la resumición multimodal en lenguas indias de bajos recursos. Al demostrar que mBART es actualmente la arquitectura más adecuada para tareas zero-shot en este dominio y que la calidad de los comentarios es una variable crítica, el estudio proporciona información accionable para investigadores y desarrolladores. El trabajo enfatiza que, si bien las entradas multimodales son prometedoras, su integración requiere un filtrado cuidadoso para evitar el ruido. En última instancia, el estudio argumenta que, aunque los baselines zero-shot son valiosos para establecer límites, el camino hacia sistemas de resumición de alta calidad y prácticos para las lenguas indias requiere ir más allá de la inferencia zero-shot hacia adaptaciones específicas de la lengua mediante el ajuste fino.