Evaluating Multimodal Input Combinations for Zero-Shot Summarization Across Indian Languages

Resumo Técnico: Avaliando Combinações de Entradas Multimodais para Sumarização Zero-Shot em Línguas Indianas

Declaração do Problema
A rápida proliferação de notícias digitais em línguas regionais indianas criou uma demanda por sistemas de sumarização automatizada capazes de lidar com conteúdo heterogêneo. Pipelines de sumarização tradicionais dependem tipicamente apenas do texto do artigo (manchetes e corpo), falhando em aproveitar a rica informação contextual disponível em artigos de notícias multimodais, especificamente imagens acompanhantes e comentários de leitores. A sumarização multimodal avançou para o inglês e línguas de altos recursos, mas o Processamento de Linguagem Natural (NLP) para línguas indianas permanece subexplorado devido à falta de conjuntos de dados multimodais e sensíveis a comentários, além de frameworks de código aberto reprodutíveis. As avaliações existentes frequentemente dependem de Grandes Modelos de Linguagem (LLMs) proprietários com transparência limitada quanto às combinações de modalidades de entrada. Este estudo aborda a lacuna na compreensão de como modelos de sequência-para-sequência leves e de código aberto performam em um cenário zero-shot através de nove línguas indianas quando expostos a várias combinações de manchetes, conteúdo, URLs de imagens e comentários de leitores.

Metodologia
A pesquisa propõe um pipeline Python totalmente automatizado de ponta a ponta, implementado em um ambiente Google Colab, para testar cinco modelos transformer de sequência-para-sequência pré-treinados: mT5, T5, BART, mBART e PEGASUS.

• Conjunto de Dados: O estudo utiliza o conjunto de dados COSMMIC (Corpus Multilíngue Indiano Sensível a Comentários e Multimodal), que contém 4.959 pares artigo-imagem e 24.484 comentários de leitores em nove línguas (bengali, hindi, tâmil, telugo, marati, gujarati, canará, malaiala e odia). Os dados incluem resumos de referência escritos por humanos.
• Design Experimental: A avaliação é conduzida de maneira zero-shot, o que significa que nenhum dos modelos foi ajustado (fine-tuned) no conjunto de dados COSMMIC. Isso isola as capacidades inerentes de pré-treinamento dos modelos.
• Modalidades de Entrada: O sistema testa sistematicamente 15 combinações distintas de entrada formadas por quatro modalidades: Manchete (H), Conteúdo (C), URL da Imagem (I) e Comentários (Co). Estas variam de entradas de modalidade única até a combinação quadrimodal completa (H+C+I+Co). Notavelmente, as URLs de Imagens são processadas como strings de texto bruto, em vez de características visuais.
• Métricas de Avaliação: Os resumos gerados são avaliados contra os resresumos de referência usando sete métricas: ROUGE-1, ROUGE-2, ROUGE-L, METEOR, BERTScore Precisão, BERTScore Recall, BERTScore F1 e CIDEr.
• Classificação de Qualidade: Um classificador baseado em matriz de confusão rotula os resumos gerados como "BOM" (ROUGE-L $\ge$ 0,50) ou "RUIM" (< 0,50) para fornecer uma avaliação binária de qualidade além das estatísticas agregadas.
• Estudo de Caso: Uma análise detalhada é realizada no subconjunto de Hindi, a maior parte do corpus, para investigar o impacto de tipos específicos de comentários ("Bom" vs. "Ruim") e a utilidade marginal das URLs de Imagens.

Principais Contribuições

1. Pipeline de Código Aberto Reprodutível: O autor introduz o primeiro pipeline de código aberto totalmente automatizado para sumarização multimodal no conjunto de dados COSMMIC. Ele automatiza a aquisição de dados, divisão, carregamento de modelos, geração e avaliação de múltiplas métricas sem exigir anotação manual ou acesso a APIs proprietárias.
2. Benchmark Zero-Shot Abrangente: O estudo fornece o primeiro benchmark sistemático de cinco modelos distintos de sequência-para-sequência (mT5, PEGASUS, BART, mBART, T5) através de todas as 15 combinações possíveis de entrada para nove línguas indianas.
3. Análise de Contribuição de Modalidade: Ao testar todos os subconjuntos de modalidades de entrada, o trabalho quantifica a contribuição específica de manchetes, comentários e URLs de imagens para a qualidade da sumarização, oferecendo orientação para arquitetos de sistemas sobre alocação de recursos.
4. Framework de Classificação de Qualidade: A integração de um classificador de qualidade baseado em matriz de confusão permite a visualização das distribuições de resumos "BOM" vs. "RUIM", oferecendo uma medida de confiabilidade do modelo mais intuitiva do que apenas pontuações brutas.

Resultos e Análise

• Desempenho do Modelo: Entre os modelos avaliados, o mBART demonstrou o desempenho mais robusto no cenário zero-shot, particularmente para a língua hindi. Isso é atribuído ao seu pré-treinamento explícito em dados de hindi dentro do corpus CC25. Por outro lado, o T5 e o mT5 mostraram menor desempenho, provavelmente devido ao seu pré-treinamento centrado no inglês ou menos específico para estas línguas.
• Impacto da Modalidade de Entrada:
  • O Conteúdo (C) sozinho forneceu o desempenho de baseline mais forte.
  • Adicionar Comentários de Leitores geralmente melhorou as métricas, mas a qualidade dos comentários importava; comentários "Bons" aumentaram a qualidade do resumo, enquanto comentários não filtrados ou "Ruins" introduziram ruído que degradou o desempenho.
  • As URLs de Imagens, quando incluídas como strings de texto, forneceram melhorias marginais, mas consistentes nos escores ROUGE-L na maioria das línguas, sugerindo que metadados de URL podem servir como sinais supervisores fracos.
  • A combinação total das quatro modalidades (H+C+I+Co) nem sempre superou o baseline de apenas Conteúdo, indicando que entradas multimodais não filtradas podem introduzir ruído em um contexto zero-shot.
• Variância entre Línguas: O desempenho variou significativamente entre as línguas. O hindi rendeu os melhores resultados, enquanto línguas com escritas complexas ou morfologia aglutinante (ex: malaiala, tâmil) mostraram pontuações mais baixas, destacando os desafios do "efeito do tamanho dos dados" e da complexidade de escrita.
• Limitações Zero-Shot: O estudo observou pontuações ROUGE-2 extremamente baixas (próximas de 0,00) na maioria dos modelos e línguas. Isso ressalta que a sumarização abstrativa zero-shot para línguas indianas continua sendo um desafio significativo e que a implementação prática provavelmente exigirá, pelo menos, um ajuste fino (fine-tuning) específico para a tarefa.
• Identificação de Artefatos: A análise das saídas do mBART revelou a geração de tokens especiais (ex: <extra_id_0>) devido ao objetivo de pré-treinamento de mascaramento de intervalo do modelo, necessitando de pós-processamento ou engenharia de prompt (ex: adicionar "summarize") para resultados otimizados.

Significância
O artigo estabelece um framework reprodutível e fundamental para avaliar a sumarização multimodal em línguas indianas de baixo recurso. Ao demonstrar que o mBART é atualmente a arquitetura mais adequada para tarefas zero-shot neste domínio e que a qualidade do comentário é uma variável crítica, o estudo fornece insights acionáveis para pesquisadores e desenvolvedores. O trabalho enfatiza que, embora as entradas multimodais sejam promissoras, sua integração requer filtragem cuidadosa para evitar ruído. Em última análise, o estudo argumenta que, embora os baselines zero-shot sejam valiosos para estabelecer limites, o caminho para sistemas de sumarização de alta qualidade e práticos para línguas indianas exige ir além da inferência zero-shot em direção a adaptações específicas de linguagem via fine-tuning.