Evaluating Multimodal Input Combinations for Zero-Shot Summarization Across Indian Languages

Technische Samenvatting: Evaluatie van Multimodale Inputcombinaties voor Zero-Shot Samenvatting over Indiase Talen

Probleemstelling
De snelle proliferatie van digitale nieuwsberichten in regionale Indiase talen heeft de vraag gecreëerd naar geautomatiseerde samenvattingssystemen die in staat zijn om heterogene inhoud te verwerken. Traditionele samenvattingspipelines vertrouwen doorgaans uitsluitend op artikeltekst (koppen en body), waardoor ze de rijke contextuele informatie die beschikbaar is in multimodale nieuwsartikelen, specifiek begeleidende afbeeldingen en lezersreacties, niet benutten. Hoewel multimodale samenvatting geavanceerd is voor het Engels en hoog-resource talen, blijft NLP voor Indiase talen onderbelicht vanwege een gebrek aan multimodale, commentaargevoelige datasets en reproduceerbare open-source frameworks. Bestaande evaluaties vertrouwen vaak op propriëtaire Large Language Models (LLMs) met beperkte transparantie met betrekking tot inputmodaliteitcombinaties. Deze studie adresseert de kloof in het begrip van hoe lichtgewicht, open-source sequence-to-sequence modellen presteren in een zero-shot setting over negen Indiase talen wanneer ze worden blootgesteld aan verschillende combinaties van koppen, inhoud, afbeeldings-URL's en lezersreacties.

Methodologie
Het onderzoek stelt een volledig geautomatiseerde, end-to-end Python-pipeline voor, geïmplementeerd in een Google Colab-omgeving, om vijf vooraf getrainde sequence-to-sequence transformer-modellen te benchmarken: mT5, T5, BART, mBART en PEGASUS.

• Dataset: De studie maakt gebruik van de COSMMIC (Comment sensitive multimodal multilingual Indian corpus) dataset, die 4.959 artikel-afbeelding paren en 24.484 lezersreacties bevat over negen talen (Bengali, Hindi, Tamil, Telugu, Marathi, Gujarati, Kannada, Malayalam en Odia). De data bevat door mensen geschreven referentie-samenvattingen.
• Experimenteel Ontwerp: De evaluatie wordt uitgevoerd op een zero-shot wijze, wat betekent dat geen van de modellen is gefinetuned op de COSMMIC-dataset. Dit isoleert de inherente pre-training capaciteiten van de modellen.
• Input Modaliteiten: Het systeem test systematisch 15 verschillende inputcombinaties gevormd uit vier modaliteiten: Kop (H), Inhoud (C), Afbeeldings-URL (I) en Reacties (Co). Deze variëren van single-modality inputs tot de volledige quadrimodale combinatie (H+C+I+Co). Opvallend genoeg worden Afbeeldings-URL's verwerkt als ruwe tekststrings in plaats van visuele kenmerken.
• Evaluatiemetrieken: Gegenereerde samenvattingen worden geëvalueerd tegen referentie-samenvattingen met behulp van zeven metrieken: ROUGE-1, ROUGE-2, ROUGE-L, METEOR, BERTScore Precision, BERTScore Recall, BERTScore F1 en CIDEr.
• Kwaliteitsclassificatie: Een confusion matrix-gebaseerde classifier labelt gegenereerde samenvattingen als "GOED" (ROUGE-L $\ge$ 0,50) of "SLECHT" (< 0,50) om een binaire kwaliteitsbeoordeling te bieden die verder gaat dan geaggregeerde statistieken.
• Casestudy: Een gedetailleerde analyse wordt uitgevoerd op de Hindi subset, de grootste in de corpus, om de impact van specifieke reactietypes ("Goed" vs. "Slecht") en het marginale nut van Afbeeldings-URL's te onderzoeken.

Belangrijkste Bijdragen

1. Reproduceerbare Open-Source Pipeline: De auteur introduceert de eerste volledig geautomatiseerde, open-source pipeline voor multimodale samenvatting op de COSMMIC-dataset. Het automatiseert data-acquisitie, splitting, model laden, generatie en multi-metriek evaluatie zonder dat handmatige annotatie of toegang tot propriëtaire API's vereist is.
2. Omvattende Zero-Shot Benchmark: De studie biedt de eerste systematische benchmark van vijf verschillende sequence-to-sequence modellen (mT5, PEGASUS, BART, mBART, T5) over alle 15 mogelijke inputcombinaties voor negen Indiase talen.
3. Modality Contribution Analyse: Door alle subsets van inputmodaliteiten te testen, kwantificeert het werk de specifieke bijdrage van koppen, reacties en afbeeldings-URL's aan de kwaliteit van de samenvatting, wat richtlijnen biedt voor systeemarchitecten bij de toewijzing van middelen.
4. Kwaliteitsclassificatie Framework: De integratie van een confusion matrix-gebaseerde kwaliteitsclassifier maakt het mogelijk om de distributie van "GOEDE" vs. "SLECHTE" samenvattingen te visualiseren, wat een intuïtiever maat voor modelbetrouwbaarheid biedt dan ruwe scores alleen.

Resultaten en Analyse

• Modelprestaties: Onder de geëvalueerde modellen vertoonde mBART de meest robuuste prestaties in de zero-shot setting, met name voor de Hindi taal. Dit wordt toegeschreven aan de expliciete pre-training op Hindi data binnen de CC25 corpus. Daarentegen vertoonden T5 en mT5 lagere prestaties, waarschijnlijk door hun Engels-gecentreerde of minder specifieke pre-training voor deze talen.
• Impact van Input Modaliteit:
  • Inhoud (C) alleen leverde de sterkste baseline-prestatie.
  • Het toevoegen van Lezersreacties verbeterde de metrieken over het algemeen, maar de kwaliteit van de reacties was cruciaal; "Goede" reacties verbeterden de kwaliteit van de samenvatting, terwijl ongefilterde of "Slechte" reacties ruis introduceerden die de prestaties verslechterde.
  • Afbeeldings-URL's, wanneer opgenomen als tekststrings, zorgden voor marginale maar consistente verbeteringen in ROUGE-L scores over de meeste talen, wat suggereert dat URL-metadata kan dienen als zwak supervisievergelijkbaar signaal.
  • De volledige combinatie van alle vier de modaliteiten (H+C+I+Co) presteerde niet altijd beter dan de Content-only baseline, wat aangeeft dat ongefilterde multimodale inputs in een zero-shot context ruis kunnen introduceren.
• Cross-Language Variantie: Prestaties varieerden aanzienlijk tussen talen. Hindi leverde de beste resultaten op, terwijl talen met complexe schriften of agglutinerende morfologie (bijv. Malayalam, Tamil) lagere scores lieten zien, wat de uitdagingen van de "data size effect" en schriftcomplexiteit benadrukt.
• Zero-Shot Beperkingen: De studie observeerde extreem lage ROUGE-2 scores (bijna 0,00) bij de meeste modellen en talen. Dit onderstreept dat zero-shot abstractieve samenvatting voor Indiase talen een aanzienlijke uitdaging blijft en dat praktische implementatie waarschijnlijk minimale taakspecifieke fine-tuning vereist.
• Identificatie van Artefacten: De analyse van mBART-outputs onthulde de generatie van speciale tokens (bijv. <extra_id_0>) als gevolg van het span-masking pre-training objectief van het model, wat post-processing of prompt engineering (bijv. het toevoegen van "summarize") noodzakelijk maakt voor optimale resultaten.

Significantie
Het paper vestigt een fundamenteel, reproduceerbaar framework voor het evalueren van multimodale samenvatting in laag-resource Indiase talen. Door aan te tonen dat mBART momenteel de meest geschikte architectuur is voor zero-shot taken in dit domein en dat reactiekwaliteit een cruciale variabele is, biedt de studie bruikbare inzichten voor onderzoekers en ontwikkelaars. Het werk benadrukt dat hoewel multimodale inputs veelbelovend zijn, hun integratie zorgvuldige filtering vereist om ruis te voorkomen. Uiteindelijk betoogt de studie dat hoewel zero-shot baselines waardevol zijn voor het vaststellen van grenzen, de weg naar praktische, hoogwaardige samenvattingssystemen voor Indiase talen de stap van zero-shot inferentie naar gefinetunede, taalspecifieke adaptaties vereist.