SACRED: A Faithful Annotated Multimedia Multimodal Multilingual Dataset for Classifying Connectedness Types in Online Spirituality

Probleemstelling

Ondanks dat spiritualiteit een fundamenteel onderdeel is van de menselijke ervaring en steeds meer online plaatsvindt, blijft dit een onderbelicht onderzoeksgebied binnen de sociale wetenschappen. Bestaande studies kampen met twee hoofdproblemen:

1. Gebrek aan data: Onderzoekers vertrouwen vaak op kleine, niet-online datasets die moeilijk toegankelijk zijn.
2. Tekort aan multimodale middelen: Spiritualiteit wordt online uitgedrukt via tekst, beelden en video's, maar er bestaat geen gestructureerd, geannoteerd dataset dat deze multimodale aspecten combineert. Bovendien is het definiëren en classificeren van abstracte concepten zoals "verbondenheid" (connectedness) complex voor traditionele NLP-methoden.

Methodologie

1. Dataverzameling (SACRED Dataset)
De auteurs hebben SACRED ontwikkeld, het eerste geannoteerde multimodale en meertalige dataset specifiek voor online spiritualiteit. De data is verzameld van drie platformen:

• Reddit: Posts uit 10 spiritualiteitsgerelateerde subreddits (bijv. r/Buddhism, r/Meditation).
• Instagram: Afbeeldingen met bijbehorende bijschriften (captions), hashtags en vermeldingen van 17 tags.
• Quora: Antwoorden op 12 specifieke onderwerpen rondom spiritualiteit en religie.
• Totaal: 6.769 Instagram-afbeeldingen, 3.819 Quora-antwoorden en 4.922 Reddit-posts.

2. Annotatieproces

• Annotatoren: Vijf experts (met een achtergrond in computationele taalkunde en sociale wetenschappen) hebben de data handmatig geannoteerd.
• Gids: Een strikte definitie van spiritualiteit werd gehanteerd: "De zoektocht en beoefening van ervaringen en overtuigingen die de geest beïnvloeden en voeden, persoonlijke groei, betekenis en een gevoel van verbinding met iets groots dan jezelf."
• Classificatie: De annotatoren classificeerden de inhoud op basis van vier types van verbondenheid:
  1. Verbondenheid met Zelf (authenticiteit, innerlijke vrede).
  2. Verbondenheid met Anderen (compassie, dankbaarheid).
  3. Verbondenheid met Natuur (relatie met het ecosysteem).
  4. Verbondenheid met Transcendentie (God, hogere macht, universum).
• Nieuwe categorie: Tijdens de analyse werd een vijfde categorie ontdekt: Verbondenheid met Kunst (creativiteit en artistieke expressie als spirituele kanaal).

3. Evaluatie van Modellen
De auteurs hebben de prestaties van 13 modellen getest op het classificeren van verbondenheidstypes in zowel tekst als beelden:

• Traditionele methoden: Een op regels gebaseerde methode (woordenlijsten) en een fijn-afgestemd (fine-tuned) BERT-model.
• LLMs (Large Language Models): 11 modellen, waaronder LLaMA3.1, Qwen2.5-VL, GPT-4o/mini, DeepSeek-V3, Claude Sonnet-4.5, Gemini-2.5-Flash, en multimodale modellen zoals LLaVA-1.5.
• Experimentele settings: Vergelijking tussen "Zero-shot" (zonder instructies) en "Definition-injected Zero-shot" (met de strikte definitie van spiritualiteit als prompt-instructie).

Belangrijkste Resultaten

1. Prestaties van Modellen

• Tekstclassificatie: DeepSeek-V3 presteerde het beste, met een nauwkeurigheid van 79,19% op de Quora-testset (bij gebruik van de definitie-injectie). Over het algemeen presteerden modellen met ingevoegde definities beter dan hun zero-shot tegenhangers.
• Visuele classificatie: GPT-4o-mini behaalde de hoogste F1-score (63,99%) voor het classificeren van Instagram-afbeeldingen.
• Verrassende bevinding: Qwen2.5-VL (een model van slechts 7 miljard parameters) presteerde opvallend goed in visuele taken (68,31% nauwkeurigheid), beter dan zwaardere modellen zoals LLaVA-1.5 (13B) en Gemma3 (12B).
• Traditionele methoden: Zowel de regelgebaseerde methode als het fine-tuned BERT-model presteerden aanzienlijk slechter dan de geavanceerde LLMs, wat aantoont dat contextueel begrip cruciaal is voor dit type abstracte classificatie.

2. Platformverschillen
Modellen presteerden over het algemeen beter op Reddit-posts en Instagram-bijschriften dan op Quora-antwoorden. De langere, complexere antwoorden op Quora bevatten vaak elementen van meerdere verbondenheidstypes, wat leidde tot meer fouten bij de LLMs die lokaal contextuele aanwijzingen overbetekenden.

3. Nieuwe Inzichten
De studie identificeerde een nieuwe vorm van verbondenheid: Verbondenheid met Kunst. Dit omvat posts over het creëren van of engagement met kunst met spirituele thema's, wat niet volledig paste in de vier oorspronkelijke categorieën.

Bijdragen

1. SACRED Dataset: Het introduceren van het eerste multimodale, meertalige en handmatig geannoteerde dataset voor online spiritualiteitsonderzoek.
2. Evaluatie Framework: Een uitgebreide vergelijking van 13 populaire LLMs en traditionele methoden voor het classificeren van spirituele concepten.
3. Theoretische Uitbreiding: De ontdekking en validatie van "Verbondenheid met Kunst" als een nieuwe dimensie in spirituele communicatie.
4. Open Source: De code en datasets zijn beschikbaar gesteld via GitHub om herhaalbaarheid en verdere research te faciliteren.

Betekenis en Conclusie

Dit paper markeert een belangrijke stap in de computertaling en communicatiewetenschappen door een brug te slaan tussen theologische concepten en moderne AI. De bevindingen tonen aan dat:

• Geavanceerde LLMs (zoals DeepSeek-V3 en GPT-4o-mini) potentieel hebben voor het analyseren van abstracte, persoonlijke concepten, maar nog niet volledig betrouwbaar zijn zonder menselijke begeleiding of strikte instructies.
• Het toevoegen van strikte definities aan prompts (definition-injection) de prestaties aanzienlijk verbetert.
• Er een duidelijke behoefte is aan multimodale datasets om de complexiteit van online spirituele expressie volledig te begrijpen.

De studie benadrukt dat hoewel AI-tools veelbelovend zijn, ze voorzichtig moeten worden ingezet en dat verdere verfijning van zowel de tools als de theoretische modellen nodig is om de nuances van menselijke spiritualiteit correct te interpreteren.