SACRED: A Faithful Annotated Multimedia Multimodal Multilingual Dataset for Classifying Connectedness Types in Online Spirituality

1. Planteamiento del Problema

El estudio aborda la falta de recursos de datos de alta calidad para investigar la espiritualidad en línea. Aunque la espiritualidad es un fenómeno humano fundamental que trasciende culturas, los científicos sociales a menudo dependen de conjuntos de datos limitados o no disponibles públicamente. Además, la investigación actual carece de:

• Datos multimodales: La mayoría de los estudios se centran solo en texto, ignorando el componente visual crucial en plataformas como Instagram.
• Multilingüismo: Existe una escasez de datos que abarquen diversas lenguas más allá del inglés.
• Evaluación de LLMs: No se ha evaluado sistemáticamente cómo los Grandes Modelos de Lenguaje (LLMs) y los enfoques tradicionales pueden clasificar conceptos abstractos de espiritualidad y los tipos de "conectividad" en entornos digitales.

2. Metodología

Creación del Dataset SACRED

Los autores desarrollaron SACRED, el primer conjunto de datos anotado, multimodal, multilingüe y específico para la investigación de espiritualidad en línea.

• Fuentes de Datos: Se extrajeron datos de tres plataformas principales mediante scripts de Python (PRAW para Reddit, instagram-scraper para Instagram y quora-plus-bypass para Quora).
  • Reddit: 4,922 publicaciones de 10 subreddits relacionados (ej. Buddhism, Meditation).
  • Instagram: 6,769 imágenes junto con sus leyendas (captions), hashtags y menciones de 17 etiquetas temáticas.
  • Quora: 3,819 respuestas de 12 temas relacionados con la espiritualidad.
• Proceso de Anotación:
  • Participaron cinco anotadores con formación en Lingüística Computacional y ciencias sociales.
  • Se utilizó un libro de códigos estricto basado en una definición operativa de espiritualidad: "La búsqueda y práctica de experiencias y creencias que influyen y nutren el espíritu, fomentando el crecimiento personal, el significado y un sentido de conexión con algo mayor que uno mismo".
  • Clasificación: Se identificó si el contenido era espiritual y se clasificó en cuatro tipos de conectividad:
    1. Conectividad con el Yo (autenticidad, paz interior).
    2. Conectividad con los Otros (compasión, gratitud).
    3. Conectividad con la Naturaleza (relación con el mundo natural).
    4. Conectividad con la Trascendencia (Dios, universo, poder superior).
  • También se registró el idioma de las publicaciones y el contenido visual.

Evaluación Experimental

Se evaluó el rendimiento de 13 modelos (11 LLMs y 2 enfoques tradicionales) en tareas de clasificación de texto e imagen:

• Modelos Evaluados: Incluyeron LLaMA3.1, Qwen2.5-VL, GPT-4o/mini, DeepSeek-V3, Claude Sonnet-4.5, Gemini-2.5-Flash, Reka, Gemma3, LLaVA-1.5, y modelos de código abierto.
• Configuraciones: Se compararon enfoques zero-shot (sin contexto previo) contra configuraciones definition-injected (inyección de definiciones de los tipos de conectividad en el prompt).
• Métodos Tradicionales: Se incluyeron un método basado en reglas (diccionarios de palabras clave) y un modelo BERT fine-tuned.

3. Contribuciones Clave

1. Dataset SACRED: La creación del primer conjunto de datos anotado multimodal y multilingüe dedicado a la comunicación de espiritualidad en línea, cubriendo texto e imágenes.
2. Evaluación Exhaustiva de LLMs: Una comparación rigurosa del rendimiento de 13 modelos de vanguardia en la clasificación de conceptos abstractos espirituales, demostrando la superioridad de ciertos modelos sobre los métodos tradicionales.
3. Descubrimiento de una Nueva Categoría: El análisis de los datos reveló un tipo de conectividad no previsto inicialmente: "Conectividad con el Arte". Esta categoría abarca publicaciones donde la espiritualidad se expresa a través de la creación artística, la interpretación literaria o la influencia de obras creativas, lo cual enriquece la teoría de la comunicación espiritual.
4. Recursos Abiertos: El código y los datos están disponibles públicamente en GitHub para fomentar futuras investigaciones.

4. Resultados Principales

• Rendimiento en Texto:

  • El modelo DeepSeek-V3 obtuvo el mejor rendimiento general en la clasificación de textos, alcanzando una precisión del 79.19% en el conjunto de pruebas de Quora (configuración con definiciones inyectadas).
  • La inyección de definiciones mejoró consistentemente el rendimiento de los modelos en comparación con el modo zero-shot (ej. LLaMA3.1 mejoró de 45.27% a 54.05% en captions de Instagram).
  • Los métodos tradicionales (basados en reglas y BERT fine-tuned) mostraron un rendimiento inferior, destacando la necesidad de comprensión contextual que solo los LLMs avanzados pueden ofrecer.

• Rendimiento en Imágenes:

  • En la tarea de clasificación visual, GPT-4o-mini superó a todos los demás modelos con un F1-score de 63.99%.
  • Sorprendentemente, Qwen2.5-VL (un modelo de 7B parámetros) logró una precisión del 68.31%, superando a modelos más grandes como LLaVA-1.5 (13B) y Gemma3 (12B).
  • Los modelos pequeños de código abierto mostraron dificultades para seguir instrucciones estrictas y formatear salidas correctamente en comparación con los modelos propietarios.

• Análisis por Plataforma:

  • Los modelos tuvieron un mejor rendimiento en Reddit y las leyendas de Instagram que en las respuestas de Quora.
  • El análisis de errores indicó que las respuestas largas de Quora a menudo contienen múltiples tipos de conectividad, lo que confunde a los LLMs que tienden a enfocarse en señales contextuales locales en lugar del tema dominante.

5. Significado e Impacto

• Avance en Ciencias de la Comunicación: El estudio demuestra que los LLMs pueden ser herramientas efectivas, aunque no infalibles, para analizar conceptos abstractos y profundamente personales como la espiritualidad, siempre que se les proporcione contexto adecuado (definiciones).
• Nueva Perspectiva Teórica: La identificación de la "Conectividad con el Arte" sugiere que la espiritualidad en línea es más diversa de lo que teorías anteriores (basadas en cuatro dimensiones) sugerían, ofreciendo nuevas vías para la investigación en ciencias de la comunicación y psicología.
• Limitaciones y Futuro: Aunque el dataset es multilingüe, el inglés sigue siendo dominante. Los autores reconocen la necesidad de expandir la diversidad lingüística y cultural en futuras iteraciones para lograr una representación global más precisa.
• Herramienta para Investigadores: SACRED proporciona una base sólida para el desarrollo de herramientas computacionales en el estudio de la religión y la espiritualidad, permitiendo análisis a gran escala que antes eran inviables manualmente.

En conclusión, el artículo establece un nuevo estándar para la investigación computacional de la espiritualidad, combinando rigor en la anotación humana con la potencia de la inteligencia artificial moderna para desentrañar las complejidades de la conexión humana en el entorno digital.