SACRED: A Faithful Annotated Multimedia Multimodal Multilingual Dataset for Classifying Connectedness Types in Online Spirituality

Resumo Técnico: SACRED

1. Problema e Motivação

O estudo aborda a lacuna na pesquisa sobre espiritualidade online, um campo que, embora popular, carece de conjuntos de dados robustos e acessíveis para análise computacional.

• Desafio Principal: Cientistas sociais e pesquisadores de comunicação dependem frequentemente de conjuntos de dados limitados ou não disponíveis publicamente. A análise manual de grandes volumes de dados multimodais (texto e imagem) gerados em plataformas sociais é impraticável devido ao custo e ao tempo.
• Complexidade do Conceito: A espiritualidade é um conceito abstrato, multifacetado e em constante evolução, que transcende culturas. Classificar automaticamente os tipos de "conectividade" (a essência da espiritualidade) em dados online é desafiador para modelos de linguagem tradicionais e requer uma definição rigorosa e anotação de alta fidelidade.

2. Metodologia

A. Criação do Dataset SACRED
Os autores desenvolveram o SACRED, o primeiro conjunto de dados anotado, multimodal, multilíngue e específico para pesquisa de espiritualidade online.

• Coleta de Dados: Dados foram extraídos de três plataformas principais em 1º de setembro de 2024:
  • Reddit: 4.922 posts de 10 subreddits relacionados (ex: r/Buddhism, r/Spirituality).
  • Instagram: 6.769 imagens e suas legendas (captions), coletadas através de 17 hashtags (ex: #meditation, #spiritualawakening).
  • Quora: 3.819 respostas de 12 tópicos relacionados a religiões e filosofias.
• Anotação:
  • Cinco anotadores com formação em Linguística Computacional e ciências sociais realizaram a anotação.
  • Guia de Anotação: Baseado na definição de espiritualidade como "a busca e prática de experiências e crenças que influenciam e nutrem o espírito".
  • Categorias de Conectividade: Os dados foram classificados em quatro dimensões teóricas:
    1. Conectividade com o Eu (autoconhecimento, paz interior).
    2. Conectividade com Outros (compaixão, comunidade).
    3. Conectividade com a Natureza (relação com o mundo natural).
    4. Conectividade com a Transcendência (Deus, universo, realidade superior).
  • Processo: Anotação em duas etapas: (1) Determinar se o conteúdo é espiritual; (2) Classificar o tipo de conectividade. Também foi anotado o idioma (crucial para a dimensão multilíngue).

B. Avaliação de Modelos (LLMs e Tradicionais)
O dataset foi utilizado para avaliar o desempenho de 13 modelos diferentes na classificação de textos e imagens:

• Métodos Tradicionais: Método baseado em regras (dicionários de palavras-chave) e um modelo BERT ajustado (fine-tuned).
• Modelos de Linguagem (LLMs):
  • Texto: LLaMA3.1, DeepSeek-V3, GPT-4o, GPT-4o-mini, GPT-4.1-mini, Claude Sonnet-4.5, Reka, Gemma3.
  • Multimodal (Visão + Texto): Qwen2.5-VL, LLaVA-1.5, GPT-4o, GPT-4o-mini, Gemini-2.5-Flash.
• Configuração Experimental: Os modelos foram testados em configurações zero-shot e zero-shot com injeção de definições (fornecendo a definição teórica de cada tipo de conectividade no prompt).

3. Contribuições Principais

1. Dataset SACRED: A criação do primeiro dataset anotado multimodal e multilíngue focado especificamente na classificação de tipos de conectividade espiritual online.
2. Descoberta de uma Nova Categoria: Através da análise de dados não classificados pelas quatro categorias originais, o estudo identificou uma nova forma de conectividade: Conectividade com a Arte (Connectedness to Art). Esta categoria engloba posts sobre criação artística, expressão criativa e influência literária como formas de conexão espiritual, sugerindo uma expansão necessária das teorias existentes.
3. Benchmarking de LLMs: Uma avaliação abrangente do estado da arte, comparando modelos proprietários (OpenAI, Anthropic, Google) e open-source (DeepSeek, Qwen, LLaMA) em tarefas complexas de compreensão semântica abstrata e visão computacional aplicada à religião.

4. Resultados Chave

• Desempenho em Texto:

  • O modelo DeepSeek-V3 obteve o melhor desempenho geral na classificação de textos, alcançando 79,19% de precisão no conjunto de teste do Quora (com injeção de definições).
  • A injeção de definições teóricas nos prompts melhorou consistentemente o desempenho de todos os modelos, indicando que o contexto é crucial para conceitos abstratos.
  • Métodos tradicionais (regras e BERT) foram superados pelos LLMs avançados, destacando a capacidade dos LLMs de entender nuances contextuais.

• Desempenho em Imagens (Visão):

  • O modelo GPT-4o-mini superou todos os outros na classificação de imagens espirituais, alcançando um F1-score de 63,99%.
  • Surpreendentemente, o modelo Qwen2.5-VL (7B parâmetros) superou modelos maiores como LLaVA-1.5 (13B) e Gemma3 (12B), alcançando 68,31% de precisão, demonstrando alta eficiência em tarefas visuais com menos parâmetros.

• Análise por Plataforma:

  • Os modelos tiveram melhor desempenho no Reddit e Instagram (legendas) do que no Quora.
  • Erro no Quora: As respostas do Quora tendem a ser longas e conter múltiplos tipos de conectividade simultaneamente, o que confunde os modelos que tendem a focar em pistas contextuais locais, levando a classificações incorretas.

5. Significado e Implicações

• Avanço Científico: O SACRED fornece uma base fundamental para pesquisadores de ciências da comunicação e teologia estudarem a espiritualidade digital de forma quantitativa e escalável.
• Limitações e Futuro: O estudo reconhece que, embora os LLMs sejam promissores, eles ainda não são totalmente confiáveis para conceitos abstratos sem orientação rigorosa (podem alucinar ou ignorar restrições de prompt). Além disso, o dataset é predominantemente em inglês, limitando a generalização global.
• Impacto Prático: A descoberta da "Conectividade com a Arte" sugere que as teorias de espiritualidade precisam ser atualizadas para incluir a expressão criativa como um pilar fundamental da experiência espiritual humana online.
• Aplicabilidade: O dataset e os resultados servem como um guia para o desenvolvimento de ferramentas de IA mais precisas para monitoramento de saúde mental, análise de discurso religioso e compreensão de tendências culturais em plataformas sociais.

Em suma, o artigo demonstra que, embora os modelos de IA modernos (especialmente DeepSeek-V3 e GPT-4o-mini) tenham um potencial significativo para analisar a espiritualidade online, a colaboração humana na criação de datasets de alta qualidade e a definição clara de conceitos teóricos são indispensáveis para obter resultados fiéis.