SACRED: A Faithful Annotated Multimedia Multimodal Multilingual Dataset for Classifying Connectedness Types in Online Spirituality
이 논문은 온라인 영성 커뮤니케이션에서 연결성 유형을 분류하기 위해 사회과학자들과 협력하여 개발한 최초의 멀티모달 멀티언어 데이터셋 'SACRED'를 소개하고, 이를 통해 다양한 LLM 및 전통적 접근법의 성능을 평가하여 DeepSeek-V3 와 GPT-4o-mini 모델이 각기 텍스트 및 시각 작업에서 우수한 성능을 보임을 입증했습니다.
이 연구는 마치 인간이 느끼는 '영적인 연결감'을 지도로 그려내고, 최신 AI 가 그 지도를 얼마나 잘 읽을 수 있는지 테스트한 이야기입니다.
1. 왜 이 연구가 필요했을까? (배경)
과거에는 영성 (종교, 명상, 마음의 평화 등) 을 연구할 때 학자들이 직접 수천 개의 글을 읽고 분류해야 했습니다. 하지만 인터넷 시대에는 영성에 관한 글과 사진이 너무 쏟아져서 사람이 다 읽을 수 없게 되었죠.
비유: 마치 **거대한 바다에 떠 있는 수많은 보석 (영성 콘텐츠)**을 찾는데, 사람 손으로 하나하나 건져 올리는 건 불가능한 상황입니다. 그래서 우리는 **보석을 찾아내는 자동 로봇 (AI)**이 필요했습니다.
2. SACRED 데이터셋이란 무엇인가? (도구)
연구팀은 Reddit, Instagram, Quora 같은 곳에서 영성과 관련된 글과 사진을 모아서 **'SACRED'**라는 거대한 보물상자를 만들었습니다.
특징: 이 보물상자에는 단순히 글만 있는 게 아니라, 사진과 글이 섞여 있는 멀티미디어 자료들이 들어 있습니다.
작업: 연구팀은 이 보물상자 속 자료들을 5 명의 전문가가 꼼꼼히 분류했습니다. 마치 보물상자 속 보석들을 색깔과 모양에 따라 정성스럽게 분류하는 작업이었죠.
3. 영성의 4 가지 연결 유형 (분류 기준)
연구팀은 영성을 크게 4 가지 유형으로 나누어 분류했습니다.
나 자신과의 연결 (Self): 명상, 자기 성찰, 내면의 평화.
비유:거울을 보며 나만의 이야기를 듣는 시간.
타인과의 연결 (Others): 연민, 봉사, 감사, 공동체.
비유:친구와 손을 잡고 서로의 마음을 나누는 것.
자연과의 연결 (Nature): 숲, 바다, 지구와의 교감.
비유:바람을 느끼며 나무와 하나가 되는 느낌.
초월적 존재와의 연결 (Transcendence): 신, 우주, 더 높은 차원의 존재.
비유:우주의 거대한 흐름 속에 내가 있다는 느낌.
새로운 발견: 분류하다 보니 기존 4 가지에 딱 들어맞지 않는 **'예술 (Art) 을 통한 영성'**이라는 새로운 연결 유형도 발견했습니다. 그림이나 음악을 통해 영성을 느끼는 경우죠.
4. AI 실험 결과: 누가 가장 영성을 잘 이해할까? (평가)
연구팀은 이 SACRED 데이터셋을 이용해 **13 가지 최신 AI 모델 (LLM)**에게 "이 글/사진은 어떤 영성 유형일까?"라고 물어보았습니다.
텍스트 (글) 분류:DeepSeek-V3라는 AI 가 가장 잘했습니다. (정확도 약 79%)
비유:DeepSeek-V3 는 영적인 글을 읽을 때, 마치 고대 성서를 해석하는 학자처럼 깊이 있게 이해했습니다.
이미지 (사진) 분류:GPT-4o-mini가 가장 잘했습니다. (F1 점수 약 64%)
비유:GPT-4o-mini 는 사진 속의 분위기나 상징을 눈으로 보고 영성을 감지하는 데 능통했습니다.
전통적인 방법 vs AI: 예전 방식 (단순 키워드 검색) 이나 작은 AI 모델들은 영성의 미묘한 뉘앙스를 놓치는 경우가 많았습니다. 하지만 최신 대형 AI 는 문맥을 이해하는 능력이 뛰어나 훨씬 좋은 결과를 냈습니다.
5. 결론 및 시사점
이 연구는 인공지능이 이제 인간의 '영적인 감정'을 어느 정도 이해할 수 있는 단계에 왔음을 보여줍니다. 하지만 아직 완벽하지는 않습니다.
한계: AI 는 때로는 지시사항을 무시하고 엉뚱한 답을 하거나 (할루시네이션), 긴 글에서는 핵심을 놓치기도 합니다.
의의: 하지만 SACRED 라는 데이터셋이 만들어졌기 때문에, 앞으로는 AI 를 이용해 전 세계의 영성 흐름을 분석하고, 더 나은 정신 건강 서비스를 만드는 데 큰 도움이 될 것입니다.
🎁 한 줄 요약
"인간이 느끼는 복잡한 영적인 감정을 4 가지 유형으로 나누어 지도를 만들고, 최신 AI 가 그 지도를 얼마나 잘 읽는지 시험한, 디지털 시대의 영성 탐험 기록입니다."
1. 연구 배경 및 문제 제기 (Problem)
연구의 필요성: 종교학 및 신학 연구에서 영성 (Spirituality) 은 문화를 초월하고 개인에게 고유한 경험을 제공한다는 점에서 중요하게 다루어지고 있습니다. 그러나 사회과학자들은 온라인에서 쉽게 접근할 수 있는 고품질 데이터셋이 부족하여 연구에 제약을 받고 있습니다.
기존 한계: 기존 연구는 주로 텍스트 분석에 의존하거나, 수동 주석이 필요한 소규모 데이터를 사용했습니다. 또한, 온라인 영성 커뮤니케이션의 다중 양식 (Multimodal: 텍스트, 이미지) 특성을 포괄하는 체계적인 데이터셋은 존재하지 않았습니다.
핵심 과제: 온라인 영성 콘텐츠의 추상적인 개념 (연결성, 영성) 을 정확하게 분류하고, 다양한 대규모 언어 모델 (LLM) 의 성능을 평가할 수 있는 신뢰할 수 있는 멀티모달 데이터셋이 필요합니다.
2. 방법론 (Methodology)
가. 데이터셋 구축 (SACRED Dataset Creation)
데이터 수집: Reddit, Instagram, Quora 세 가지 플랫폼에서 영성 관련 데이터를 수집했습니다.
Reddit: 'Buddhism', 'Christianity', 'Meditation' 등 10 개의 서브레딧에서 4,922 개의 포스트.
Instagram: 17 개의 해시태그 (#spirituality, #meditation 등) 를 통해 6,769 개의 이미지 및 캡션.
Quora: 'Spirituality', 'Theology' 등 12 개의 주제에서 3,819 개의 답변.
주석 작업 (Annotation):
주석자: 계산 언어학 전공자 5 명 (사회과학 및 인문학 배경 보유).
주석 가이드: 영성의 엄격한 정의 (자아, 타인, 자연, 초월과의 연결을 추구하는 경험) 를 바탕으로 주석.
분류 체계: 기존 4 가지 '연결성 (Connectedness)' 유형으로 분류:
자아와의 연결 (Self): 내면의 평화, 자기 인식, 의미 추구.
타인과의 연결 (Others): 연민, 감사, 공동체 의식.
자연과의 연결 (Nature): 생태계와의 관계, 자연 치유.
초월과의 연결 (Transcendence): 신, 우주, 고차원적 존재와의 연결.
다중 양식 처리: 텍스트 (캡션, 답변) 와 이미지 (인스타그램) 를 모두 주석하며, 언어 식별 (영어 외 다국어 포함) 도 수행.
나. 실험 설정 및 평가
평가 대상 모델: 13 개의 모델 (11 개 LLM + 2 개 전통적 모델).
LLM: DeepSeek-V3, GPT-4o/mini, Claude Sonnet-4.5, Gemini-2.5, Qwen2.5-VL, LLaMA3.1, LLaVA-1.5 등.
전통적 모델: 규칙 기반 (Rule-based) 방법, 파인튜닝된 BERT.
실험 조건:
Zero-shot: 정의 없이 직접 분류.
Definition-injected: 영성 및 연결성 유형에 대한 엄격한 정의를 프롬프트에 주입하여 분류.
평가 지표: 정확도 (Accuracy), F1 점수, 정밀도 (Precision), 재현율 (Recall).
3. 주요 기여 (Key Contributions)
SACRED 데이터셋 공개: 온라인 영성 연구용 최초의 멀티모달 (텍스트 + 이미지), 다국어, 다중 양식 주석 데이터셋을 구축하고 공개했습니다.
새로운 연결성 유형 발견: 기존 4 가지 유형에 맞지 않는 12 개의 포스트를 분석하여 **'예술과의 연결 (Connectedness to Art)'**이라는 새로운 유형을 발견했습니다. 이는 예술적 표현이나 문학적 영향을 통해 영성을 경험하는 경우를 포함합니다.
LLM 성능 벤치마킹: 온라인 영성이라는 추상적인 개념 분류를 위한 13 개 모델의 성능을 체계적으로 비교 평가했습니다.
4. 주요 결과 (Results)
가. 텍스트 분류 성능
최고 성능 모델:DeepSeek-V3가 모든 방법 중 가장 우수한 성능을 보였습니다. 특히 Quora 테스트 세트에서 정의 주입 (Definition-injected) 설정 시 79.19% 의 정확도를 기록했습니다.
정의 주입의 효과: 대부분의 모델에서 정의가 포함된 프롬프트가 Zero-shot 보다 성능이 향상되었습니다 (예: LLaMA3.1 의 Instagram 캡션 분류 정확도 45.27% → 54.05% 상승).
전통적 모델의 한계: 규칙 기반 및 BERT 파인튜닝 모델은 최신 LLM 보다 성능이 낮아, 맥락 이해가 중요한 복잡한 작업에서는 LLM 의 우위가 확인되었습니다.
나. 이미지 분류 성능
최고 성능 모델:GPT-4o-mini가 시각적 영성 연결성 분류에서 63.99% 의 F1 점수로 가장 높은 성능을 보였습니다.
작은 모델의 놀라운 성능: 70 억 파라미터 규모의 Qwen2.5-VL이 130 억 (LLaVA-1.5) 및 120 억 (Gemma3) 파라미터 모델을 능가하는 68.31% 의 정확도를 기록했습니다.
오류 분석: Quora 답변은 길고 여러 연결성 유형이 혼재되어 있어 LLM 이 주된 유형을 파악하는 데 어려움을 겪는 경향이 있었습니다.
다. 데이터 통계
영성 관련 콘텐츠 비율: Quora(53.94%) > Instagram 이미지 (28.87%) > Instagram 캡션 (21.27%) > Reddit(17.76%).
언어 분포: Instagram 캡션과 이미지에서 영어 외 독일어, 스페인어, 중국어, 아랍어 등 다양한 언어가 사용되었으나, 영어가 주를 이루었습니다.
5. 의의 및 결론 (Significance & Conclusion)
학문적 의의:
온라인 영성 연구에 필수적인 고품질 멀티모달 데이터셋을 제공함으로써, 사회과학과 계산 언어학의 융합 연구를 촉진합니다.
'예술과의 연결'과 같은 새로운 영성 유형을 발견하여 영성 이론을 확장했습니다.
기술적 시사점:
추상적이고 개인적인 개념인 영성을 분류하는 데 있어 최신 LLM(특히 DeepSeek-V3, GPT-4o-mini) 이 유망한 도구임을 입증했습니다.
하지만 모델이 여전히 할루시네이션 (지시 사항 무시) 이나 맥락 오해의 오류를 범할 수 있으므로, 엄격한 정의 주입과 인간 검증이 필요함을 강조했습니다.
한계 및 향후 과제: 현재 데이터셋이 영어 중심이며, 독일어/스페인어 등 다른 언어의 표본이 부족합니다. 향후 더 다양한 문화적 맥락과 플랫폼의 데이터를 포함하여 데이터셋을 확장할 계획입니다.
이 논문은 온라인 영성 커뮤니케이션을 이해하고 분석하기 위한 새로운 기준을 제시하며, 계산 사회과학 및 디지털 종교 연구 분야에서 중요한 이정표가 될 것으로 기대됩니다.