From Daily Song to Daily Self: Supporting Reflective Songwriting of Deaf and Hard-of-Hearing Individuals through Generative Music AI

이 논문은 생성형 AI 를 활용한 'SoulNote' 시스템을 통해 청각 장애인들이 반복적인 작곡 활동을 통해 자기 성찰, 감정 조절, 그리고 일상적 자기 돌봄 태도를 포함한 정서적 성장을 도모할 수 있음을 다중 세션 연구를 통해 입증합니다.

핵심

🎵 핵심 이야기: "매일 노래를 부르면, 매일의 나도 달라진다"

1. 왜 이 연구가 필요할까요? (문제 상황)

세상은 소리를 중심으로 돌아가기 때문에, 청각 장애를 가진 분들은 감정을 표현하거나 소통하는 데 어려움을 겪을 때가 많습니다. 마치 입이 막힌 채로 속마음을 토해내야 하는 상황과 비슷하죠.
기존에 음악 치료나 노래 만들기는 좋았지만, 한 번만 하고 끝나는 경우가 많았습니다. 하지만 진짜 마음의 치유는 '한 번의 폭발'이 아니라, 매일 꾸준히 '일기'를 쓰듯 반복하는 과정에서 일어납니다.

2. 해결책: '소울노트 (SoulNote)'라는 AI 비서

연구팀은 **'소울노트 (SoulNote)'**라는 AI 시스템을 만들었습니다. 이 시스템은 다음과 같은 역할을 합니다.

• 요리사 (AI) 와 손님 (사용자):
  사용자가 "오늘 마음이 무겁고 우울해"라고 말하면, AI 는 "그럼 우울한 마음을 달래주는 차분한 멜로디와 위로의 가사를 만들어볼까요?"라고 물어봅니다.

  • 비유: 사용자가 **재료 (감정, 경험)**를 제공하고, AI 는 그것을 **요리 (노래)**로 만들어주는 요리사입니다. 사용자가 요리를 할 줄 몰라도 (음악 지식이 없어도), AI 가 도와주면 맛있는 요리를 완성할 수 있습니다.

• 대화형 일기장:
  단순히 "노래 만들어줘"라고 치는 게 아니라, AI 가 "오늘 어떤 장면이 가장 기억나요?", "그때 어떤 색이 떠올라요?"라고 질문을 던져줍니다.

  • 비유: AI 는 가장 친한 친구이자 상담사처럼, 사용자의 이야기를 들으며 구체적인 장면 (이미지) 을 떠올리게 도와줍니다.

3. 이 시스템이 어떻게 작동할까요? (4 단계 과정)

사용자가 소울노트를 열면 다음과 같은 4 단계를 거칩니다.

1. 주제 정하기: "오늘은 어떤 감정을 노래로 만들고 싶나요?" (예: 직장 스트레스, 가족에 대한 그리움)
2. 가사 쓰기: AI 가 질문을 던져주면, 사용자가 답변을 합니다. AI 는 그 답변을 바탕으로 가사 초안을 만들어줍니다.
   • 중요한 점: 사용자가 직접 가사를 고칠 수 있는 창이 있어서, "이 부분은 더 희망차게 바꿔줘"라고 수정할 수 있습니다.
3. 음악 만들기: 가사가 완성되면, AI 는 그 감정에 맞는 **음악 (멜로디, 악기, 분위기)**을 자동으로 만들어줍니다.
   • 특징: 청각 장애가 있어도 **시각화 (색깔, 모양)**를 통해 소리를 '볼' 수 있게 해줍니다. (예: 낮은 소리는 진한 파란색, 높은 소리는 밝은 노란색 점으로 표현)
4. 감상 및 보관: 만들어진 노래를 듣고, 과거에 만들었던 노래들을 다시 들어보며 자신의 변화를 돌아봅니다.

4. 실제 효과는 어땠나요? (12 주간의 실험)

연구팀은 청각 장애가 있는 12 명의 분에게 3 주 동안 매일 이 시스템을 사용하게 했습니다. 결과는 놀라웠습니다.

• 자신에 대한 이해 (Self-insight):

  • 비유: 거울을 비추듯, AI 가 만들어준 가사를 통해 자신의 감정을 객관적으로 바라볼 수 있게 되었습니다.
  • "내가 왜 이렇게 슬픈지, 그 감정이 어떤 모양인지"를 노래로 표현하면서, 감정을 더 명확하게 이해하게 되었습니다.

• 감정 조절 (Emotion Regulation):

  • 비유: 노래가 마음의 방패가 되었습니다.
  • 힘들 때 자신이 만든 노래를 들으면 "아, 내가 이걸로 이겨낼 수 있구나"라는 위로를 받았습니다. 특히 AI 가 "지금 슬픈 마음이니까 차분한 피아노 곡을 만들어볼까?"라고 추천해주면, 그 음악을 통해 감정이 진정되었습니다.

• 일상 속 태도 변화:

  • 비유: 노래를 만든 용기가 실제 대화의 용기로 이어졌습니다.
  • 시스템 안에서 감정을 표현하는 연습을 하다 보니, 실제 가족이나 동료에게도 "오늘 힘들었어"라고 솔직하게 말하게 되었습니다.

5. 왜 이 연구가 특별한가요?

기존의 기술은 "노래를 만들어주는 도구"에 그쳤다면, 이 연구는 **"노래를 통해 마음을 치유하고 성장하는 도구"**를 만들었습니다.

• 단순한 기술이 아닌 치유: AI 가 단순히 노래를 지어주는 게 아니라, 음악 치료사처럼 질문을 던지고, 사용자의 이야기를 존중하며, 때로는 팩트 (사실) 그대로를 노래에 담아주어 사용자가 자신을 있는 그대로 받아들이게 돕습니다.
• 지속 가능성: 한 번 하고 끝나는 게 아니라, 매일 일기를 쓰듯 꾸준히 사용할 수 있도록 설계되었습니다.

🌟 한 줄 요약

"소울노트는 청각 장애가 있는 분들이 AI 요리사와 함께 '감정'이라는 재료를 요리해, 매일 새로운 '노래'라는 치유의 약을 만들어내는 시스템입니다. 이 과정을 통해 그들은 자신의 마음을 더 깊이 이해하고, 힘든 일상 속에서도 더 단단해질 수 있었습니다."

기술 요약

논문 개요

이 연구는 청각 장애 및 난청 (DHH, Deaf and Hard-of-Hearing) 개인을 위한 생성형 AI 기반 음악 작곡 시스템 **'SoulNote'**를 개발하고, 이를 통한 반복적인 작곡 활동이 DHH 개인의 정서적 성찰과 심리적 안녕에 미치는 장기적 영향을 탐구합니다. 기존 연구가 단일 세션의 접근성이나 즉각적인 정서적 이점에 집중했다면, 본 연구는 작곡을 일기 쓰기 (Journaling) 와 유사한 장기적 실천으로 확장하여, DHH 개인이 음악을 매개로 한 자기 발견과 정서 조절을 지속할 수 있도록 지원합니다.

1. 연구 배경 및 문제 제기 (Problem)

• 소통의 제약과 심리적 고립: 청각 중심 사회에서 DHH 개인은 소통의 어려움으로 인해 사회적 고립, 낮은 자존감, 부정적 자아 인식을 경험할 수 있습니다.
• 음악 작곡의 장벽: 기존 음악 GenAI 도구는 기술적 진입 장벽을 낮추었지만, DHH 사용자가 자신의 개인적 서사를 가사와 음악으로 구체화하는 과정, 특히 정서를 언어화하고 음악적 형태로 변환하는 데 여전히 어려움을 겪습니다.
• 단일 세션의 한계: 기존 연구는 대부분 단발성 세션에 집중하여, 정서 처리의 역동성을 포착하거나 장기적인 정서적 성장 (Self-insight, Regulation) 을 유도하는 데 한계가 있었습니다. 일기 쓰기와 심리 치료 연구는 반복적인 자기 표현이 정신 건강에 필수적임을 시사합니다.

2. 방법론 (Methodology)

연구는 사용자 중심 설계 (User-Centered Design) 과정을 거쳐 시스템을 개발하고, 현장 실험 (In-the-wild study) 을 통해 검증했습니다.

2.1 시스템 설계 및 개발 (SoulNote)

• 디자인 워크숍: DHH 전문 음악 치료사 4 명과 협업하여 대화 전략과 안전성을 확보했습니다.
  • 핵심 전략: 구조화된 4 단계 작곡 프로세스 (음악 컨셉 설정 → 가사 생성 → 음악 생성 → 감상 및 논의), 서사 기반 질문 (구체적 이미지/장면 유도), 지원적이지만 과장되지 않은 응답.
• 예비 연구 (Lab-based Usage Study): DHH 사용자 12 명을 대상으로 초기 프로토타입의 사용성과 안정성을 평가하고, 가사 수정 인터페이스 개선 및 아카이빙 기능 필요성을 도출했습니다.
• 시스템 아키텍처:
  • 프론트엔드: Next.js 기반 웹 애플리케이션.
  • 백엔드: Flask, AWS EC2.
  • AI 모델:
    • 대화 에이전트 (CA): OpenAI GPT-4.1 (구조화된 상태 - 슬롯 기반 프롬프트 설계).
    • 음악 생성: Mureka.ai API (텍스트/가사를 멜로디, 화성, 악기 편곡이 포함된 완성된 곡으로 변환).
    • 시각화: MusicAI API 를 통해 리듬, 피치, 가사, 분위기를 시각적 요소 (블록, 점, 색상 등) 로 변환하여 청각 장애인이 음악을 '보고' 느낄 수 있도록 지원.
  • 주요 기능: 대화형 작곡 인터페이스, 직접 가사 편집 인터페이스, 멀티모달 음악 감상 및 아카이브 (과거 곡 재감상 및 성찰).

2.2 현장 실험 (In-the-Wild Diary Study)

• 참가자: DHH 개인 12 명 (20 대~50 대, 보조 청각 기기 사용, 문자 기반 소통 가능).
• 절차: 3 주 동안 총 12 회기 (주 4 회) 에 걸쳐 SoulNote 를 자유롭게 사용.
• 데이터 수집: 대화 로그, 주간 일기, 인터뷰, 행동 로그 (가사 편집 시간, 재감상 횟수 등).
• 추가 연구 (Mechanism Study): 텍스트만, CA 만, 음악 생성만, 통합 SoulNote 의 4 가지 조건을 비교하여 각 채널의 기여도를 분석 (참가자 10 명).

3. 주요 기여 (Key Contributions)

1. 다단계 사용자 중심 시스템 설계: 음악 치료사, DHH 사용자 참여를 통한 반복적 설계를 통해 DHH 개인에게 안전하고 지속 가능한 작곡 환경을 구축했습니다.
2. 반성적 작곡 지원 시스템 (SoulNote) 개발: 대화형 에이전트, 가사 편집, 멀티모달 감상, 아카이브를 통합하여 일기 쓰기 형식의 자기 표현을 지원하는 시스템을 구현했습니다.
3. 장기적 효과에 대한 현장 검증: 12 회기 일기 연구를 통해 반복적인 작곡이 DHH 개인의 정서적 통찰, 조절 전략, 일상적 태도 변화에 미치는 영향을 질적으로 규명했습니다.

4. 연구 결과 (Results)

4.1 정서적 성장의 3 차원

1. 자기 통찰 (Self-insight) 증진:
   • CA 의 구체적 이미지 기반 질문 (예: "어떤 장면이 떠오르나요?") 이 참여자들에게 과거, 현재, 미래의 경험을 시각화하게 하여 상황을 명확히 인식하게 했습니다.
   • 반복적인 가사 작성과 수정을 통해 부정적 경험을 재해석하고, 자기 수용 (Self-acceptance) 을 높였습니다.
2. 정서 조절 (Emotion Regulation) 전략 탐색:
   • CA 가 제안하는 맥락 기반 음악 스타일 (분위기, 악기, 템포) 을 통해 참여자들은 다양한 음악적 요소를 실험하며 정서를 조절하는 새로운 방법을 발견했습니다.
   • 생성된 음악은 즉각적인 위안과 정서적 이완을 제공했습니다.
3. 일상적 태도 및 행동 변화:
   • 작곡을 통해 억눌렀던 감정을 표현한 경험은 가족, 동료와의 실제 소통으로 이어졌습니다.
   • 생성된 곡들을 '자기 관리 자원'으로 활용하여 어려운 상황에서 다시 들으며 동기부여를 얻거나 대처 전략을 강화했습니다.

4.2 메커니즘 분석 결과

• 통합 시스템의 우월성: 텍스트만, CA 만, 음악만 사용하는 조건보다 SoulNote(통합) 조건에서 자기 인식 (Self-awareness), 자기 표현, 정서 변화 점수가 통계적으로 유의미하게 높았습니다.
• 서사적 대화와 음악의 시너지: 대화로 서사를 구체화하고, 이를 음악으로 변환하는 과정이 DHH 개인에게 정서적 부담을 줄이면서도 깊은 성찰을 가능하게 했습니다.

5. 의의 및 결론 (Significance)

• 접근성 확대: 생성형 AI 를 활용하여 음악 작곡의 기술적 장벽을 허물고, DHH 개인에게 새로운 자기 표현의 통로를 제공했습니다.
• 일상적 실천으로서의 예술: 작곡을 단순한 일회성 활동이 아닌, 매일의 성찰과 자기 발견을 위한 일기 쓰기 (Journaling) 로 재정의하여 지속 가능한 심리적 지원 도구로 제시했습니다.
• 안전한 AI 설계의 모범: 음악 치료사의 개입과 윤리적 가이드라인을 통해 생성형 AI 가 취약 계층에게 정서적 위험을 초래하지 않도록 안전 장치를 마련한 사례입니다.
• 향후 방향: 수어 (Sign Language) 기반 인터페이스 확장, 더 다양한 DHH 커뮤니티 참여, 그리고 더 정교한 음악 생성 제어 (청각 특성에 맞춘 맞춤형) 를 위한 연구가 필요함을 제언합니다.

이 연구는 생성형 AI 가 소외된 커뮤니티의 정서적 성장을 지원하고, 창의적 표현을 통한 자기 치유를 가능하게 하는 강력한 도구가 될 수 있음을 입증했습니다.