Designing a Generative AI-Assisted Music Psychotherapy Tool for Deaf and Hard-of-Hearing Individuals

이 논문은 대화형 에이전트와 음악 생성 AI 를 통합하여 청각 장애인이 시각적 은유와 공감적 지원을 통해 감정을 표현하고 자기 이해를 깊게 할 수 있도록 돕는 공동 설계된 음악 심리 치료 도구와 그 유효성을 23 명 대상 연구로 입증했습니다.

핵심

이 논문은 **"귀가 들리지 않거나 잘 들리지 않는 분들을 위한 AI 음악 심리치료 도구"**를 개발하고 테스트한 연구 결과입니다.

기존의 음악 치료는 '소리'에 의존하기 때문에 청각 장애인이 참여하기 어려웠습니다. 하지만 이 연구팀은 **"소리가 없어도 마음은 노래할 수 있다"**는 아이디어로, AI(인공지능) 와 대화하며 가사를 쓰고, AI 가 그걸로 음악을 만들어주는 새로운 방식을 만들었습니다.

이 복잡한 연구를 마치 동화 속 이야기처럼 쉽게 설명해 드릴게요.

---

🎵 1. 왜 이런 도구가 필요했을까요? (문제 상황)

전통적인 음악 치료는 마치 **"귀로 듣는 약"**과 같습니다. 하지만 귀가 들리지 않는 분들에게는 이 약이 먹히지 않죠.

• 기존의 한계: 대부분의 치료는 "소리를 더 잘 듣게 하라"는 훈련에 집중했습니다. 하지만 청각 장애인들이 진짜로 고통받는 건 '소리'가 아니라, 그로 인해 겪는 외로움, 우울감, 자존감 저하입니다.
• 비유: 마치 다리가 부러진 사람에게 "더 많이 걸어보라"고만 하는 것과 비슷합니다. 그들은 '걷는 훈련'이 아니라 '지팡이'나 '휠체어' 같은 새로운 이동 수단이 필요한 것입니다.

🤖 2. 연구팀이 만든 해결책: "AI 음악 심리치료사"

연구팀은 전문 음악 치료사들과 함께 손잡고, 청각 장애인들이 눈과 손, 그리고 마음으로 음악을 느낄 수 있는 도구를 만들었습니다.

이 도구의 핵심은 세 가지 마법 같은 역할을 하는 AI 친구입니다.

1. 비판하지 않는 대화 친구 (Conversational Agent):
   • AI 는 사람의 얼굴 표정이나 목소리 톤을 보지 않습니다. 청각 장애인들이 "내 목소리가 이상하지 않을까?"라고 걱정할 필요가 없죠.
   • 비유: 마치 어둠 속에서 편지를 주고받는 친구처럼, 서로의 외모나 목소리를 신경 쓰지 않고 오직 '마음'만 전달할 수 있는 안전한 공간입니다.
2. 눈으로 듣는 음악 (Visual Metaphor):
   • AI 는 "슬픈 노래를 만들어줘"라고 말하기보다, **"지금 마음이 어떤 색깔이나 풍경 같나요? 비가 오는 창가인가요, 아니면 거친 파도인가요?"**라고 묻습니다.
   • 비유: 소리를 직접 듣지 못해도, 눈으로 그림을 그리듯 감정을 표현하면 AI 가 그 그림을 소리로 바꿔줍니다.
3. 함께 만드는 음악 (Generative AI):
   • 사용자가 가사 한 줄을 쓰면, AI 가 그걸 바탕으로 온전한 노래를 만들어냅니다.
   • 비유: 사용자가 레고 블록 한 조각을 던지면, AI 가 그걸로 완성된 성을 지어주는 것과 같습니다.

🧪 3. 실험 결과: 23 명의 청각 장애인이 경험한 변화

이 도구를 23 명의 청각 장애인 (코클레어 임플란트 사용자 등) 이 사용해 보았습니다. 결과는 놀라웠습니다.

• 마음의 문을 연다: 많은 참가자가 AI 와 대화하며 평소 가족이나 친구에게 말하지 못했던 깊은 슬픔이나 고민을 털어놓았습니다. "AI 는 나를 판단하지 않으니 편했다"는 의견이 많았습니다.
• 감정의 재발견: "내가 쓴 가사가 노래가 되어 돌아왔을 때, 내 감정이 객관적으로 보였습니다." 마치 거울에 비친 자신의 모습을 처음 보는 것처럼, 자신의 감정을 다시 바라보고 이해하게 되었습니다.
• 치유의 순간: 슬픈 감정을 담은 노래를 듣고는 오히려 마음이 가벼워지거나, "아, 내가 이렇게까지 힘들었구나"라고 깨닫는 순간이 왔습니다.

💡 4. 이 연구가 우리에게 주는 교훈

이 연구는 단순히 "음악 치료"를 넘어, AI 와 인간의 협력이 얼마나 강력한 치유 도구가 될 수 있는지 보여줍니다.

• 접근성: 기술은 장벽을 허무는 열쇠가 될 수 있습니다. 소리가 들리지 않아도, 시각과 텍스트를 통해 감정을 표현하고 치유받을 수 있습니다.
• 포용성: "모든 사람을 위한 디자인"은 단순히 편의를 넘어, 소외된 이들이 자신의 이야기를 할 수 있는 새로운 목소리를 만들어줍니다.

🌟 요약

이 논문은 **"귀가 들리지 않아도, AI 가 도와주면 마음의 노래를 부를 수 있다"**는 것을 증명했습니다.

마치 눈으로 소리를 듣고, 손으로 감정을 적어, AI 가 그것을 아름다운 노래로 만들어주는 마법과 같습니다. 이 도구는 청각 장애인들에게 단순히 음악을 듣는 수단이 아니라, 자신을 이해하고 치유하는 새로운 창이 되어주었습니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 음악 심리치료 (특히 작사/작곡) 는 무의식적 감정 표출과 자아 성찰에 강력한 매체로 작용해 왔으나, 전통적인 접근법이 청각에 의존하기 때문에 청각 장애인 및 난청인 (DHH) 은 치료적 혜택에서 배제되어 왔습니다.
• 현황: DHH 대상자의 음악 치료 연구는 대부분 보청기나 인공와우 (CI) 사용자의 '청각 기능 회복'에 초점을 맞추고 있어, 감정의 표현, 성찰, 치유와 같은 심리적 이점을 충분히 제공하지 못했습니다.
• 필요성: DHH 개인들이 사회적 고립과 심리적 고통을 겪고 있음에도 불구하고, 그들의 감각적 (시각, 촉각 등) 특성과 정서적 요구를 반영한 포용적인 치료 기술이 부재했습니다.

2. 방법론 (Methodology)

이 연구는 3 단계의 혼합 방법론을 통해 진행되었습니다.

가. 전문가 인터뷰 및 코디자인 워크숍 (RQ1, RQ2)

• 참여자: DHH 클라이언트 치료 경험이 있는 전문 음악 치료사 6 명 (인터뷰), 4 명 (워크숍).
• 프로세스:
  1. 인터뷰: DHH 대상자의 음악 심리치료 현황, 장애 요인 (시간/비용 제약, 감정 표현의 어려움, 작곡 자신감 부족) 및 필요성을 파악.
  2. 코디자인 워크숍: 치료사들과 함께 DHH 사용자의 페르소나 (사회적 고립, 작곡 자신감 부재 등) 를 정의하고, 이를 해결하기 위한 생성형 AI (GenAI) 전략을 도출.
• 도출된 설계 원칙 (Design Rationales):
  • DR1 (지원적 대화 전략): 비판 없는 안전한 공간 제공, 공감적 응답 (Supportive Empathy), 선택지 제공 (Example Response Options) 을 통한 접근성 확보.
  • DR2 (독립적 작곡 경험): 시각적 은유와 비유 (Visual-based Metaphors) 를 활용하여 추상적인 감정을 구체적인 이미지로 전환하고, 사용자가 주체성을 느낄 수 있도록 유도.

나. 시스템 구현 (Implementation)

• 아키텍처: React 기반 웹 애플리케이션.
  • 대화 인터페이스 (CA): LLM (GPT-4o) 기반의 대화형 에이전트.
  • 음악 생성: SUNO (v3.5) 를 활용한 가사 및 음악 생성.
  • 음악 시각화: 생성된 음악의 피치, 템포, 비트, 가사 타이밍 등을 시각적 요소 (텍스트 이동, 색상, 크기, 애니메이션) 로 변환하여 DHH 사용자가 음악을 '보고' 느낄 수 있도록 지원.
• 치료 프로세스 (4 단계):
  1. 치료적 연결 (Therapeutic Connection): 라포 형성 및 감정 상태 파악.
  2. 가사 작성 (Making Lyrics): 시각적 은유를 통해 감정과 상황을 구체화하여 가사 작성.
  3. 음악 제작 (Making Music): 사용자 선호도 (장르, 분위기 등) 에 기반한 음악 생성 및 시각화.
  4. 노래 토론 (Song Discussion): 생성된 음악을 감상하며 감정적 통찰과 자기 성찰 유도.

다. 사용성 연구 (Usage Study, RQ3)

• 참여자: 한국인 인공와우 (CI) 사용자 23 명 (청각 수준 다양, 텍스트 기반 소통에 익숙, 음악/GenAI 관심 있음).
• 절차: 100 분간의 세션 (브리핑, CA 와의 상호작용을 통한 작곡, 설문지 및 심층 인터뷰).
• 데이터: 시스템 로그, 설문지 (자아 노출, 만족도, 사용성), 인터뷰 기록.

3. 주요 결과 (Key Results)

가. 자아 노출 및 감정 표현 (Self-Disclosure)

• 비판 없는 안전감: 대부분의 참가자 (n=22) 는 CA 와 대화할 때 가족이나 친구보다 더 편안함을 느꼈으며, 시각적/청각적 편견이 없는 텍스트 기반 상호작용이 심리적 안전감을 제공했습니다.
• 공감 전략의 효과: CA 의 '적극적 공감 (Proactive Empathy)'과 '해석적 공감 (Interpretive Empathy)'이 사용자의 감정 표출을 촉진했습니다.

나. 작곡 경험 촉진 (Facilitating Songwriting)

• 시각적 사고의 활용: "현재 기분을 어떤 색으로 표현할 수 있나요?", "어떤 장면이 떠오르나요?"와 같은 시각적 은유 질문이 추상적인 감정을 구체적인 이미지로 변환하여 작사 과정을 용이하게 했습니다.
• 예시 응답 옵션: 감정 표현에 어려움을 겪는 사용자를 위해 키워드나 문장 예시를 제공함으로써 상호작용의 진입 장벽을 낮췄습니다.

다. 정서적 변형 및 치료적 효과 (Emotional Transformation)

• 감정의 객관화: 자신의 이야기를 가사와 음악으로 구체화함으로써 감정을 객관적으로 바라보고 재해석 (Reframing) 할 수 있었습니다.
• 카타르시스: 생성된 음악을 감상하며 슬픔이나 좌절이 해소되거나, 오히려 예상치 못한 음악적 결과 (예: '차분함'을 원했으나 '우울함'이 나온 경우) 를 통해 자신의 숨겨진 감정을 발견하는 계기가 되었습니다.
• 내면 자원 발견: 음악 감상 후의 성찰 대화를 통해 자신의 강점과 삶의 의미를 재발견하는 사례가 다수 관찰되었습니다.

4. 주요 기여 (Key Contributions)

1. 포용적 AI 도구 설계: 음악 치료사와의 코디자인을 통해 DHH 개인의 감각적/정서적 특성을 반영한 GenAI 기반 음악 심리치료 도구를 개발했습니다.
2. 치료적 대화 전략 입증: DHH 사용자에게 효과적인 지원적 공감, 예시 응답, 시각적 은유 등의 CA 대화 전략을 실증적으로 입증했습니다.
3. 치료적 가능성 제시: 단순한 음악 생성 도구를 넘어, DHH 개인에게 감정적 각성, 표현적 정교화, 심리적 재구성을 가능하게 하는 치료적 잠재력을 보여주었습니다.
4. HCI 및 접근성 분야 기여: 청각 중심의 전통적 음악 치료를 넘어, 다중감각 (Multimodal) 접근을 통한 포용적 정신건강 기술의 새로운 설계 방향을 제시했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: 이 연구는 AI 가 DHH 개인에게 단순한 정보 접근 도구가 아닌, 감정 치유와 자기 발견을 위한 치료적 파트너가 될 수 있음을 보여줍니다. 특히 전문 치료사가 개입하기 어려운 시간/비용 제약을 극복하고, 개인이 독립적으로 정서적 지원을 받을 수 있는 '자기 성찰 저널링 도구'로서의 가능성을 제시했습니다.
• 한계 및 향후 과제:
  • 현재 연구는 한국인 CI 사용자 (텍스트 소통에 익숙한 집단) 에 국한되어 있어, 수화 중심 사용자나 다른 문화권 DHH 집단에 대한 일반화에는 주의가 필요합니다.
  • 음악 생성 모델의 정서적 톤 제어 한계 (사용자 의도와 다른 결과 생성) 가 존재하며, 향후 더 정교한 파라미터 제어가 필요합니다.
  • 단기 사용성 연구이므로, 장기적인 치료 효과와 임상적 유효성을 검증하기 위한 치료사 주도 장기 연구가 필요합니다.

결론

본 연구는 생성형 AI 와 대화형 에이전트를 활용하여 DHH 개인들이 음악이라는 매체를 통해 감정을 표현하고 치유할 수 있는 새로운 패러다임을 제시했습니다. 이는 기술적 접근성과 치료적 효과성을 결합한 포용적 정신건강 기술 (Inclusive Mental Health Technology) 의 중요한 사례로 평가됩니다.