Designing a Generative AI-Assisted Music Psychotherapy Tool for Deaf and Hard-of-Hearing Individuals

聴覚に依存する従来の音楽療法から排除されがちだった難聴・聴覚障害者に対し、対話型エージェントと音楽生成 AI を活用して共同で楽曲制作を行うツールを開発・評価した本研究は、その支援的共感や視覚的メタファーなどの戦略が、感情の解放や自己理解の深化を促すことを実証し、包括的な AI 設計の可能性を示しました。

要約

この論文は、**「耳が聞こえない、または聞こえにくい方（難聴者）が、AI と一緒に曲を作りながら心のケアをする新しいツール」**について書かれたものです。

音楽療法は昔から「心の傷を癒やす魔法の薬」と言われてきましたが、これまで「音楽＝耳で聴くもの」という考え方が強かったため、難聴の方々はこの魔法の恩恵を受けられませんでした。まるで、色盲の人が絵画の美しさを鑑賞する機会を奪われているようなものです。

この研究は、その壁を壊すために、**「AI（人工知能）」**という新しい仲介役を導入しました。以下に、難しい専門用語を使わず、身近な例えを交えて解説します。

---

🎵 物語の要約：耳が聞こえない人への「新しい音楽の扉」

1. 問題：音楽の「壁」

従来の音楽療法は「音を聴いて、感情を表現する」のが基本でした。しかし、難聴の方にとって、音は「聞こえない」か「歪んで聞こえる」ものです。

• 例え話： 聞こえない人が、音のない部屋で「音楽で踊りなさい」と言われているようなもの。無理やり耳を澄ませようとしても、心は開かれません。
• 現状： 難聴の方への音楽療法は、「聞こえるようになる訓練（リハビリ）」が中心で、「心を癒やす」部分は軽視されがちでした。

2. 解決策：AI との「共作（コラボレーション）」

研究者たちは、音楽療法士と協力して、**「AI チャットボット」と「音楽生成 AI」**を組み合わせたツールを開発しました。

• 仕組み：
  1. AI 療法士（チャットボット）： 難聴の方とテキストで会話します。
  2. 視覚的な魔法： 「悲しみ」を「雨の日の青い空」のように**「イメージ」や「色」**で表現するよう促します。
  3. 音楽生成 AI： その「イメージ」や「言葉」を元に、AI が即興で曲を作ります。
• 例え話： 難聴の方が「心の風景」を絵に描き、AI がその絵を「音の絵画」に変えてくれるようなものです。耳で聴くのではなく、**「目で見ながら、心で感じる」**音楽体験です。

3. 実験：23 人の参加者の体験

難聴の方 23 人にこのツールを使ってもらいました。その結果、驚くべき変化が起きました。

• ① 心を開く「安全な空間」

  • 人間（家族や友人）に話すのは恥ずかしいけれど、AI なら「何を言っても批判されない」と感じ、素直に悩みを打ち明けることができました。
  • 例え話： 重たい荷物を一人で抱え込んでいる人が、誰もいない静かな部屋で、優しく聞き役のロボットに「実はこう思ってた」と打ち明けた瞬間、心が軽くなったようなものです。

• ② 「言葉」から「音楽」への変換

  • 「離婚の悲しみ」や「就職活動の不安」を、AI の「どんな色？」「どんな景色？」という質問に答えることで、具体的なイメージに落とし込みました。
  • 例え話： 抽象的な「悲しみ」という霧が、AI の手によって「嵐の後の静かな海」という鮮明な絵に変わりました。そして、その絵が美しいメロディに生まれ変わったのです。

• ③ 心の再発見（リフレーミング）

  • 自分が作った曲を聴き、AI と振り返ることで、自分の感情を客観的に見ることができました。
  • 例え話： 自分が「暗い」と思っていた出来事が、曲にすると「力強い物語」に見えたり、逆に「悲しい」と思っていたものが、実は「癒やし」だったことに気づいたりしました。AI が作った曲が、自分の心の鏡として機能したのです。

4. 重要なポイント：AI の「上手な聞き方」

このツールが成功した理由は、AI が単なる機械ではなく、**「共感するパートナー」**として振る舞ったからです。

• 共感の魔法： 「それは辛かったね」と受け止め、否定しない。
• 選択肢の提供： 「言葉にできないなら、この中から選んで」と、感情のキーワードや例え話を提示する。
• 視覚的なヒント： 「その感情はどんな色？」「どんな風景？」と問いかけ、耳ではなく「目と心」で音楽を作る手助けをする。

🌟 結論：音楽は「耳」だけではない

この研究が示したのは、**「音楽療法は耳が聞こえる人だけのものではない」**という事実です。

• 難聴の方にとって： 音楽は「聴くもの」ではなく、「心で感じ、視覚的に表現し、物語として作り上げるもの」になり得ます。
• AI の役割： AI は、難聴の方が自分の内面を安全に表現し、それを「音楽という形」にして癒やすための、**「新しい感覚の橋渡し役」**となりました。

今後は、このツールが病院だけでなく、日々の生活で「心の日記」のように使われたり、専門家のサポートを補完するものとして広がっていくことが期待されています。

一言で言えば：
「耳が聞こえなくても、心は音楽で歌える。AI がその歌を、あなたの『心の手話』で一緒に作ってくれる。」

技術概要

聴覚障害者（DHH）向け生成 AI 支援型音楽心理療法ツールの設計に関する論文の技術的サマリー

本論文は、聴覚障害者（Deaf and Hard-of-Hearing: DHH）が音楽の心理療法的恩恵を受けられるよう、会話型エージェント（CA）と音楽生成 AI（GenAI）を統合した新しいツールを共同設計・評価した研究です。従来の音楽療法が聴覚中心であるため DHH 者が排除されがちだった課題に対し、視覚・触覚・物語的アプローチを用いたマルチモーダルな介入を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

• 聴覚中心の限界: 従来の音楽療法（リスニング、即興演奏、ソングライティング）は聴覚に依存しており、DHH 者にとってアクセスが困難です。特に、補聴器や人工内耳（CI）使用者に対する介入は、聴覚機能の回復（聴覚訓練）に焦点が当てられがちで、感情表現や自己理解を深める「心理療法的」な側面が軽視されてきました。
• 感情表現の障壁: DHH 者は社会的孤立や聴覚欠如による心理的苦痛を経験しやすいですが、言語化の難しさや音楽への自信の欠如により、従来のソングライティング療法に参加しにくい状況にあります。
• 技術的ギャップ: 生成 AI は音楽創作のハードルを下げましたが、DHH 者の感情的・感覚的ニーズ（視覚的メタファー、安全な対話環境など）を考慮した、治療的ガイドラインを組み込んだシステムは存在しませんでした。

2. 研究方法 (Methodology)

本研究は、専門家との共同設計（Co-design）と、DHH 者による実用調査（Usage Study）の 2 段階で構成されています。

2.1 共同設計ワークショップ (Co-design Workshop)

• 参加者: 聴覚障害者クライアントの経験がある音楽療法士 6 名（インタビュー）および 4 名（ワークショップ）。
• プロセス:
  1. インタビュー: 現在の DHH 向け音楽療法の課題（時間・コスト制約、感情治療の不足）を特定。
  2. ペルソナ設計: 社会的孤立や自己表現の困難さを持つ DHH 者のペルソナ（A, B）を作成。
  3. 設計原則の導出: 生成 AI による支援戦略を策定。
     • DR1 (対話戦略): 支援的共感（Supportive Empathy）と、回答例の提示（Example Response Options）による心理的安全性の確保。
     • DR2 (創作支援): 視覚的メタファーとアナロジーを用いた歌詞・音楽の具体化（例：「今の気分を色で表すと？」）。
  4. プロセス設計: 4 つの段階（治療的接続、歌詞作成、音楽作成、楽曲議論）を持つワークフローを確立。

2.2 システム実装 (Implementation)

• アーキテクチャ: React ベースの Web アプリケーション。
  • 対話インターフェース: LLM（GPT-4o）を搭載した CA。治療的プロンプト、歌詞作成支援、音楽属性（ジャンル、テンポなど）の選定をガイド。
  • 音楽生成: SUNO v3.5 モデルを使用して、歌詞と指定された音楽属性に基づき楽曲を生成。
  • 音楽可視化: 生成された楽曲のピッチ、リズム、感情を視覚的に表現（歌詞のアニメーション、テキストのサイズ/色/移動による変化、ビートに応じた四角形の出現）。
• CA のパイプライン: ステートマシンベースのプロンプト設計。
  • 各ステップで必要な変数（ユーザーの動機、感情、歌詞キーワードなど）を抽出し、次のステップへ遷移させるロジックを実装。
  • 3 種類のプロンプト（General, State Guidance, Variable Extraction）を組み合わせ、治療的意図を維持しつつ、ユーザーの自己開示を促す。

2.3 実用調査 (Usage Study)

• 参加者: 韓国語を話し、人工内耳（CI）を使用し、テキストコミュニケーションに慣れている DHH 者 23 名（平均年齢 40 歳、男女比 16:8）。
• 手順: 100 分程度のセッション。療法士のリアルタイム監視下で、ツールを使用して楽曲を共同作成し、その後のインタビューとアンケートを実施。
• 評価指標: 自己開示度、創作満足度、システムユーザビリティ、感情的変容。

3. 主要な結果 (Key Results)

3.1 対話戦略の有効性

• 自己開示の促進: 参加者の多く（22/23）は、CA に対して家族や友人よりも安心して話せたと報告しました。
  • 非審判的な空間: 外見や声のトーンで判断されない安心感。
  • 共感の多様性: 「鏡写し（Mirroring）」、「解釈的共感（Interpretive）」、「先行的共感（Proactive）」の 3 種類の共感応答が、特に「先行的共感」がユーザーの感情を深く理解されたと感じさせ、信頼を構築しました。
• 視覚的メタファーの役割: 抽象的な感情を「色」や「風景（例：嵐の後の静けさ）」として視覚化させる問いかけが、歌詞作成の障壁を下げ、感情の具体化を助けたことが確認されました。

3.2 音楽的出力による感情的変容

• 感情の客観化: 自身の体験を歌詞と音楽に変換することで、苦痛な感情が客観視され、処理可能になった（例：怒りをユーモラスな歌に変える）。
• カタルシス: 生成された音楽を聴くことで、悲しみやフラストレーションが解放され、安堵や喜びを感じた参加者が多数（20/23）いました。
• ミスマッチの再解釈: 生成された音楽が意図と異なる場合（例：「静か」を求めたのに「悲しい」曲が生成された）、参加者はこれを「自分の感情の深層（不安など）を映し出された」として再解釈し、自己理解を深める契機としたケースも見られました。

3.3 内面的資源の発見

• 振り返り対話: 楽曲鑑賞後の CA による対話（「どの部分が印象的でしたか？」）を通じて、参加者は過去の記憶や自身の強み（Inner Resources）を再発見し、人生の目的や価値観を再確認するプロセスを経験しました。

4. 主要な貢献 (Key Contributions)

1. DHH 者向け生成 AI 支援ツールの設計と開発:
   • 音楽療法士との共同設計を通じて、DHH 者の特性（聴覚的制約、視覚的思考の強み）に特化したソングライティングツールを構築しました。
2. 治療的効果の実証:
   • 単なる音楽生成ツールではなく、CA による支援的対話と視覚的メタファーが、DHH 者の感情表現、自己理解、心理的再構成（Reframing）を促進することを、23 名の実用調査を通じて示しました。
3. インクルーシブな AI 設計への示唆:
   • 心理療法における「支援的共感」「例示による回答支援」「視覚的メタファー」という 3 つの戦略が、DHH 者と CA の協働を円滑にし、自己開示を促す有効な手法であることを明らかにしました。

5. 意義と今後の展望 (Significance & Future Work)

• 臨床的意義: このツールは、セラピストの補助ツールとして、セッション間の宿題（感情の記録や音楽的表現）や、治療的アライアンスの強化に活用可能です。また、専門家のいない状況でも、安全な自己表現の場（デジタルジャーナル）として機能します。
• 社会的意義: 聴覚障害者が音楽の持つ癒やしと表現の力を享受できる道を開き、社会的孤立や心理的ストレスに対する新たな介入手段を提供します。
• 限界と今後の課題:
  • 対象が韓国語話者の CI 使用者に限定されており、手話中心のコミュニティや他の文化的背景への一般化には注意が必要です。
  • 音楽生成モデルの制御性（意図した感情の正確な反映）に課題があり、より直感的なパラメータ制御や、長期的な治療効果の検証（縦断研究）が必要です。
  • 今後の設計では、DHH 者を初期段階から共同設計者として巻き込むことが推奨されます。

---

結論:
本研究は、生成 AI と人間の協働が、聴覚障害者にとっての音楽心理療法の障壁を取り除き、感情の解放と自己成長を可能にする可能性を強く示唆しています。特に、視覚的アプローチと共感的対話を組み合わせた設計は、多様なユーザーへのインクルーシブな AI 開発の重要な指針となります。