技術的概要：手話会話における感情認識

問題定義

会話における感情認識（ERC）および手話分析に関する現在の研究は、決定的な構造的限界に直面している。すなわち、既存のリソースは主に孤立した文や一方向的な表現（例：eJSL Solo、EmoSign）で構成されている。これらのデータセットは会話的文脈を欠いており、モデルが感情的なダイナミクスを理解するために歴史的な対話の流れを活用することを妨げている。その結果、孤立した発話で訓練されたモデルは、感情的な意味が継続的な相互作用と対話者の反応に依存する現実世界のシナリオにおいて、性能が低下する。さらに、手話には独特の課題が存在する。それは、顔の表情や上半身の動きが、文法構造（例：疑問文）と情動状態を同時に符号化する二重の役割を果たす点である。この重なりは、特に音声言語向けに設計された汎用的なマルチモーダル ERC モデルを手話データに適用する際に、自動認識システムにとって重大な曖昧さを生じさせる。

手法

データセット構築：eJSL Dialog

会話データの欠如に対処するため、著者らはeJSL Dialog データセットを構築した。

• ソース: スクリプトは、STUDIES 日本語共感的対話音声コーパスから派生し、特に教師と生徒の相互作用を含む 480 のユニークな対話のサブセットから作成された。
• 規模: データセットは 1,920 のビデオサンプル（対話あたり 4 発話）で構成される。
• 参加者: 2 人のネイティブの日本手話（JSL）話者（男性 1 名、女性 1 名）が、教師と生徒の両方として出演した。
• 録画: 動画は、単一の RGB カメラ（解像度 1440 × 1080、30 fps）を使用して、白い背景を持つ制御された屋内環境で撮影された。俳優には、一貫したパフォーマンスを確保するために、画面上にテキストと感情ラベルが提供された。
• 注釈: 各発話は、中立、喜び、悲しみ、怒りの 4 つの感情カテゴリのいずれかで注釈付けられている。データセットはこれらのカテゴリ間でバランスが取れており、明示的な対話履歴を含んでいる。
• 目的: このデータセットは、モデルの汎化能力を評価するためのゴールドスタンダードとして機能するよう、訓練用ではなく、厳密に評価およびテストのためのベンチマークとして設計されている。

ベースライン評価フレームワーク

著者らは、モダリティと文脈の寄与を分離するために、eJSL Dialog データセット上で 5 つの異なるモデルを評価することで、客観的なベンチマークを確立した。

1. 視覚モデル:
   • EmoAffectNet: フレームレベルの顔の特徴を処理する。
   • EANwH: EmoAffectNet を拡張し、顔と手の骨格特徴を連結して LSTM を用いて時間的ダイナミクスを捉える。両モデルとも、汎用的な視覚特徴を学習するために BOBSL（イギリス手話）データセットで事前学習され、その後微調整された。
2. テキストベースモデル:
   • EmoTrans: テキスト入力（英語に翻訳された日本語の書き起こし）のみに依存して動作する ERC モデルであり、状態変化を捉えるために最近の発話を連結する。
3. マルチモーダル対話モデル:
   • TelME: クロスモーダル知識蒸留とシフティング融合を用いて、テキスト特徴と非言語特徴を組み合わせる。
   • MMGCN: 話者間および話者内の依存関係をモデル化するマルチモーダル融合グラフ畳み込みネットワーク。
   • 注記: これらのマルチモーダルモデルからは、データセットの視覚/テキストの性質に合わせるため、音声モダリティは除外された。

主要な結果

評価により、顕著な性能の格差と明確なドメインギャップが明らかになった。

• 視覚モデル: EANwH（重み付き F1 33.31）は EmoAffectNet（重み付き F1 29.06）を上回り、手の骨格特徴と時間的モデリングが明示的な情動情報を提供することを確認した。しかし、両モデルとも「悲しみ」カテゴリでは苦戦し（F1 スコアはそれぞれ 13.24 および 17.03）、性能が低下した。
• テキストのみモデル: EmoTrans は最も高い全体的な性能（重み付き F1 55.40）を達成し、テキスト意味論が直接的かつ汎用性の高い感情的な手がかりを提供することを示した。これは特に、ソースコーパスにおけるスクリプトテキストと割り当てられた感情ラベルとの高い相関関係によるものである。
• マルチモーダル対話モデル: 汎用的なマルチモーダルモデル（TelME および MMGCN）は深刻な性能低下を示し、重み付き F1 スコアはそれぞれ 10.46 および 8.50 にとどまった。
  • 分析: 著者らはこの失敗をドメインギャップに起因すると帰属している。非手話話者集団で訓練された汎用モデルは、手話における言語的マーカー（文法的な顔の表情）と感情的な遷移を区別することに苦労する。手話における視覚特徴は、融合中にテキストモダリティを干渉させ、全体の性能を低下させる。

ケーススタディ

2 つのケースがモダリティの相補性を浮き彫りにした。

1. 文脈依存性: 生徒の視覚的表現は抑制されていたが文脈が肯定的であったシナリオにおいて、テキストベースおよびマルチモーダルモデルは正しく「喜び」を識別したが、視覚のみモデルは失敗し、「中立」と予測した。
2. 視覚の必要性: テキストが明示的な感情修飾語なしに事実的な出来事を記述していたシナリオにおいて、テキストのみモデルは失敗したが、視覚を考慮するモデルは顔の手がかりに基づいて正しく「喜び」を識別した。

貢献

本論文は 3 つの主要な貢献を行う。

1. タスク定義: 手話ビデオ分析に特化した会話における感情認識（ERC）タスクを形式的に定義し、双方向相互作用シナリオのためのベンチマークを確立する。
2. データセット公開: 孤立した発話データセットの構造的限界に対処する、明示的な多ターン対話文脈と感情注釈を備えた手話ビデオサンプルを提供する最初のリソースであるeJSL Dialog データセットを導入する。
3. 実証的知見: 体系的なベンチマークを通じて、孤立した視覚モデルおよび汎用的なマルチモーダル対話アーキテクチャの限界を実証する。汎用的なアーキテクチャに依存するのではなく、手話固有の文脈認識視覚抽出器の明示的な必要性を確認する。

意義と今後の方向性

本論文は、大規模な事前学習を支援するために、会話的手話データセットの規模を拡大することが必要な次のステップであると結論づけている。その知見は、手話における視覚特徴のユニークな二重役割の性質により、現在の汎用的なマルチモーダルモデルを単純に手話タスクへ転用できないことを示している。今後の研究は、自発的な会話を収集し、データセットの規模を拡大し、大規模言語モデルを統合して多ターン対話履歴をより適切に処理することで、制御された環境や話者数の制限といった現在の課題に対処することを目指している。この研究は、自然な人間 - コンピュータ相互作用において、ろう者の感情の履歴を追跡し、それに応答できる共感的対話システムを開発するための基礎を築くものである。