技術要約：3D舌メッシュから検証可能な筋肉に基づいたQAを構築するためのシミュレータ・グラウンデッド・フレームワーク

問題提起

実時間MRI（rtMRI）や電磁舌位置計測法（EMA）に由来する既存の調音コーパスは、舌の形状や動きを捉えることには成功しているが、それらの形態を生成した特定の筋肉駆動プロセスに関する追跡可能なラベルを欠いている。その結果、これらのデータセットは観察的なものにとどまり、観察された舌の幾何学的形状と、制御されたシミュレータ定義の筋肉状態をペアリングできていない。さらに、既存の3D質問応答（QA）データセットは主に静的な物体や空間関係に焦点を当てており、解釈可能な調音システムに求められるバイオメカニカルな根拠（プロベナンス）を欠いている。したがって、観察された3D舌形状を、その生成状態、測定可能な幾何学的特性、および目標指向の変化へと結びつける、スケーラブルな教師あり学習の仕組みが必要である。これにより、マルチモーダルな物理的推論や、発音トレーニングおよびリハビリテーションへの将来的な応用が可能となる。

手法

著者らは、事実の構築と言語的な自然化を分離することで、検証可能な教師あり学習を保証する、シミュレータ・グラウンデッド・データ構築フレームワーク（3DTongueQAとしてインスタンス化）を提案する。

1. シミュレータ・グラウンデッドによる3D舌生成

本フレームワークは、ArtiSynth Badin 有限要素舌モデルを利用して、制御された11次元の筋肉活性化ベクトルを、固定トポロジーの3D舌メッシュへとマッピングする。

• サンプリング戦略: 推論目的駆動型のサンプリング手法を用い、孤立した筋肉および相互作用する筋肉、単一筋肉介入との照合、用量反応軌跡、音素に関連する姿勢、およびより広範な実行可能な活性化パターンを網羅する。
• 妥当性フィルタリング: 数値ソルバーの失敗、要素の反転、非正の体積、および沈降挙動をチェックする自動スクリーニングを行う。 「VALID（有効）」とラベル付けされた構成のみを保持する。
• アンカー: 文献に基づいた筋肉パターンから、12種類の母音と8種類の子音クラスのアンカーを構築する。ガウス摂動と補間により、バリエーションと遷移姿勢を提供する。
• 音響的妥当性: モデルから導出されたカテゴリレベルのフォルマント（F1, F2）は、実測値と強い相関を示す（$r=0.98$ および $r=0.99$）。これにより、絶対的な範囲の圧縮はあるものの、相対的な母音の組織化が維持される。

2. 決定論的なグラウンデッドQA構築

各有効な構成に対して、シミュレータ定義の筋肉状態、観察可能な幾何学、物理的メタデータ、および介入のリンクを含む、構造化された事実レコードが生成される。

• 3つのコア・オブジェクティブ（目的）:
  • 原因 (Cause): 観察されたメッシュに関連付けられた、保存されている生成状態（活性化筋肉セット）を復元する。
  • 状態 (State): 幾何学的および調音的特性（例：狭窄、舌背の高さ）を解釈する。
  • 変化 (Change): 目標とするアンカーに到達するために必要な、シミュレータ定義の筋肉調整を特定する。
• 事実と言語の分離: 大規模言語モデル（Qwen2.5-72B-Instruct）が言語的自然化を行い、質問と回答の表層形式のみを変更する。基礎となる事実は、構造化されたレコードから直接導出された決定論的なものである。
• 検証: 自然化された出力が基礎となる事実を保持しているかを、レコードベースのチェックによって検証する（初回生成における英語の合格率は87.2%、韓国語は88.6%）。

3. 評価プロトコル

評価は、新しい最先端アーキテクチャの提案ではなく、リソースの妥当性を検証することに焦点を当てる。

• ベースラインモデル: 交換可能な SpiralNet++–Qwen3-8B モデル。3Dエンコーダは、シミュレータの活性化ベクトルを回帰するように事前学習され、その後、QA学習のために凍結される。
• コントロール（対照実験）:
  • テキストのみ (Text-only): 幾何学情報がない場合の事前知識を測定する。
  • 2D vs 3D: レンダリングされたビューとネイティブの3D幾何学を比較する。
  • メッシュ・シャッフル (Mesh Shuffling): ペアとなるメッシュを置き換えて、特定の幾何学への依存性をテストする。
  • アンカー・ホールドアウト (Anchor-Held-Out): 特定のアンカー定義を訓練から除外し、訓練インベントリを超えた転移をテストする。
  • 構造化出力 (Structured Readouts): LLMをタスク固有のヘッド（活性化セット、スカラー、方向）に置き換え、効率的なスキーマ固有の予測をテストする。

主な貢献

1. シミュレータ・グラウンデッド・フレームワーク: 制御された物理的入力から、3D幾何学および構造化レコードを経て、決定論的に検証可能なQAへと、プロベナンス（由来）を維持する構築パイプライン。
2. 事実と言語の分離: 本フレームワークは、事実の構築と言語的自然化を分離しており、再利用可能な構造化レコードを保持する。これにより、バイオメカニカルなコーパスを再生成することなく、追加の質問や指標をインスタンス化できる。
3. 3DTongueQA データセット: 295,115個の有効なメッシュと、言語ごとに891,156個のQAレコード（英語および韓国語）で構成されるインスタンス。このデータセットは、言語間での構築レベルのポータビリティを示している。

結果

評価により、教師あり学習は学習可能であり、幾何学にグラウンドされており、特殊化された構造的予測と統一された自然言語QAの両方をサポートすることが示された。

• 幾何学グラウンディング: 3D筋肉認識型（Muscle-Aware）の統合QAモデルは、62.9 ± 9.2 Muscle EM（完全一致）を達成し、テキストのみのベースライン（0.0）および2D筋肉認識型モデル（42.1）を大幅に上回った。決定的なことに、メッシュ・シャッフルを行うとMuscle EMは2.2に低下し、性能が言語の事前知識ではなく、ペアリングされた幾何学に依存していることが確認された。
• 構造化デコーディング vs 統合デコーディング: タスク固有の構造化出力は、統合されたLLMデコーダよりも高い性能を示し、88.7 ± 0.7 Muscle EM、87.5 ± 1.1 幾何学的値の正確性、および 93.3 ± 1.0 方向EMに達した。これは、統合モデルがヘテロジニアスな質問を扱う一方で、特殊化されたスキーマの方が、シミュレータ定義の状態をより効率的に復元できることを示唆している。
• アンカー・ホールドアウト転移: データ漏洩を制御したストレス・テスト（4つのアンカーを除外）では、モデルはフルインベントリモデルと比較して、Muscle EMで80.4%、幾何学的値の正確性で93.7%、方向EMで**98.6%**を維持しており、実質的ではあるが不完全な転移を示した。
• 人間による評価: 3D筋肉認識型モデルは、GPT-5 Proが流暢性のスコアで勝っているにもかかわらず、参照ベースの事実正確性（Factual Accuracy）において、GPT-5 Pro（2.23）や他のベースラインを大幅に上回るスコア（3.81/5）を獲得した。

意義と限界

本論文は、3DTongueQAを、効率的な構造的予測とヘテロジニアスな自然言語QAの両方をサポートする、再利用可能でデコーダに依存しないリソースとして位置づけている。提供される教師あり学習は、シミュレータの入力から最終的なQAまで直接追跡可能であり、観察的な調音データの「ブラックボックス」的な性質に対処している。

著者が認めている限界事項:

• 本リソースはシミュレータ特有であり、単一のBadin解剖学、固定トポロジー、および顎と唇の結合がないことに依存している。
• 活性化は、幾何学のみから一意に識別可能な生理学的原因ではなく、特権的なシミュレータ・ラベルである。
• 対称モデルおよび正中矢状断表現は、側方または溝のある調音（例：/l/, /S, Z/）を完全には捉えていない。
• 制約された自然化は、スタイルの多様性よりも事実の保持を優先している。
• 本データセットは臨床的な検証や診断の代替を構成するものではなく、調音の推論および発音フィードバックの研究を目的としている。

著者らは、構築された教師あり学習が解釈可能な調音システムの開発をサポートすると結論付けており、今後の課題は、解剖学的多様性の追加と調音シナリオの拡張に焦点を当てるとしている。