The NTNU System at the S&I Challenge 2025 SLA Open Track

技術要約：S&I Challenge 2025におけるNTNUシステム

問題提起
第二言語（L2）学習者のための話し言葉評価（SLA）は、音響的なデリバリーのモデリングと、言語的な内容のモデリングとの間の根本的なトレードオフに直面している。Automatic Speech Recognition（ASR）の書き起こしに対してBERTを利用するような従来のテキストベースのアプローチは、意味的な内容を効果的に捉えることができるが、エラーが発生しやすい書き起こしに依存しているため、重要な韻律や音韻のキューをモデル化することができない。対照的に、wav2vec 2.0（W2V）のような音響自己教師あり学習モデルは、生の音声から発音や流暢さを捉えるための生データを処理することには長けているが、より高次の言語評価に必要とされる意味的な解釈可能性に欠けることが多い。Multimodal Large Language Models（MLLM）はこれら両方のモダリティの統合を実現する可能性を秘めているが、包括的なSLAスコアリングへの適用については未だ十分に探索されていない。課題は、Speak & Improve (S&I) Challenge 2025で提示された、限られたデータと計算リソースの制約の下で、音響的特徴と意味的特徴を堅牢に統合するシステムを開発することである。

手法
著者らは、スコア融合戦略を通じて2つの異なる評価コンポーネントを統合するデュアルグレーダー・システム、NTNU SMIL Vを提案している。

1. 音響グレーダー (W2V): このコンポーネントは、事前学習済みのwav2vec 2.0エンコーダーを利用して、生の音声波形からフレームレベルの音響表現を抽出する。アテンション・プーリングを用いて発話レベルのベクトルを生成し、それをプロトタイプ型埋め込みモジュールで処理する。このモジュールは、CEFRレベル（A2からC1+）を表す学習可能なプロトタイプに対するコサイン類似度を計算し、その結果を多層パーセプトロン（MLP）に送って、連続的な習熟度スコアを予測する。
2. マルチモーダル・グレーダー (MLLM): 第二のコンポーネントは、38億パラメータを持つデコーダーのみのTransformerであるPhi-4-multimodalアーキテクチャに基づいている。このモデルは、専用のオーディオアダプターを用いたLow-Rank Adaptation（LoRA）を用いて、生の音声信号をASRの書き起こし、タスクの説明、および質問プロンプトと共にファインチューニングされている。
   • 著者らは2つの構成を調査した。すべてのタスク部分の結合データで学習された**クロスタスク汎用マルチモーダル・グレーダー（Phi4-CTG）と、各特定の評価部分（インタビュー、意見、プレゼンテーション、コミュニケーション活動）に対して個別のモデルをファインチューニングしたタスク特化型グレーダー（Phi4-STG）**である。
   • Phi4-STGアプローチは、ASRのエラー伝播を軽減するために、生の音声波形を直接処理することを優先しており、音声のニュアンス（発音、流暢さ、韻律）と言語的内容を共同で推論するモデルの能力を活用している。
3. スコア融合: 最終的なシステムは、W2VグレーダーとPhi4-STGグレーダーの予測を組み合わせる。MLLMの連続スコアは、まず8つのCEFRに準拠した区間に離散化される。各区間について、参照スコアに対する平方根平均二乗誤差（RMSE）を最小化するように、開発セット上でのグリッドサーチを通じて最適な補間重み（$w_k$）が決定される。融合スコアは $\hat{y} = (1 - w_k)\hat{y}_{w2v} + w_k\hat{y}_{mllm}$ として算出される。

主な貢献

• モダリティの統合: 本論文は、自己教師あり音声エンコーダー（W2V）とマルチモーダル大規模言語モデル（Phi-4）の融合に成功し、微細な音響モデリングと深い文脈的推論を効果的に組み合わせたことを示している。
• タスク特化型MLLMの適応: 本研究は、タスク特化型のファインチューニング（Phi4-STG）が、汎用的なクロスタスクモデル（Phi4-CTG）よりもSLAの文脈において優れた性能を示すことを強調しており、これは個別の評価部分が専門化されたモデリングから恩恵を受けることを示唆している。
• ASRエラーへの堅牢性: MLLMパイプラインに直接生の音声処理を組み込むことで、潜在的に欠陥のあるASRの書き起こしへの依存を減らし、テキストのみのベースラインにおける主要な制限に対処している。
• スコアレベルの融合戦略: 予測されたスコア区間に基づいて重みが動的に調整されるスコア条件付き融合メカニズムの実装により、2つの補完的なグレーダーの最適化された統合が可能となった。

結果
提案されたシステムであるNTNU SMIL Vは、Speak & Improve Challenge 2025の公式テストセットにおいて、**0.375の平方根平均二乗誤差（RMSE）**を達成した。

• ランキング: このパフォーマンスにより、コンペティションで第2位を獲得した。
• 比較: 本システムは、公式ベースライン（RMSE 0.444）および第3位のシステム（RMSE 0.384）を上回った。第1位のシステム（RMSE 0.364）には僅かに及ばなかった。
• コンポーネント分析:
  • 単独のW2Vモデルは、RMSE 0.394を達成した。
  • 単独のPhi4-STGモデルは、RMSE 0.389を達成した。
  • 融合システム（W2V + Phi4-STG）は、最高の数値であるRMSE 0.375を達成し、音響的および意味的モデリングの組み合わせが、どちらか一方のコンポーネント単独よりも優れた性能をもたらすことを実証した。
  • W2Vと汎用的なPhi4-CTGの融合は、RMSE 0.377となり、タスク特化型バリアントよりも僅かに高いRMSEとなったことは、タスク特化型の適応の価値を裏付けている。

意義と主張
著者らは、本研究が、自己教師あり音声エンコーダーとMLLMを組み合わせることの有効性を検証したものであると主張している。結果は、音響的特徴がデリバリー特性を捉えるための基礎となる一方で、タスク特化型MLLMの意味的推論能力が全体的なスコアリング精度を大幅に向上させることを示唆している。論文は、MLLMは以前のパラダイムを統一するための有望な方向性を提供しているものの、その潜在能力を完全に引き出すためには、タスク特化型のファインチューニングや直接的な音声処理といった慎重なアーキテクチャの選択が必要であることを控えめに結論付けている。本研究は、今後の改善において、融合戦略の洗練、および多様な学習者グループ間でのモデルの効率性と公平性への対処に焦点を当てるべきであることを強調している。