技術要約：早期のカテゴリ化、後期の統合

問題提起

TransformerおよびConformerアーキテクチャは、現在、自動音声認識（ASR）の最前線を支配しており、標準的なベンチマークにおいて同等の単語誤り率（WER）を達成している。しかし、この性能の並列性が、収束した内部処理戦略によるものなのか、あるいは異なるアーキテクチャの誘導バイアスによるものなのかは不明なままである。テキストモデリングでは、アーキテクチャの均一性（Transformer）が表現の収束を隠蔽してしまうが、これら2つの音声エンコーダ・ファミリーの共存は、同じタスクを解く異なるアーキテクチャが、根本的に異なる内部階層を学習しているかどうかを判断するためのユニークな機会を提供している。これらの違いを理解することは、解釈可能性、人口統計学的な公平性の監査、およびレイテンシやストリーミングに関するデプロイメントの決定において極めて重要である。

手法

著者らは、モデルのスケール、データセット、および訓練レジームを制御することで、表現に対するアーキテクチャの影響を分離するように設計されたプロービング・フレームワークである**「アーキテクチャ・フィンガープリント（Architectural Fingerprinting）」**を導入する。

• モデル・スイート： 本研究では、39Mから3.3Bのパラメータを持つ24の学習済み音声言語モデル（17のTransformerと7つのConformer）を分析する。すべてのモデルは、ファインチューニングを行わずに、学習済み状態のまま評価された。
• データセット： プロービングは、ネイティブ／非ネイティブの話し手や録音条件における汎用性を確保するため、7つの多様な音声コーパス（L2-ARCTIC、CMU ARCTIC、Common Voice、Speech Accent Archiveを含む）からなる50,000以上の発話を用いて実施された。
• 特徴量タクソノミー： 信号から記号への階層構造に従い、著者らは4つの抽象化レベルに対してプロービングを行う：
  1. 音響的（Acoustic）： F0、フォルマント、強度。
  2. 人口統計学的（Demographic）： 性別およびL1アクセント。
  3. 音素的（Phonetic）： 音素カテゴリ（CMU辞書に基づく39カテゴリ）。
  4. 時間的（Temporal）： 発話レベルの持続時間。
• プロービング・メカニズム： すべての層において、単純な読み出しによって特徴量が抽出可能になる時期、すなわち**「線形アクセシビリティ（linear accessibility）」**を測定する。ここでは、連続的なターゲットには線形回帰を、カテゴリカルなターゲットにはロジスティック回帰を用いる。これは、基礎となるメカニズムに関する因果関係を主張するものではない。
• 指標：
  • ピーク位置 ($\pi_f$): プローブの性能が最大化される正規化された深さ（0から1）。
  • ピーク強度 ($s_f$): 到達した最大性能。
  • 位置差 ($\Delta$): 特徴量のペア間のピーク位置の差であり、階層的分離を定量化する。
• 統計的制御： パラメータ数を制御しながらアーキテクチャの効果を分離するために、2標本t検定および線形回帰モデルが使用された。また、ピーク位置のプロファイルのみからアーキテクチャのタイプを予測するために、ロジスティック回帰分類器が訓練された。

主要な結果

分析の結果、スケールや訓練レジームを超えて持続する、2つの分岐したアーキテクチャ依存の処理戦略が明らかになった：

1. 分岐する階層

• Conformer（「早期のカテゴリ化」）： Conformerは、カテゴリカルな特徴が浅い層で解決される分離された階層を示す。
  • 性別は、ネットワークの深さの**16%**でピークに達する。
  • 音素は、ネットワークの深さの**21%**でピークに達する。
  • このフロントローディング（前倒し処理）は、微細な音響詳細の解決よりも前に行われる。
  • 長距離の統合を必要とする持続時間（Duration）は、最終層（深さの約70%）まで遅延される。
• Transformer（「後期の統合」）： Transformerは、高次の言語的および社会言語学的情報が深い層で共存する、統合された戦略を実装する。
  • 音素、アクセント、および持続時間はすべて、全深さの**49〜57%**という狭い帯域内でピークに達する。
  • 性別は、Conformerと比較して、より広く分布している（平均ピークは28%）。
  • このアーキテクチャは、段階的なパイプラインではなく、ネットワークの後半部分で複数の特徴量を同時に解決する。

2. 統計的有意性

• 音素の分岐： 観察された最大の効果は音素のカテゴリ化であり、ConformerはTransformerよりも29%早くピークに達する（$\Delta\pi = -0.29, p < 0.01$）。
• アクセントと性別： Conformerは、アクセント（$\Delta\pi = -0.225$）および性別（$\Delta\pi = -0.126$）についても、より早くピークに達する。
• アーキテクチャ・フィンガープリント： ピーク位置の5次元ベクトルのみに基づき、TransformerとConformerのアーキテクチャを区別するロジスティック回帰分類器は、AUC 0.88を達成した。これは、表現プロファイルがアーキテクチャによって明確に区別されることを裏付けている。
• 訓練レジームによる変調： アーキテクチャがデフォルトのプロファイルを決定する一方で、訓練目的関数は特定の特長量を変調させる。例えば、Whisperモデル（多言語、教師あり学習）は、自己教師あり学習のTransformerと比較して、性別やアクセントの処理を遅らせるが、「後期の統合」という基本的な戦略はConformerに対して維持されている。

意義と主張

本論文は、高性能な音声認識が必ずしも表現の収束を意味しないと主張している。むしろ、ベンチマークにおける性能の並列性は、アーキテクチャの誘導バイアスによって形成された、根本的に異なる計算解から生じ得るものである。

• 設計ヘリスティクス（指針）： 本知見は、以下の実用的な選択基準を示唆している：
  • ストリーミング／低レイテンシ： 有用な音素および性別の表現が（Transformerの49%に対し）より早い段階（21%）で利用可能であるため、ストリーミングアプリケーションにはConformerが適している可能性がある。
  • 話者正規化： 話者の手がかり（性別、アクセント）を深い層で音素カテゴリと密接に統合するため、豊かなコンテキストと発話間の正規化を必要とするタスクにはTransformerが適している可能性がある。
• 解釈可能性： このフレームワークは、モデル開発者が標準的な指標（WERなど）を超えて、内部の処理戦略が意図したユースケースと一致しているかどうかを評価するための診断ツールを提供する。
• 限界： 著者らは、自らの主張が**「線形アクセシビリティ」**に限定されており、情報のあらゆる形態における最初の出現を意味するものではないことを明示している。この分析は相関関係を示すものであり、アーキテクチャからゼロベースで修正を行うような制御実験なしには、アーキテクチャが階層を決定するという因果関係を確定的に確立するものではない。また、特徴量タクソノミーは信号から音素への変換に焦点を当てており、語彙レベルや談話レベルの組織化についてはカバーしていない。

結論として、本論文は「エキスパートとしての性能への道は唯一ではない」ことを立証している。Conformerはローカル・デ・グローバルな誘導バイアスを利用し、Transformerはグローバル・アテンションに依存することで、それぞれ異なるが等しく効果的な処理戦略を実現している。