An Unsupervised Tensor-Based Domain Alignment

技術要約：非教師ありテンソルベース・ドメイン・アライメント

問題提起
信号処理に基づく人工知能システムは、トレーニング（ソース）データとテスト（ターゲット）データが、デバイスの変更や環境の変化など、異なる条件下で収集される実世界のシナリオに展開される際、性能低下に陥ることがよくあります。この「ドメインシフト」は、モデルの汎化を妨げるデータ分布の不一致を生じさせます。主成分分析（PCA）、部分空間アライメント（SA）、相関アライメント（CORAL）といった従来のドメイン適応（DA）技術が提案されてきましたが、これらは通常、テンソル構造を持つデータをベクトル化するため、多次元的な構造特性を活用できていません。さらに、TAISL（Tensor-Aligned Invariant Subspace Learning）のような既存のテンソルベースの手法は、投影行列に対して直交制約（スティフェル多様体）を課しています。著者らは、これらの直交制約が表現の柔軟性を制限し、複雑なドメイン変動を捉えることを困難にしていると主張しています。

手法
本論文では、共通の不変部分空間内でソースおよびターゲットのテンソルを整列させるために設計された、**テンソルベース・ドメイン・アライメント（TDA）**アルゴリズムを提案しています。この手法は、ベクトル化を行うことなく、タッカー分解（Tucker decomposition）を利用してデータを投影します。

• 目的関数: フレームワークの中核となるのは、正則化項 $h(\mathcal{M})$ を組み込んだ、アライメント損失 $J(\mathcal{M}, \mathcal{U})$ を最小化する目的関数です。
  • アライメント損失: この項は、アライメント行列 $\mathcal{M} = \{M_k\}$ と共有部分空間 $\mathcal{U} = \{U_k\}$ を通じた結合変換によって、ソースおよびターゲットのテンソルの整列を強制します。ソースおよびターゲットのテンソルは、コアテンソル $G_s$ および $G_t$ によって定義される共通の部分空間へと投影されます。
  • 正則化: 元のテンソルと、アライメント行列のムーア・ペンローズ疑似逆行列を介して復元されたテンソルとの間の再構成誤差を最小化するために、分散保存項が追加されます。これにより、ソースおよびターゲットの両方のテンソルの分散が保持されることが保証されます。
• 多様体制約: 手法における主要な革新は、直交制約の緩和です。$M_k M_k^T = I$（スティフェル多様体）を強制する代わりに、提案手法では $\text{diag}(M_k M_k^T) = 1$ と定義される斜交多様体（oblique manifold）制約を課します。これにより、非直交変換が可能となり、複雑なドメイン変動や投影方向間の相互依存性を捉えるための高い柔軟性が提供されます。
• 最適化: $\mathcal{M}$ と $\mathcal{U}$ の相互依存性により、交互最小化戦略を用いて問題を解決します。
  1. $\mathcal{U}$ の最適化: 固定されたアライメント行列を用いて、交互最小二乗法（ALS）によるタッカー分解を通じて部分空間行列を更新します。
  2. $\mathcal{M}$ の最適化: 固定された部分空間行列を用いて、斜交多様体上のリーマン勾配降下法によりアライメント行列を更新します。

主な貢献

1. 既存手法の一般化: 提案されたフレームワークは多用途であり、既存のテンソルベースのDA手法（TAISLを含む）を特殊なケースとして一般化しています。斜交制約を直交制約に置き換え、特定の項を除去すると、本手法は先行アルゴリズムに帰着します。
2. 斜交多様体制約: スティフェル多様体ではなく斜交多様体を利用することで、直交制約を緩和し、複雑なドメインシフトに対する表現の柔軟性と適応性を高めています。
3. 分散保存: ソースおよびターゲットの両方のテンソルの分散を特化して保持するように設計された正則化項を含めることで、堅牢な性能を確保しています。
4. デュアルドメイン・アライメント: ソースデータをターゲットドメインに向けて整列させることに焦点を当てがちな従来の手法とは異なり、本アプローチはアライメントプロセス中にソースとターゲットの両方のドメインを同時に考慮します。

実験結果
著者らは、視覚的（MNIST, MNIST-C, MNIST-M）および音響的（TUT Urban Acoustic Scenes 2018 Mobile）データセットを用いてアルゴリズムを評価しました。性能は、ターゲットデータに対する分類精度およびクラス内距離の減少によって測定されました。

• 分類精度: 提案手法、特に斜交制約を用いたバリアント（TDA(O)）は、一貫して最先端のベースライン（NA, PCA, SA, CORAL, NTSL, TAISL, E-TAISLを含む）を上回りました。
  • 画像テンソルにおいて、TDA(O)はすべてのターゲットドメインで最高の精度を達成しました（例：MNIST-C Fogで79.2%、MNIST-C Blurで71.1%、MNIST-Mで53.1%）。
  • オーディオテンソルにおいても、TDA(O)は同様に優れた精度を達成しました（1:1ペアリングで85.7%、ランダムペアリングで62.7%）。
• 収束速度: 本手法はベースラインと比較して高速な収束を示しました。TDA(O)は、斜交制約の効率性により、損失減少および精度向上の両面において最も速い収束を示しました。
• 堅牢性: アルゴリズムは、ターゲットテンソルのサイズが限られている場合でも信頼性を維持し、ラベルノイズに対しても堅牢でした。ベースラインと比較して一貫してより小さなクラス内距離を達成しており、これは優れたクロスドメイン幾何学的整合性を示しています。
• 可視化: t-SNEによる可視化は、TDA(O)が優れたドメイン適応を実現したことを裏付けており、ソースとターゲットの分布がTAISLよりも効果的に重なっていることが確認されました。投影行列の分析により、斜交制約が無視できない非対角要素を導入していることが示され、投影方向間の相互依存性の強化が確認されました。

意義
本論文は、提案されたTDAフレームワークを、複雑なドメイン適応タスクにおける優れた選択肢として位置づけています。テンソルベースの構造保存と、斜交多様体制約の柔軟性、および分散保存正則化を組み合わせることで、本手法は従来のベクトルベースおよび直交制約を持つテンソル手法の限界に対処しています。著者らは、このアプローチが分類精度を大幅に向上させるだけでなく、ドメイン・アライメント変換の速度も向上させ、環境やデバイスの変化によってデータ分布が変化する実世界のアプリケーションにおいて、堅牢なソリューションとなることを主張しています。