Pixel-TTS: Image based Text Rendering for Robust Text-to-Speech

技術要約：Pixel-TTS

問題提起
従来のテキスト読み上げ（TTS）システムは、各文字を独立した実体として扱う離散的なUnicodeベースの埋め込みに依存しています。このアプローチは、特にゼロショットや低リソースの適応シナリオにおいて、汎化性能に重大な制限を生じさせます。未知の言語や文字に遭遇した場合、これらのモデルは明示的な語彙拡張と埋め込み行列の増大を必要とし、それがモデルの複雑さと学習コストを増大させます。さらに、標準的なテキストベースのアプローチは、Unicodeのホモグラフ（同形異義文字）や「l33tspeak」による歪みといった正書法上の変動に対して、視覚的に類似しているが意味的に異なる文字間の構造的な類似性を認識する能力を欠いているため、対処に苦慮します。

手法
著者らは、視覚的なテキスト表現に基づいた初のエンドツーエンドTTSフレームワークであるPixel-TTSを提案します。Pixel-TTSは、離散的な文字を埋め込みにマッピングする代わりに、テキストを画像としてレンダリングし、それを視覚的パイプラインを通じて処理します。この手法は、主に以下の3つのコンポーネントで構成されています。

1. テキスト・トゥ・イメージ・レンダリング： PIXELフレームワークに従い、各文字は固定された $16 \times 16$ のグレースケールパッチとしてレンダリングされます。これらのパッチは幅方向に積み重ねられ、単一の画像 $X \in \mathbb{R}^{H \times W}$ を形成します。白い $16 \times 16$ パッチは、ターゲットとなる音声メルスペクトログラムとの単調なアライメントを維持するためのフィラー（埋め草）トークンとして機能します。
2. ピクセル投影（Pixel Projection）： レンダリングされた画像は、2D畳み込み層（Conv2D）を用いて一連の埋め込みへと投影されます。カーネルサイズとストライドを $16 \times 16$ とすることで、この層は各文字パッチを直接単一の埋め込みベクトル（$dim_{text} = 512$）へとマッピングします。この設計は、文字レベルの時系列アライメントを保持しつつ、モデルが視覚的に根ざした表現を学習することを可能にします。得られた埋め込みは、4層に重なったConvNeXtV2ブロックによって処理されます。
3. 学習目的関数： 本フレームワークは、ピクセルレベルの埋め込みを条件としたConditional Flow Matching（CFM）を主要な生成損失として採用しています。正確なテキストと音声の対応関係を確保するために、CTCベースのテキストアライメント損失と、HuBERT特徴量を用いた音声表現アライメント損失を含む補助的なアライメント損失を組み込んでいます。最終的な目的関数は、$L = L_{CFM} + \lambda_{text}L_{text} + \lambda_{speech}L_{speech}$ となります。

主な貢献

• エンドツーエンドのPixel-TTS： ピクセルレベルの埋め込みを活用した視覚ベースのTTSモデルを導入し、競合するベースラインと同等の合成品質を維持しながら、より高速な収束を実現しました。
• 改善されたクロスリンガル汎化性能： ピクセルベースの埋め込みの使用により、視覚的に類似したスクリプトを持つ言語間での知識転移が可能になります。これは、Unicodeのエンコーディングに関わらず、構造的に類似した文字が類似した埋め込みを生成するためです。
• 効率的なファインチューニング： 本フレームワークは、ファインチューニング中の埋め込み行列の拡張を不要にします。German Common Voiceのサブセットを用いた実験では、Pixel-TTSは低リソース設定において従来のテキストベースのモデルよりも速く収束することが示されました。
• 正書法ノイズに対する堅牢性： Pixel-TTSは、離散的な文字IDではなく視覚的構造に依存することで、Unicodeやl33tspeakによる歪みに対して、テキストベースのモデルよりも優れたハンドリング能力を示します。

実験結果

• 定量的パフォーマンス： LibriSpeech-PCテストセットにおいて、Pixel-TTSは300kアップデート時点で、Text-TTSベースラインと比較して、より低い単語誤り率（WER: 2.28% vs. 2.53%）および文字誤り率（CER: 0.81% vs. 1.16%）を達成しつつ、同等の話者類似度（SIM）およびUTMOSスコアを維持しました。
• ゼロショット・クロスリンガル評価： 未知のドイツ語、フランス語、オランダ語のデータセット（OOV文字を含む）において、Pixel-TTSは一貫してText-TTSを上回りました。Text-TTSはOOV文字をしばしばフィラートークンとして扱いますが、Pixel-TTSはこれらをシームレスに処理し、これら3つの言語すべてにおいて大幅に低いエラー率を実現しました。
• ファインチューニングの効率性： German Common Voiceのサブセット（10hおよび50h）でファインチューニングを行った際、Pixel-TTSは語彙拡張を必要としませんでした。対照的に、Text-TTSベースラインは新しい文字のために埋め込み行列を拡張する必要があり、その結果、初期のエラー率が高くなり、収束も遅くなりました。Pixel-TTSは、学習プロセス全体を通じて一貫して低いWERおよびCERを達成しました。
• 摂動に対する堅牢性： 合成された正書法ノイズ（Unicodeホモグラフおよびl33tspeak）の下で、Pixel-TTSは安定したパフォーマンスを維持しましたが（例：ホモグラフノイズ下でのWERの上昇は14.55から46.57）、Text-TTSのパフォーマンスは急激に低下しました（一部のケースでWERが100%を超過）。
• 埋め込み分析： 文字埋め込みのt-SNE可視化により、Pixel-TTSが視覚的に類似した文字（例：'c'と'C'、'm'と'M'）を埋め込み空間内で自然にクラスター化していることが明らかになりました。一方、Text-TTSはこれらを別個の無関係な実体として扱います。

意義と主張
本論文は、Pixel-TTSが音声合成を視覚的なテキスト表現に根ざさせることで、TTSアーキテクチャにおける重要な転換を提示していると主張しています。その主な意義は、埋め込み行列を拡張するという計算上のオーバーヘッドなしに、未知の文字や言語への汎化を可能にする能力にあります。文字間の視覚的な類似性を活用することで、モデルはより速い収束と正書法ノイズに対する堅牢性を実現します。著者らは、このアプローチが、特に低リソース適応やノイズの多いテキスト入力が関わるシナリオにおいて、多様な言語にわたる自然でスケーラブルな音声生成を可能にするための有望な方向性を示すものであると示唆しています。