技術サマリー：StyleTextGen

問題定義

スタイル条件付きシーンテキスト生成は、画像内のテキストを合成し、参照例の視覚的スタイル（フォント特性、ストロークパターン、色グラデーション、テクスチャ）を忠実に再現することを目的としています。テキストから画像への生成は大幅に進展しましたが、特に多言語コンテキストにおいて、正確なスタイル制御を伴うシーンテキストの生成は依然として根本的な課題です。

本論文は、3 つの主要な技術的障壁を特定しています：

1. 複雑な背景の干渉: 参照画像にはしばしば散らかった背景、変化する照明、多様なレイアウトが含まれており、これらがスタイル知覚を混乱させるため、テキスト固有のスタイル特徴を抽出することが困難です。既存の手法は外部スタイル参照の採用に苦慮しており、元のインプレイステキストからのスタイルの再利用に留まったり、スタイルとコンテンツの絡み合いに悩まされたりすることが多いです。
2. 多言語の一貫性: 異なる書字体系（例：ラテン文字、中国語、アラビア語）を扱う場合、それらが固有のタイポグラフィ構造と画数を持つため、文字間で微細なスタイルの一貫性を維持することは著しく困難です。現在の手法は堅牢な言語間転送メカニズムを欠いており、文字の外観の一貫性の欠如や構造的歪みを引き起こしています。
3. スタイルとコンテンツの絡み合い: 多くの既存のアプローチはスタイルとコンテンツを明示的に分離できず、複雑なシーンの処理や参照とは異なる言語でのテキスト生成時に性能が低下します。

手法

著者は、拡散ベースのインペインティングパラダイム（具体的には TextFlux に類似した DiT バックボーンを利用）を基盤とした新しいフレームワーク StyleTextGen を提案します。このアーキテクチャは、任意のテキストスタイル参照画像に基づいて生成プロセスを条件付けるように設計されています。

1. 双枝スタイルエンコーダ

複雑な多言語シーンからの微細なテキストスタイルの手がかりを堅牢に符号化するために、このフレームワークはスタイル参照画像（$I_{style}$）を処理する双枝エンコーダを導入します：

• テキストスタイル枝: この枝は、グリフ構造、ストロークテクスチャ、色分布などのテキスト固有の手がかりの捕捉に専念します。スタイル保持型多言語テキストセグメンテーションタスクで事前学習されたテキスト指向エンコーダ、自己注意精緻化トランスフォーマ、および Q-Former アダプタで構成されています。この枝は、多様な書字体系から安定したテキスト特徴を抽出することを保証します。
• 視覚的事前知識枝: 汎用的なビジョンランゲージバックボーン（SigLIP）に基づいて構築され、この枝は全体的な視覚情報を抽出して、外観とトーンの一貫性を提供します。
• 融合: 両枝の出力は、クロスアテンション（テキスト表現をクエリ、視覚的事前知識をキー/バリューとして使用）を介して融合され、堅牢でテキストを認識するスタイル埋め込み（$z_{style}$）を生成します。この埋め込みは線形投影され、スタイルキーバリューペアに変換されて、DiT バックボーンの注意機構を調節します。

2. テキストスタイル一貫性損失（$\mathcal{L}_{tsc}$）

文字のスタイルのドリフトや背景の散らかりによるスタイルの手がかりの隠蔽という問題に対処するため、著者は特定の損失関数を導入します。

• ニューラルスタイル転送に触発され、この損失は事前学習された視覚エンコーダから抽出された多層特徴のグラム行列を計算します。
• 生成画像のテキスト領域と参照画像のテキスト領域におけるグラム行列間のフロベニウス距離を計算します。
• このマスクガイド付き損失は、特にテキスト領域内でスタイルの整合性を強制し、生成されたすべての文字間で均一なスタイル属性を促進します。

3. 推論時のスタイル注入

生成中のスタイル整合性をさらに精緻化するため、著者はマスクガイド付き推論戦略を提案します：

• 二言語テキストセグメンテーションモデルを使用して、生成画像と参照スタイル画像の両方からテキスト領域マスクを抽出します。
• 参照画像の潜在特徴を DiT を介して逆変換し、内部キーバリュー特徴を回復させ、テキスト領域のみがスタイル表現に寄与するようにします。
• これらのスタイル特徴は、AdaIN と注意変調を介して生成プロセスに注入され、マスクで定義されたテキスト領域に特に適用されます。
• この注入は、シーンテキストの忠実度と背景の一貫性を維持するため、最初の 10 段階のノイズ除去ステップでのみ実行されます。

主要な貢献

本論文は、3 つの主要な貢献を概説しています：

1. 双枝スタイルエンコーダ: テキスト焦点枝（多言語セグメンテーションで事前学習済み）と視覚的事前知識枝を組み合わせる新しいアーキテクチャ。複雑な背景や多様な言語にわたって安定した、テキストを認識するスタイル埋め込みを生成します。
2. テキストスタイル一貫性損失と推論戦略: テキスト領域内のスタイル整合性を強制する専用損失関数と、異なる書字体系間で参照テキストと生成テキストの正確なスタイル対応を確保するマスクガイド付き推論戦略の組み合わせ。
3. StyleText-CE ベンチマーク: 中国語と英語の二言語シーンテキストスタイルベンチマークの構築。このベンチマークは、自己スタイル参照、外部スタイル参照、単一言語生成、および言語間転送の 4 つの評価設定をサポートし、スタイルの一貫性と汎化性の体系的な評価を可能にします。

実験結果

著者は、AnyText、Calligrapher、TextFlux などの最先端手法と比較して、AnyWord-Eval および StyleText-CE ベンチマーク上で StyleTextGen を評価しました。

• 定量的性能: StyleTextGen はすべての指標において既存の手法を上回りました。
  • AnyWord-Eval において、TextFlux と比較してより高い文正解率（Sen.Acc）と正規化編集距離（NED）を達成しました（例：英語で Sen.Acc が +5.6%、中国語で +3.4%）。
  • 優れたスタイル類似性を示し、FID および LPIPS スコアが低くなりました。例えば、TextFlux と比較して FID スコアは英語で 16.7%、中国語で 8.21% 削減されました。
  • StyleText-CE において、このモデルは外部スタイル参照をサポートする唯一の他の手法である Calligrapher を、自己スタイルおよび外部スタイル参照の両方の設定で一貫して上回りました。単一言語および言語間構成において、テキストの正確性とスタイル類似性の両方で顕著な改善を示しました。
• アブレーション研究: スタイルエンコーダのいずれかの枝、テキストスタイル一貫性損失、または推論時のスタイル注入を除去すると、テキストの正確性とスタイルの類似性の両方で測定可能な劣化が生じ、各コンポーネントの必要性が確認されました。
• 定性的分析: 視覚的比較により、StyleTextGen は参照からの色の偏りが最小限で、他の手法がスタイルとコンテンツの絡み合いや構造的歪みを示したクロスリンガルシナリオや散らかった背景であっても、高いスタイルの一貫性を維持してテキストを生成することが示されました。

意義

本論文は、StyleTextGen が多言語スタイル条件付きテキスト生成において新しい最先端の性能を確立したと主張しています。その意義は以下の点にあります：

• 堅牢な多言語能力: 以前の手法が失敗した異なる書字体系（例：中国語と英語）間で微細なスタイルの一貫性を維持するという課題に成功裏に対処すること。
• 外部スタイル適応: インプレイステキストや単純なフォントパラメータのみに依存する手法の限界を克服し、任意の外部スタイル参照に基づいてシーンテキストを生成可能にすること。
• 実用的応用: 多言語サインデザインや広告ポスター作成などの現実世界のアプリケーションに不可欠な解決策を提供し、同時に高忠実度のトレーニングデータを生成することで、シーンテキスト検出や認識などの下流タスクにも利益をもたらすこと。
• ベンチマーキング: シーンテキスト生成におけるスタイルの一貫性とクロスリンガル汎化性を評価するための専用ベンチマーク（StyleText-CE）を提供することで、分野のギャップを埋めること。