技術要約：意味論に基づく対照学習によるロゴグラフ文字の視覚的事前学習

問題提起

文字認識や画像のデノイジングといったディープラーニングベースの文字視覚タスクは、通常、大規模でバランスの取れたデータセットで学習した場合にのみ最適な性能を発揮します。しかし、実世界のロゴグラフ（表意文字）言語（例：中国語の漢字、日本語の漢字、古代エジプトのヒエログリフ）のデータセットは、深刻なデータの不均衡に直面しています。この不均衡は、文字の使用頻度の大きな差や、考古学的な発見を通じて新しい、あるいは希少な文字が継続的に出現することに起因しています。

既存の認識手法は、多くの場合イメージ分類に根ざしており、このようなロングテール分布への対応に苦慮しています。カテゴリの不均衡を緩和するためにコントラスト学習（例：SimCLR）が適用されることもありますが、現在の手法はバイナリ（二値）のポジティブ／ネガティブ・ペアの定式化に依存しています。これらの手法は、すべてのネガティブサンプルを等しく異質なもの（固定された距離）として扱うため、「ハード」なネガティブ（視覚的または意味的に類似しているが異なる文字）と「トリビアル（自明）」なネガティブを区別することができません。その結果、学習効率が低下し、低頻度文字の表現が最適化されないままとなります。さらに、既存の手法は主にピクセルレベルの特徴に焦点を当てており、ロゴグラフ・システムに内在する豊かな文脈的意味論を軽視しています。

手法

著者らは、不均衡なロゴグラフ文字データセットに特化して、深い視覚表現を強化するために、**視覚的意味論（Visual Semantics）と文脈的意味論（Contextal Semantics）**を統合する新しい事前学習戦略を提案しています。その中核となる革新は、バイナリラベルを言語モデルから導出されたソフトな意味論的監督に置き換える、意味論に基づくコントラスト学習フレームワークです。

1. 二重の意味論表現

本フレームワークは、2つの異なる意味空間をモデル化します。

• 視覚的意味論 ($V_s$): ビジョンエンコーダ（例：ResNet）を用いて文字画像から抽出されます。エンコーダは、拡張された文字画像を処理し、視覚的特徴を表す埋め込みベクトルを生成します。
• 文脈的意味論 ($C_s$): 事前学習済み言語モデル（例：BERT）を用いて文字ラベルから抽出されます。本モデルは、テキストの埋め込みを絶対的なターゲットとして扱うのではなく、言語モデルが持つ文字間の相対的な意味関係を捉える能力を活用します。

2. 分布レベルのコントラスト目的関数

ペアごとの類似度スコアを直接回帰する（これはスケールや非等長的な分布に対して敏感になり得る）のではなく、本手法は2つのモダリティの**意味論的近傍分布（semantic neighborhood distributions）**を整合させます。

• ソフトラベルの生成: 各アンカー文字に対して、ミニバッチ内の他の文字に対する文脈的意味論の類似度を、温度スケール付きのソフトマックスを用いて条件付き確率分布 ($P_C$) に変換します。この分布は、近傍の相対的な意味的関連性を表します。
• 視覚的分布の整合: 同様に、視覚的埋め込みから視覚的意味論分布 ($P_V$) が計算されます。
• 損失関数: 主要な目的は、文脈的分布 ($P_C$) と視覚的分布 ($P_V$) の間のクロスエントロピー（KLダイバージェンスに相当）を最小化することです。これにより、視覚的埋め込み空間が言語モデルによって定義される相対的な意味的順序を保持するように強制し、文脈的意味論をソフトラベルとして効果的に利用します。

3. 難易度を考慮したフォーカル再重み付け

ロングテールなデータセットにおいて、容易でトリビアルなペアが損失を支配してしまう問題に対処するため、著者らはフォーカルロスに着想を得たフォーカル再重み付け戦略を導入しています。

• 損失は、視覚モデルの現在の予測信頼度に基づいて再重み付けされます。
• すでに整合している（容易な）ペアは重みが下げられ、不整合で情報量の多い「ハード」なペアが強調されます。
• この適応的なメカニズムにより、モデルは困難な意味関係に学習能力を集中させることができ、これは類似した外見を持つ希少な文字を区別するために極めて重要です。

4. 共同最適化

事前学習フェーズでは、文脈的意味論の損失（分布の整合）と標準的な分類損失（クロスエントロピー）を共同で最適化し、学習された表現を特定の認識タスクに固定（アンカー）します。

主な貢献

1. 新しい事前学習戦略: 本論文は、意味論に基づくコントラスト学習を統合することにより、不均衡な文字カテゴリに対する深い表現を強化する手法を導入しています。これは、連続的な意味的関連性を利用することで、バイナリのコントラスト学習を超越しています。
2. 分布レベルの整合フレームワーク: 視覚的意味論と文脈的意味論を分布レベルで整合させるフレームワークを提案しています。絶対的な距離ではなく相対的な意味関係をモデル化することで、ロゴグラフ文字に対してより効果的な表現学習を可能にします。
3. 実証的検証: さまざまな不均衡度（IF = 10, 50, 100）を持つ4つの多様なデータセット（HWDB1.1, ICDAR2013, CTW, K-Kanji）を用いた広範な実験により、提案手法が最先端の事前学習およびロングテール分類技術よりも優れていることを示しています。

実験結果

提案手法は、手書き中国語、シーンテキスト、歴史的な日本語の漢字をカバーする4つのデータセットにおいて評価されました。

• 事前学習手法との比較: 提案手法（Ours$_{FR}$）は、確立されたコントラスト学習のベースライン（SimCLR, MoCo, BYOL, SwAV, SimSiam）およびマルチモーダルモデル（VL-BERT, CLIP）を一貫して上回りました。例えば、ResNet18バックボーンを用いた極めて不均衡なHWDB-LT100データセットにおいて、提案手法は**83.46%**の精度を達成し、SimCLR（56.68%）やMoCo（58.96%）を大幅に凌駕しました。
• ロングテール手法との比較: 本アプローチは、特化したロングテール画像分類手法（CMO, OTmix, NCL++, ProCo）に対しても優れた性能を示しました。これは、文脈的意味論を統合することが、視覚的なサンプル分布のみに依存する手法よりも優れた堅牢性を提供することを示唆しています。
• ダウンストリームタスクの改善: 様々なSOTA OCRモデル（VGG16のようなCNNやViTのようなTransformerを含む）の事前学習ステップとして適用した際、提案手法はテストされたすべての方程式において一貫した精度の向上をもたらしました。例えば、CTWデータセットにおいてDenseNetにこの事前学習を適用すると、**2.07%**の精度向上が得られました。
• アブレーション研究:
  • 損失コンポーネント: 文脈的損失のみを使用する場合、分類損失のみを使用する場合よりも大幅に優れた結果となり、両方の組み合わせが最良の結果をもたらしました。
  • 整合戦略: 提案された分布レベルの整合（KLダイバージェス）は、ポイントワイズのMSE回帰アプローチよりも大幅に優れており、非等長的なロングテール空間においては、絶対的な類似度値を回帰することよりも関係構造を学習することの方が効果的であることを裏付けています。

重要性

本論文の主要な意義は、ロゴグラフ文字認識における決定的なボトルネックであるデータの不均衡に対処することにあると主張されています。視覚的構造と文脈的意味の間の整合性を活用することで、提案手法は、特定の文字の訓練サンプルが乏しい場合でも、堅牢な表現を学習するメカニズムを提供します。著者らは、このアプローチが、伝統的なバランスの取れたトレーニングが不可能な歴史的テキスト、シーン内の文字、および低リソース言語を扱う実世界のアプリケーションに対して、よりスケーラブルで堅牢なソリューションを提供すると断言しています。本研究は、外部のセマンティック知識（言語モデル経由）をソフトな監督として取り入れることが、視覚的表現学習を効果的にガイドし、大規模でバランスの取れた視覚データセットへの依存を軽減できることを示しています。