🤖 machine learning

Contrastive Order Learning: A General Framework for Ordinal Regression

本論文は、グローバルなバッチ単位のサンプル利用と、ソフトアフィニティおよびディスパリティ重みによる微細な順序モデリングを統合することで、顔の年齢推定や品質評価などの多様なタスクにおいて最先端の性能を達成する、順序回帰のための新しい対照学習フレームワークであるConOrdを提案している。

原著者： Chaewon Lee, BeomJun Shim, Kwang Pyo Choi, Chang-Su Kim

公開日 2026-07-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chaewon Lee, BeomJun Shim, Kwang Pyo Choi, Chang-Su Kim

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに、単に物事を箱に分類する（例えば「猫」や「犬」といった）だけでなく、物事の「スペクトラム（連続体）」を理解させる方法を教えていると想像してみてください。例えば「年齢」について考えてみましょう。10歳は12歳に近いですが、60歳とは異なります。あるいは、写真の品質を判断する場合を想像してください。少しぼやけた写真は、鮮明な写真よりは「悪い」ですが、完全に真っ暗な画面よりは「良い」ものです。これは**順序回帰（ordinal regression）**と呼ばれ、順序とランク間の距離を学習することです。

長い間、AI研究者はこれを教えるための主に2つの方法を試みてきましたが、どちらにも論理的な欠陥がありました。

旧来の手法：「全か無か」と「硬い境界線」

第一の方法は、**教師あり対照学習（Supervised Contrastive Learning）**でした。先生が学生に24歳の写真を見せているとします。先生は言います。「これは24歳だ。それ以外はすべて『24ではないもの』だ」。学生は、24歳を他の全員から遠ざけようと学習します。しかし、ここに問題があります。学生は、25歳（非常に似ている）を、75歳（全く異なる）と同じように扱ってしまうのです。先生は、24歳と25歳が隣人であり、24歳と75歳が他人であるという事実を無視しています。

次に、より新しい手法である**RnC（Rank-N-Contrast）**が登場しました。この先生はより賢明でした。彼らはこう言いました。「よし、24歳をアンカー（基準）とする。25歳は『ポジティブな友人』だ。しかし、25歳より年上の者は？彼らは全員『ネガティブな敵』だ」。先生は砂の上に明確な境界線を引きました。もしあなたが25歳より年上なら、あなたは敵です。しかし、待ってください。この先生は、26歳と100歳を全く同じように扱っています。両者とも同じ力で遠ざけられます。先生は、100歳の方が26歳よりもずっと遠くにいるという事実、そしてその距離が重要であることを忘れています。

新たなヒーロー：ConOrd（Contrastive Order Learning）

ここで、Chaewon Leeとそのチームによって提案された新しいフレームワーク、ConOrdが登場します。彼らは、順序を真に理解するためには、硬い境界線や距離の無視では不十分であることに気づきました。「どれくらい離れているか」というソフトで曖昧な理解が必要なのです。

新しい先生が、特殊な磁石を使っている様子を想像してみてください。

ソフトな磁石： ロボットが24歳を見ているとき、単に他の全員を押し返すのではありません。25歳を見て、「君は近いから、ほんの少しだけ引き寄せよう」と考えます。30歳を見て、「君はもう少し遠いから、引き寄せる力を弱めよう」と考えます。
反発： さて、75歳を見てみましょう。先生は言います。「君はとても遠い！もっと強く押し返さなければならない」。

これがConOrdの魔法です。単なる「味方か敵か」のリストではなく、アンカーからのランクの距離に基づいて、あらゆるサンプルにソフトな重みを割り当てます。

隙間が小さい場合： 穏やかな引き寄せ。
中程度の隙間がある場合： 中程度の反発。
巨大な隙間がある場合： 強力な反発。

ConOrdは、すべてのサンプルに学習に関与させる一方で、その強さを実際のランク差に一致させることで、以前の手法が「全か無か」として扱っていた問題を解決しています。これは、遠くの放送局のノイズは聞こえるものの、最も近い放送局の信号は極めてクリアに聞こえる、ラジオのチューニングのようなものです。

それは機能したのか？答えは結果が示す

チームは単に推測したのではなく、順序が重要となる現実世界の課題でテストを行いました。彼らは以下の実験を行いました。

年齢の推定： MORPH IIやCLAP2015セットを含む6つの異なるデータセットでテストしました。CLAP2015データセットにおいて、彼らの手法は平均絶対誤差（MAE）2.46を達成し、NumCLIP（2.55）やOrdinalCLIP（3.20）といった従来の最良の手法を上回りました。ConOrdは、CACDを除くすべてのデータセットにおいてMAE指標で最高のパフォーマンスを達成し、多様な年齢推定ベンチマークにおける強力な汎用性を実証しました。
写真品質の判定： 5つのブラインド画像品質データセットでテストしました。BIDデータセットにおいて、ConOrdはスピアマンの順位相関係数（SRCC）0.913、およびピアソンの線形相関係数（PCC）0.925を記録し、QCNやVISGAのような複雑な手法を含む、リストされている他のすべての手法を凌駕しました。
ビデオ品質の判定： LSVQやKoNViD-1kなどのビデオデータセットでテストしました。LSVQ-TESTセットにおいて、ConOrdはSRCC 0.904、PCC 0.904に達し、再び競合を打ち破りました。

著者たちは、変数を制御した上でこれらの結果に自信を持っています。彼らは比較対象のすべてのメソッドに対して、全く同じ「脳」（ViT-Bエンコーダー）を使用しました。つまり、勝利はより豪華なコンピュータを使ったからではなく、彼らの「ソフトな磁石」による教え方が単に優れていたからなのです。

彼らが否定したもの

論文は、誰を「ポジティブ」とし、誰を「ネガティブ」とするかという硬い決定を下す必要があるという考えに対し、明確に反論しています。彼らは、硬い閾値に依存する手法（RnCなど）や、ランクの距離を無視する手法（標準的な対照学習）は、性能を十分に引き出せていないことを示しました。また、単純な数学的トリック（正の対数）を用いた「ナイーブな」バージョンもテストしましたが、それが学習を不安定にし、信頼性を低下させることを発見したため、彼ら独自の「ソフトな重み」の公式を採用することにしました。

結論

ConOrdは、ランクの差を単なるカテゴリーのリストとしてではなく、滑らかで連続的なスケールとして扱うことで、AIが世界のニュアンスをより良く理解できるようになることを示唆しています。それは単に順序を知ることではなく、「どれほど離れているか」を知ることです。実験結果は、このアプローチが一貫して最先端の性能をもたらすことを示しており、年齢推定からビデオ品質の判定に至るまで、幅広いタスクにおいて強力な新ツールとなることを示しています。

テクニカルサマリー：コントラスティブ・オーダー学習 (ConOrd)

問題提起

順序回帰（Ordinal regression）は、オブジェクトの離散的または連続的なランクを推定することを目的としており、顔の年齢推定、ブラインド画像/ビデオ品質評価、健康状態のスコアリングといったアプリケーションにおいて基礎的なタスクです。標準的な分類とは異なり、順序回帰はラベルに内在する順序と相対的な距離をモデル化する必要があります。しかし、既存の手法には以下のような重大な限界があります：

オーダー学習（Order Learning）: 幾何学的オーダー学習（Geometric Order Learning: GOL）のような手法は、ラベルの順序性を明示的にモデル化しますが、多くの場合、局所的なマージンに基づくペア比較に依存しています。これらのアプローチは、マージンが満たされると勾配が発生しなくなり、バッチレベルで利用可能なより豊かなグローバルな順序コンテキストを活用できないという課題があります。
コントラスティブ学習（Contrastive Learning）: 教師ありコントラスティブ学習はバッチ内のすべてのサンプルを効果的に活用しますが、通常はラベルをカテゴリとして扱い、固有の順序を無視します。Rank-N-Contrast (RnC) のような拡張版は、ランクを考慮したペアを導入していますが、ハードな閾値に依存しており、順序の距離をバイナリの決定（ポジティブ/ネガティブ）へと崩壊させ、中程度のランク差と大幅なランク差を持つサンプルを等しくネガティブとして扱ってしまいます。

その結果、バッチ内の全サンプルペアに対して微細な順序関係を捉えつつ、埋め込み空間におけるグローバルな一貫性を維持できるフレームワークが必要とされています。

手法：コントラスティブ・オーダー学習 (ConOrd)

著者らは、オーダー学習とコントラスティブ学習の強みを統合したフレームワークである ConOrd を提案しています。その核心となるイノベーションは、ハードなポジティブ/ネガティブの割り当てに頼るのではなく、バッチ内のすべてのサンプルペアに対してソフトでランクを考慮した重みを割り当てるコントラスティブ・オーダー損失 ( $L_{ConOrd}$ ) です。

主要構成要素：

参照点を用いた埋め込み空間: 本フレームワークは、インスタンスを単位球上の特徴ベクトルにマッピングするエンコーダ $h$ を採用しています。また、 $M$ 個の学習可能な参照点 $\{\mu_m\}$ を導入しており、各 $\mu_m$ はランク $m$ のプロトタイプを表します。
ソフトな親和性と相違の重み: ハードな閾値を使用するRnCとは異なり、ConOrdはランク差 $|r_i - r_j|$ $∣ r_{i} - r_{j} ∣$ に基づいて連続的な重みを定義します：
- 親和性重み ( $a_{ij}$ ): ランクの差が大きくなるにつれて減少し、類似したランクを持つサンプル間の引き付け合いを促進します。これは $a_{ij} = \frac{1}{(r_i - r_j)^2 + \epsilon}$ としてインスタンス化されます。
- 相違重み ( $b_{ij}$ ): ランクの差が大きくなるにつれて増加し、遠いランクを持つサンプル間の反発を促進します。これは $b_{ij} = (r_i - r_j)^2$ としてインスタンス化されます。
損失関数: 損失は次のように定式化されます：
$L_{ConOrd} = -\frac{1}{2N} \sum_{i=1}^{2N} \frac{1}{|A(i)|} \log \frac{\sum_{j \in A(i)} a_{ij} e^{\kappa_{ij}/\tau}}{\sum_{j \in A(i)} b_{ij} e^{\kappa_{ij}/\tau}}$
ここで、 $\kappa_{ij}$ $κ_{ij}$ は類似度（負の平方ユークリッド距離）、 $\tau$ $τ$ は温度パラメータです。この定式化により、以下のことが保証されます：
- ランク差が小さいサンプルは引き付け合う。
- ランク差が大きいサンプルは反発する。
- ランク差の大きさが引き付け合いまたは反発の強さを変調し、きめ細かな順序監督を可能にする。
正則化: 各ランクに対する参照点 $\mu_m$ の周囲にコンパクトなクラスターを形成することを促すため、センター損失 ( $L_{center}$ ) が追加されます。
推論: 埋め込み空間における $k$ -最近傍 ( $k$ -NN) ルールを用いて、最も近い $k$ 個の訓練済み近傍のランクを平均することで、ランク推定を行います。

主な貢献

フレームワークの統合: オーダー学習とコントラスティブ学習を単一のバッチ単位の定式化の中で統一する、ConOrdというフレームワークの導入。
新しい損失設計: ランク差に基づくソフトな親和性および相違の重みを利用したコントラスティブ・オーダー損失の提案。これにより、ハードな閾値処理に伴う情報の損失を避け、すべてのバッチ内サンプルペアが、その順序関係によって変調されながら学習に寄与することが可能になります。
最先端の性能: 顔の年齢推定、ブラインド画像品質評価 (BIQA)、ブラインドビデオ品質評価 (BVQA) を含む多様な順序回帰ベンチマークにおいて、ConOrdが最先端（SOTA）の結果を達成することを実証。

実験結果

著者らは、複数のデータセットとタスクにおいてConOrdを評価しました：

顔の年齢推定: 6つのデータセット（MORPH II, CLAP2015, AgeDB-DIR, UTK, CACD, Adience）でテストされました。ConOrdは、CACDを除くすべてのデータセットにおいて、テキストによるガイダンスを用いるOrdinalCLIPやNumCLIP、あるいはクラス分布情報を用いるSLACEといった強力なベースラインを上回り、最高の平均絶対誤差（MAE）を達成しました。
ブラインド画像品質評価 (BIQA): 5つのデータセット（BID, CLIVE, KonIQ10k, SPAQ, FLIVE）で評価されました。ConOrdは、すべてのデータセットにおいて、複雑なTransformerベースやMambaベースのアーキテクチャを凌駕し、スピアマンの順位相関係数（SRCC）とピアソンの線形相関係数（PCC）の両方で既存の手法を上回りました。
ブラインドビデオ品質評価 (BVQA): 5つのベンチマーク（LSVQ, KoNViD-1k, LIVE-VQC, CVD2014, YouTube-UGC）で評価されました。ConOrdは、複数のバックボーンネットワークを利用する手法（例：ModularBVQA）よりも少ないバックボーンを使用しながら、一貫して最高のSRCCおよびPCCスコアを達成しました。
アブレーション研究:
- $L_{SupCon}$ 、 $L_{RnC}$ 、および他のコントラスティブ損失との比較により、ソフト重み付けを用いた全ペア比較が優れていることが確認されました。
- $L_{ConOrd}$ と $L_{center}$ の組み合わせが最良の結果をもたらし、 $L_{center}$ がクラス内のコンパクトネスを提供することが示されました。
- 提案された二次関数的な重み付け関数は、他の関数形式と比較して堅牢かつ効果的であることが判明しました。
- 本手法は、訓練データの減少やデータの破損に対しても耐性を示すことが実証されました。

意義と主張

本論文は、ConOrdがコントラスティブ学習のグローバルな一貫性と、オーダー学習の明示的な順序モデリングの間の溝を埋めることで、順序表現学習のための柔軟な基盤を提供すると主張しています。

汎用性: 本フレームワークは、特定のドメインに限定されない、様々な順序回帰シナリオに適用可能な一般的なソリューションとして提示されています。
効率性: 本手法は計算効率が高く、一部のベースラインで必要とされるデータ拡張や動的なネガティブサンプリングを必要としないため、より高速なトレーニング時間を実現します。
安定性: ソフト重み付けメカニズムは、ナイーブな対数損失に伴う勾配の不安定性や、ハードな閾値による情報の損失を回避し、安定した最適化を提供すると主張されています。

著者らは、ランクを考慮した引き付け合いと反発をソフトな重みを通じて組み込むことにより、ConOrdがすべてのサンプルペアを原理的な方法ですべて学習に寄与させ、結果として堅牢で高性能な順序回帰モデルを実現できると結論付けています。