Résumé Technique : Contrastive Order Learning (ConOrd)

Énoncé du Problème

La régression ordinale vise à estimer le rang discret ou continu d'une instance d'objet, une tâche fondamentale pour des applications telles que l'estimation de l'âge facial, l'évaluation de la qualité d'images/vidéos en aveugle et la notation de l'état de santé. Contrairement à la classification standard, la régression ordinale nécessite de modéliser l'ordre inhérent et les distances relatives entre les étiquettes. Cependant, les méthodes existantes présentent des limitations significatives :

• Apprentissage de l'ordre (Order Learning) : Les techniques comme le Geometric Order Learning (GOL) modélisent explicitement l'ordinalité des étiquettes mais reposent souvent sur des comparaisons par paires locales basées sur une marge. Ces approches ne génèrent généralement aucun gradient une fois qu'une marge est satisfaite, échouant ainsi à exploiter le contexte ordinal global plus riche disponible au niveau du batch.
• Apprentissage contrastif (Contrastive Learning) : Bien que l'apprentissage contrastif supervisé exploite efficacement tous les échantillons d'un batch, il traite généralement les étiquettes comme catégorielles, ignorant l'ordre inhérent. Les extensions comme le Rank-N-Contrast (RnC) introduisent des paires sensibles au rang mais reposent sur des seuils rigides, réduisant les écarts ordinaux à des décisions binaires (positif/négatif) et traitant les échantillons ayant des écarts de rang modérés et substantiels de la même manière comme des négatifs.

Par conséquent, il existe un besoin pour un cadre capable de capturer les relations ordinales fines entre toutes les paires d'échantillons tout en maintenant une cohérence globale dans l'espace d'enchâssement (embedding space).

Méthodologie : Contrastive Order Learning (ConOrd)

Les auteurs proposent ConOrd, un cadre qui intègre les forces de l'apprentissage d'ordre et de l'apprentissage contrastif. L'innovation centrale est une perte d'ordre contrastive ($L_{ConOrd}$) qui assigne des poids doux et sensibles au rang à toutes les paires d'échantillons au sein d'un batch, plutôt que de s'appuyer sur des assignations positives/négatives rigides.

Composants Clés :

1. Espace d'Enchâssement avec Points de Référence : Le cadre utilise un encodeur $h$ qui projette les instances vers des vecteurs de caractéristiques sur une sphère unité. Il introduit $M$ points de référence apprenables $\{\mu_m\}$, où chaque $\mu_m$ représente un prototype pour le rang $m$.
2. Poids d'Affinité et de Disparité : Contrairement à RnC, qui utilise des seuils rigides, ConOrd définit des poids continus basés sur la différence de rang $|r_i - r_j|$ :
   • Poids d'Affinité ($a_{ij}$) : Diminue à mesure que l'écart de rang augmente, favorisant l'attraction entre des échantillons ayant des rangs similaires. Il est instancié comme $a_{ij} = \frac{1}{(r_i - r_j)^2 + \epsilon}$.
   • Poids de Disparité ($b_{ij}$) : Augmente à mesure que l'écart de rang augmente, favorisant la répulsion entre des échantillons ayant des rangs distants. Il est instancié comme $b_{ij} = (r_i - r_j)^2$.
3. La Fonction de Perte : La perte est formulée comme suit :
   $$L_{ConOrd} = -\frac{1}{2N} \sum_{i=1}^{2N} \frac{1}{|A(i)|} \log \frac{\sum_{j \in A(i)} a_{ij} e^{\kappa_{ij}/\tau}}{\sum_{j \in A(i)} b_{ij} e^{\kappa_{ij}/\tau}}$$
   où $\kappa_{ij}$ est la similitude (négatif de la distance euclidienne au carré) et $\tau$ est un paramètre de température. Cette formulation garantit que :
   • Les échantillons avec de faibles écarts de rang sont attirés.
   • Les échantillons avec de grands écarts de rang sont repoussés.
   • L'amplitude de l'écart de rang module la force de l'attraction ou de la répulsion, permettant une supervision ordinale fine.
4. Régularisation : Une perte de centre (center loss, $L_{center}$) est ajoutée pour encourager des clusters compacts autour des points de référence $\mu_m$ pour chaque rang.
5. Inférence : L'estimation du rang est effectuée à l'aide d'une règle des $k$-plus proches voisins ($k$-NN) dans l'espace d'enchâssement, en faisant la moyenne des rangs des $k$ plus proches voisins d'entraînement.

Principales Contributions

1. Intégration de Cadre : Introduction de ConOrd, un cadre général qui unifie l'apprentissage d'ordre et l'apprentissage contrastif au sein d'une formulation unique par batch.
2. Conception de Perte Novatrice : Proposition d'une perte d'ordre contrastive qui utilise des poids d'affinité et de disparité doux basés sur les différences de rang. Cela permet à toutes les paires d'échantillons d'un batch de contribuer à l'apprentissage, modulées par leurs relations ordinales, évitant ainsi la perte d'information inhérente au seuillage rigide.
3. Performance de l'État de l'Art : Démonstration que ConOrd atteint des résultats de pointe sur divers benchmarks de régression ordinale, incluant l'estimation de l'âge facial, l'évaluation de la qualité d'image en aveugle (BIQA) et l'évaluation de la qualité vidéo en aveugle (BVQA).

Résultats Expérimentaux

Les auteurs ont évalué ConOrd sur de multiples jeux de données et tâches :

• Estimation de l'Âge Facial : Testé sur six jeux de données (MORPH II, CLAP2015, AgeDB-DIR, UTK, CACD, Adience). ConOrd a obtenu la meilleure Erreur Absolue Moyenne (MAE) sur tous les jeux de données sauf CACD, surpassant des bases solides comme OrdinalCLIP et NumCLIP (qui utilisent un guidage textuel) et SLACE (qui utilise des informations de distribution de classe).
• Évaluation de la Qualité d'Image en Aveugle (BIQA) : Évalué sur cinq jeux de données (BID, CLIVE, KonIQ10k, SPAQ, FLIVE). ConOrd a surpassé les méthodes existantes tant en coefficient de corrélation de rang de Spearman (SRCC) qu'en coefficient de corrélation linéaire de Pearson (PCC) sur tous les jeux de données, dépassant des architectures complexes basées sur les Transformers et les Mamba.
• Évaluation de la Qualité Vidéo en Aveugle (BVQA) : Évalué sur cinq benchmarks (LSVQ, KoNViD-1k, LIVE-VQC, CVD2014, YouTube-UGC). ConOrd a systématiquement obtenu les meilleurs scores SRCC et PCC, surpassant des méthodes utilisant plusieurs réseaux de base (ex: ModularBVQA) tout en utilisant moins de réseaux de base.
• Études d'Ablation :
  • Les comparaisons avec $L_{SupCon}$, $L_{RnC}$ et d'autres pertes contrastives ont confirmé que la comparaison par paires avec pondération douce est supérieure.
  • La combinaison de $L_{ConOrd}$ et $L_{center}$ a produit les meilleurs résultats, $L_{center}$ apportant une compacité intra-classe.
  • Les fonctions de pondération quadratique proposées se sont révélées robustes et efficaces par rapport à d'autres formes fonctionnelles.
  • La méthode a démontré sa résilience face à la réduction des données d'entraînement et à la corruption des données.

Signification et Revendications

L'article affirme que ConOrd fournit une base flexible pour l'apprentissage de représentation ordinale en comblant le fossé entre la cohérence globale de l'apprentissage contrastif et la modélisation ordinale explicite de l'apprentissage d'ordre.

• Généralisation : Le cadre est présenté comme une solution générale applicable à divers scénarios de régression ordinale, non limité à un domaine spécifique.
• Efficacité : La méthode est informatiquement efficace, évitant le besoin d'augmentation de données et de l'échantillonnage négatif dynamique requis par certaines méthodes de base, ce qui conduit à des temps d'entraînement plus rapides.
• Stabilité : Le mécanisme de pondération douce est présenté comme un gage de stabilité d'optimisation, évitant l'instabilité de gradient associée aux pertes logarithmiques naïves ou la perte d'information des seuils rigides.

Les auteurs concluent qu'en incorporant une attraction et une répulsion sensibles au rang via des poids doux, ConOrd permet à toutes les paires d'échantillons de contribuer à l'apprentissage de manière fondée, aboutissant à des modèles de régression ordinale robustes et performants.