Résumé technique : Apprentissage d'Ordre Stochastique (SOL) pour l'estimation de rang avec des données bruitées

1. Définition du problème

L'estimation de rang, la tâche consistant à prédire la classe ordinale (le rang) d'un objet, est fondamentale dans des applications telles que l'estimation de l'âge facial, la régression de scores esthétiques et l'évaluation médicale. Un défi majeur dans ce domaine est le bruit d'étiquetage. Contrairement à la classification nominale où toutes les erreurs sont souvent traitées de la même manière, l'estimation de rang souffre d'une incertitude structurée. Une erreur consistant à classer une personne de 43 ans comme ayant 59 ans est nettement plus grave que de la classer à 45 ans.

Les méthodes existantes de robustesse au bruit pour la classification ou la segmentation échouent souvent dans l'estimation de rang car elles traitent toutes les erreurs d'étiquetage de manière identique, ignorant la propriété ordinale. Inversement, les approches classiques basées sur la régression sont souvent moins performantes que les méthodes basées sur la classification en raison d'un échec de l'apprentissage de représentations de caractéristiques à haute entropie. De plus, les méthodes actuelles d'apprentissage d'ordre supposent généralement des annotations propres et déterministes, une hypothèse qui s'effondre lorsque les étiquettes sont corrompues. Dans des contextes bruités, une instance ne correspond pas à un rang unique et déterministe, mais se rapporte à plusieurs rangs voisins avec des degrés de plausibilité variables.

2. Méthodologie : Apprentissage d'Ordre Stochastique (SOL)

Le papier propose l'Apprentissage d'Ordre Stochastique (SOL), un cadre qui reformule l'estimation de rang sous un bruit d'étiquetage comme un problème d'ordonnancement stochastique. Au lieu de supposer un lien déterministe entre une instance et un rang unique, le SOL modélise la relation comme étant intrinsèquement probabiliste.

Formulation de base

Étant donné un rang bruité $r_x$ pour une instance $x$, le vrai rang $\bar{r}_x$ est modélisé par $r_x = \bar{r}_x + e_x$, où l'erreur $e_x$ suit une distribution gaussienne discrète. Par conséquent, une instance $x$ est associée à un ensemble de centroïdes plausibles $\{\mu_r\}$ avec des probabilités déterminées par la distribution du bruit.

L'objectif est d'apprendre un espace d'enchâssement (embedding) où la dissimilarité stochastique $D_h(x, r)$ — l'espérance de la distance euclidienne au carré entre l'enchâssement de l'instance $h(x)$ et les centroïdes de rang — est minimisée pour le rang bruité observé et augmente de manière monotone à mesure que la distance de rang augmente.

Objectifs d'apprentissage

Le SOL optimise un encodeur $h$ et des centroïdes de rang $\{\mu_r\}$ en utilisant une fonction de perte totale $\ell_{total}$ composée de deux objectifs complémentaires :

1. Perte discriminative ($\ell_{disc}$) :
   Cette perte structure l'interaction entre les instances et les centroïdes. Elle impose une contrainte de monotonie où la distance entre une instance et un centroïde diminue à mesure que le rang du centroïde se rapproche du rang bruité de l'instance.

   • Mécanisme : Elle agit comme une somme pondérée de distances au carré. Les coefficients dérivés de la dérivée du second ordre de la distribution du bruit gaussien créent une force d'« attraction » vers le rang bruité et ses voisins immédiats (dans un seuil $\delta$) et une force de « répulsion » contre les rangs éloignés. Cela rend compte de l'incertitude de l'étiquette en permettant à l'instance d'être proche de plusieurs centroïdes plausibles.

2. Perte d'ordre stochastique ($\ell_{order}$) :
   Cette perte impose des relations d'ordre probabilistes entre des paires d'instances $(x, y)$. Comme les vrais rangs sont inconnus, la méthode calcule les probabilités de trois cas d'ordonnancement ($x \prec y$, $x \approx y$, $x \succ y$) basées sur les rangs bruités et la distribution du bruit supposée.

   • Mécanisme : Elle utilise des pertes basées sur des marges pondérées par les probabilités calculées. Si $x$ est susceptible d'avoir un rang inférieur à $y$, la perte encourage $h(x)$ à être plus proche des centroïdes de rang inférieur et $h(y)$ à être plus proche des centroïdes de rang supérieur. S'ils sont susceptibles d'être similaires, leurs enchâssements sont encouragés à être proches.

Détection d'anomalies et ré-étiquetage

Pour affiner davantage le modèle, le SOL inclut une étape itérative optionnelle :

• Détection : Les instances où le rang estimé dévie de manière significative du label bruité sont identifiées comme des anomalies (outliers).
• Ré-étiquetage : Les étiquettes de ces anomalies sont ajustées en fonction de l'erreur absolue moyenne du jeu de données, évitant des changements drastiques tout en corrigeant les erreurs extrêmes.
• Itération : L'encodeur est affiné en utilisant ces étiquettes raffinées, et le processus se répète pour réduire progressivement le bruit d'étiquetage.

3. Principales contributions

Le papier présente trois contributions principales :

1. Reformulation : Il recadre l'estimation de rang sous un bruit d'étiquetage comme un problème d'ordonnancement stochastique, s'éloignant des associations instance-rang déterministes pour des associations probabilistes.
2. Cadre (SOL) : Il introduit un cadre d'apprentissage qui capture l'incertitude des étiquettes ordinales via deux objectifs complémentaires : une perte discriminative pour les interactions instance-centroïde et une perte d'ordre stochastique pour la cohérence relationnelle.
3. Validation empirique : Il démontre, par des expériences approfondies, que le SOL permet une estimation de rang fiable à travers divers domaines (vision, imagerie médicale, esthétique, TAL) sous divers types (Gaussien, Laplacien, Uniforme, Asymétrique) et niveaux de bruit.

4. Résultats expérimentaux

Les auteurs ont évalué le SOL sur cinq benchmarks : MORPH II et CLAP2015 (âge facial), AADB (scores esthétiques), RSNA (âge osseux) et WMT2020 (régression textuelle).

• Performance : Le SOL surpasse systématiquement les méthodes de classification robustes au bruit (ex: SPR, ACL), les méthodes de régression (ex: ROR-CE, C-Mixup) et les méthodes d'apprentissage d'ordre existantes (ex: GOL, MWR).
  • Sur MORPH II, le SOL a obtenu l'erreur absolue moyenne (MAE) la plus faible et le score cumulatif (CS) le plus élevé pour tous les types de bruit. Par exemple, sous un bruit gaussien ($\kappa=0.4$), le SOL a atteint une MAE de 2,826 contre 2,861 pour la méthode suivante la plus performante (GOL).
  • Sur AADB, le SOL a obtenu la meilleure performance dans tous les réglages, surpassant la deuxième meilleure méthode de 2,5 % en MAE lors de niveaux de bruit élevés.
  • Sur RSNA, le SOL a produit les meilleurs résultats avec de larges marges, démontrant sa robustesse dans l'évaluation médicale où les annotations sans erreur sont coûteuses.
  • Sur WMT2020 (données réelles bruitées), le SOL a atteint une corrélation de Pearson de 0,680, surpassant l'état de l'art précédent de 2,0 points.
• Études d'ablation : Les expériences ont confirmé que les pertes discriminative et d'ordre stochastique sont toutes deux nécessaires ; l'utilisation de l'une ou l'autre seule entraînait une dégradation des performances.
• Efficacité : Bien que le SOL introduise des étapes de calcul supplémentaires pour les mises à jour des centroïdes et la détection d'anomalies, il reste pratique. Il a également démontré une consommation de mémoire GPU inférieure à celle de méthodes comme GOL grâce au calcul de probabilité à la volée.

5. Signification et affirmations

Le papier affirme que la signification du SOL réside dans sa capacité à gérer l'incertitude structurelle inhérente aux données ordinales, que les méthodes standards de robustesse au bruit ne parviennent pas à traiter. En traitant la relation instance-rang comme probabiliste plutôt que fixe, le SOL évite les pièges des erreurs d'estimation massives courantes dans l'estimation de rang bruitée.

Les auteurs soulignent que le SOL n'est pas simplement une extension de l'apprentissage d'ordre avec des mécanismes de robustesse ajoutés, mais un changement fondamental dans la manière dont les étiquettes ordinales bruitées sont modélisées. La capacité du cadre à bien performer tant sur le bruit synthétique que sur les annotations bruitées du monde réel (comme les scores esthétiques humains et les évaluations médicales) suggère sa généralité.

Limites et modestie :
Les auteurs notent modestement plusieurs limites :

• La méthode repose sur une distribution de bruit stochastique fixe, bien qu'elle montre une robustesse à divers types.
• Le module de détection d'anomalies et de ré-étiquetage est une amélioration pratique plutôt qu'une nécessité théorique, et son efficacité dépend de la qualité de l'enchâssement appris.
• L'approche nécessite plusieurs hyperparamètres ($\sigma_{test}$, $T$, $\tau$, $\beta$), et la sélection automatique complète est laissée aux travaux futurs.
• Concernant les jeux de données faciaux, les auteurs reconnaissent que les déséquilibres inhérents peuvent entraîner des biais de genre ou de race, recommandant d'utiliser l'algorithme à des fins de recherche jusqu'à ce que ces biais soient résolus.