Résumé Technique : Correction Adaptative Ordinale (ORDAC)

Énoncé du Problème

L'article aborde le défi critique du bruit d'étiquetage dans la classification d'images ordinales. Dans des tâches telles que l'estimation de l'âge et le grading de la sévérité des maladies, les frontières entre les classes sont souvent ambiguës, rendant le processus d'étiquetage sujet à l'erreur. Contrairement à la classification nominale, où les erreurs sont discrètes, les erreurs ordinales possèdent une distance sémantique (par exemple, classer à tort un âge de 20 ans comme 25 ans est moins grave que de le classer comme 60 ans).

Les approches existantes face aux étiquettes bruitées relèvent généralement de deux catégories :

1. Centrées sur le modèle : Conception de fonctions de perte tolérantes au bruit ou de régularisation.
2. Centrées sur les données (Sélection d'échantillons) : Identification et rejet d'échantillons potentiellement bruités (par exemple, CASSOR, ICDF).

Les auteurs soutiennent que la sélection d'échantillons est sous-optimale pour les données ordinales car elle rejette des informations de caractéristiques potentiellement précieuses contenues dans les instances mal étiquetées. De plus, les méthodes standard de régression ordinaire manquent de mécanismes explicites pour gérer les annotations de rang incorrectes, entraînant une dégradation des performances et de la fiabilité. Il existe un vide spécifique concernant les méthodes capables de corriger plutôt que de rejeter les étiquettes bruitées en modélisant de manière adaptative l'incertitude inhérente aux données ordinales.

Méthodologie : Correction Adaptative Ordinale (ORDAC)

La solution proposée est ORDAC, un cadre centré sur les données qui exploite l'Apprentissage de Distribution d'Étiquettes (LDL). Au lieu de traiter une étiquette comme une valeur discrète unique, ORDAC représente chaque étiquette comme une distribution gaussienne caractérisée par une moyenne ($\mu$) et un écart-type ($\sigma$). La moyenne représente la valeur de l'étiquette, tandis que l'écart-type quantifie l'incertitude du modèle.

Flux de Travail Principal

Le cadre fonctionne de manière itérative en utilisant une stratégie de K-fold cross-training pour empêcher le modèle d'être biaisé par ses propres prédictions confiantes mais potentiellement incorrectes :

1. Initialisation :

   • L'ensemble de données est divisé en $K$ plis.
   • $K$ modèles LDL à forme fixe (FLDL) identiques sont initialisés.
   • L'étiquette de chaque échantillon est initialisée comme une distribution gaussienne $N(\mu_i, \sigma_i^2)$, où $\mu_i$ est l'étiquette bruitée et $\sigma_i$ est une constante fixe représentant une incertitude initiale uniforme.

2. Phase de Préchauffage (Warm-up) :

   • Les $K$ modèles sont entraînés simultanément sur leurs ensembles d'entraînement respectifs pendant un nombre spécifié d'époques ($E_{corr}$) pour apprendre des représentations de caractéristiques initiales sur les données bruitées.

3. Phase de Correction Itérative :

   • Après le préchauffage, le mécanisme de correction adaptative s'active.
   • Pour chaque pli, le modèle entraîné sur les $K-1$ plis restants prédit les étiquettes du pli de validation retenu.
   • Ces prédictions sont utilisées pour mettre à jour les distributions d'étiquettes ($\mu$ et $\sigma$) des échantillons de validation.
   • Les distributions mises à jour sont ensuite propagées vers les ensembles d'entraînement des autres modèles pour l'époque suivante.

Le Mécanisme de Correction Adaptative

Le processus de mise à jour consiste en deux étapes appliquées à chaque échantillon du pli de validation :

1. Débiaisage des Prédictions par Classe :

   • Les modèles ordinaux développent souvent un biais vers les classes de rang intermédiaire en raison des fonctions de perte et du déséquilibre des données.
   • Pour contrer cela, les prédictions du modèle sont décalées pour recentrer les prédictions par classe autour de la véritable étiquette de classe.
   • La prédiction décalée $\hat{y}^{shifted}_i$ est calculée comme suit : $\hat{y}^{shifted}_i = \hat{y}_i - (\text{mean}_{\mu_i} - \mu_i)$.

2. Mise à Jour de la Distribution par Échantillon :

   • Un coefficient de correction $\lambda^{corr}_i$ est calculé en fonction de la confiance du modèle ($\gamma_i$) et de la fréquence de classe ($\pi_{\mu_i}$) pour garantir que les classes rares sont corrigées avec plus de prudence.
   • Mise à jour de l'Écart-type ($\sigma$) : Si l'erreur de prédiction $|e_i|$ est supérieure à l'incertitude actuelle $\sigma_i$, l'incertitude est augmentée (indiquant une étiquette probablement bruitée). Si l'erreur est faible, l'incertitude diminue.
     • $\sigma^{new}_i = \sigma_i + \alpha_i \times (|e_i| - \sigma_i)$
   • Mise à jour de la Moyenne ($\mu$) : La moyenne est décalée vers la prédiction débiaisée.
     • $\mu^{new}_i = \mu_i + \beta_i \times e_i$
   • Ici, $\alpha_i$ et $\beta_i$ sont des taux d'apprentissage spécifiques à l'échantillon dérivés des taux de base $\alpha_{base}$ et $\beta_{base}$.

Variantes

Les auteurs introduisent deux variantes pour analyser le comportement du cadre :

• ORDACC (Correction) : Génère un ensemble de données statique et nettoyé après l'entraînement. Un nouveau modèle est entraîné à partir de zéro sur cet ensemble de données sans corrections en ligne ultérieures.
• ORDACR (Suppression) : S'appuie sur ORDACC mais supprime les échantillons qui restent très incertains (où $\sigma^{new}_i \geq \sigma^{initial}_i$) après correction, les traitant comme des valeurs aberrantes.

Résultats Expérimentaux

La méthode a été évaluée sur deux ensembles de données de référence : Adience (estimation de l'âge) et Rétinopathie Diabétique (DR) (sévérité de la maladie). Les expériences ont impliqué l'injection de bruit gaussien asymétrique à des taux de $\tau \in \{0.2, 0.4\}$.

Principales Conclusions

• Performance sous Bruit : ORDAC et ses variantes ont considérablement surpassé les bases de référence standard (CORAL, DLDL-v2) et les méthodes de sélection d'échantillons les plus récentes (CASSOR) à tous les niveaux de bruit.
  • Exemple : Sur Adience avec 40 % de bruit, ORDACR a réduit l'Erreur Absolue Moyenne (MAE) de 0,86 (DLDL-v2) à 0,62 et augmenté le Rappel de 0,37 à 0,49.
• Correction de Bruit Intrinsèque : Même sans bruit injecté ($\tau=0$), ORDAC a surpassé les bases de référence. Cela suggère que les ensembles de données originaux contiennent un bruit d'étiquetage inhérent (par exemple, des erreurs d'auto-déclaration dans Adience) que la méthode a réussi à identifier et à corriger.
• Correction vs Sélection : Bien que la sélection d'échantillons (CASSOR) ait bien fonctionné, ORDACR a généralement obtenu de meilleurs résultats, en particulier à des niveaux de bruit plus élevés, démontrant que la correction des étiquettes est plus efficace en termes de données que leur rejet.
• Études d'Ablation :
  • La suppression de l'étape de débiaisage par classe a provoqué l'effondrement du processus de correction vers la classe majoritaire intermédiaire, dégradant considérablement les performances.
  • L'analyse des hyperparamètres a montré qu'un petit $\alpha_{base}$ (0,2) et un grand $\beta_{base}$ (0,8) ont donné les meilleurs résultats, indiquant que le modèle doit être conservateur dans la mise à jour de l'incertitude mais agressif dans la correction de la valeur moyenne.

Importance et Contributions

L'article revendique les contributions suivantes :

1. Changement de Paradigme : Il propose un passage de la sélection d'échantillons (rejet de données) à la correction adaptative d'étiquettes pour les tâches ordinales, préservant ainsi des informations de caractéristiques précieuses.
2. Modélisation de l'Incertitude : Il introduit un mécanisme pour mettre à jour dynamiquement à la fois la moyenne et l'écart-type des distributions d'étiquettes, permettant au modèle de représenter et de gérer explicitement l'incertitude pendant l'entraînement.
3. Robustesse : Des expériences extensives démontrent que la correction adaptative utilisant des distributions d'étiquettes est une stratégie efficace pour améliorer la robustesse et la précision des modèles de classification ordinaire en présence de données bruitées.

Les auteurs concluent qu'en se concentrant sur l'amélioration de la qualité des données au niveau fondamental grâce à la correction adaptative, ORDAC ouvre la voie à une classification ordinaire plus précise et fiable, en particulier dans les domaines où les données propres sont rares et l'ambiguïté des étiquettes élevée. Des travaux futurs sont suggérés pour explorer les distributions non paramétriques et le réglage automatique des taux de correction.