Instance-Level Costs for Nuanced Classifier Evaluation

Résumé technique : Coûts au niveau des instances pour l'évaluation nuancée des classificateurs

Énoncé du problème
L'évaluation standard des classificateurs repose sur des taux d'erreur uniformes, traitant toutes les erreurs de classification comme ayant un coût égal. Cependant, dans des domaines à haut risque tels que la modération de contenu, le dépistage médical et les systèmes critiques pour la sécurité, les conséquences des erreurs varient considérablement. Mal classifier un cas clair (par exemple, un commentaire faisant l'unanimité des annotateurs sur sa toxicité) est bien plus préjudiciable que de se tromper sur un exemple limite où les annotateurs humains sont en désaccord. Les méthodes d'apprentissage sensible aux coûts existantes supposent généralement que les coûts sont spécifiés de manière externe et objectivement quantifiables (par exemple, des montants de fraude). Cet article comble le vide où les coûts sont subjectifs, dérivés du désaccord humain ou des seuils de décision, et non explicitement définis par un registre externe.

Méthodologie
Les auteurs proposent un cadre pour dériver et évaluer les coûts d'erreur de classification au niveau des instances, introduisant le Coût Excédentaire Normalisé (NEC) comme métrique principale.

1. Dérivation des coûts : Le cadre attribue un coût à chaque exemple en fonction de l'ampleur du désaccord ou de la distance par rapport à une frontière de décision. Trois sources naturelles sont identifiées :

   • Étiquettes multi-annotateurs : Les coûts sont dérivés des log-odds signés des votes des annotateurs (lissés par Laplace). Un consensus élevé génère des coûts élevés pour les erreurs ; un désaccord élevé génère des coûts faibles.
   • Étiquettes basées sur un seuil : Les coûts sont définis par la distance d'une mesure continue par rapport à un seuil de décision (par exemple, la pression artérielle par rapport à un seuil d'hypertension).
   • Notes annotées : Les scores de confiance d'un seul annotateur sont convertis en marges de coût.

2. Définition de la métrique : Le NEC est défini comme le regret dans un contexte de bandit contextuel. Il pondère les erreurs par leur coût au niveau de l'instance ($|\Delta_i|$) et normalise par le coût total :
   $$\text{NEC} = \frac{\sum |\Delta_i| \cdot \mathbb{1}[\hat{y}_i \neq \text{sign}(\Delta_i)]}{\sum |\Delta_i|}$$
   Lorsque les coûts sont uniformes, le NEC se réduit au taux d'erreur standard. Un NEC plus faible indique une meilleure adéquation avec les priorités de la tâche, en priorisant spécifiquement la classification correcte des exemples à haut coût (clairs).

3. Stratégies d'entraînement : L'article examine si l'intégration de ces coûts pendant l'entraînement améliore les performances. Les stratégies comparées incluent :

   • Classification pondérée par les coûts : Pondération de la perte d'entropie croisée par $|\Delta_i|$.
   • Stratégies d'échantillonnage : Suréchantillonnage des exemples à haut coût ou filtrage des exemples à faible coût.
   • Régression $\Delta$ : Entraînement d'un modèle pour prédire directement la marge signée $\Delta$ via régression, puis application d'un seuil à zéro pour la classification.

Contributions clés

1. Cadre général : Une méthodologie pour dériver des coûts d'erreur de classification par exemple à partir de motifs d'annotation subjectifs (désaccord) et les relier au concept décisionnel de regret.
2. Insight d'évaluation : Démonstration empirique sur des ensembles de données textuelles, d'images et tabulaires que le NEC est souvent substantiellement inférieur au taux d'erreur standard. Cela révèle que les modèles concentrent souvent les erreurs sur des exemples ambigus et à faible coût plutôt que sur des cas clairs.
3. Analyse de l'entraînement : Une étude comparative montrant que l'entraînement sensible aux coûts produit des bénéfices inconstants. Les améliorations se produisent principalement lorsque les coûts sont prévisibles à partir des caractéristiques d'entrée (démontré dans des contrôles synthétiques), tandis que les ensembles de données réels montrent des gains mitigés ou négligeables des approches standard de pondération par les coûts.

Résultats expérimentaux
Les auteurs ont évalué le cadre sur quatre ensembles de données : Jigsaw (toxicité textuelle), Turkey (détection de blessures sur images), NHANES (hypertension tabulaire) et iNaturalist (statut de culture de plantes), ainsi qu'un ensemble de données synthétique.

• NEC vs Taux d'erreur : Une divergence significative a été observée. Par exemple, sur l'ensemble de données Jigsaw avec des caractéristiques TF-IDF, le taux d'erreur était de 5,34 % tandis que le NEC n'était que de 1,76 %. Cela indique que les erreurs du modèle étaient concentrées sur des exemples ambigus où même les humains étaient en désaccord, suggérant que le système est plus fiable en pratique que ne l'implique la précision brute.
• Efficacité de l'entraînement :
  • Données réelles : La pondération par les coûts a donné des résultats inconstants. Sur l'ensemble de données Turkey, elle a réduit le NEC de 14,5 %, mais sur iNaturalist, elle a légèrement augmenté le NEC. Sur Jigsaw et NHANES, les effets étaient négligeables.
  • Données synthétiques : Dans un cadre synthétique où les coûts étaient prévisibles de manière linéaire à partir des caractéristiques, la pondération par les coûts a considérablement amélioré le NEC (de 0,50 % à 0,40 %).
  • Affinage (Fine-tuning) : L'affinage de bout en bout des plongements (par exemple, RoBERTa, ResNet) a produit les améliorations les plus substantielles tant en NEC qu'en taux d'erreur, surpassant largement les stratégies de pondération par les coûts appliquées à des plongements figés.
• Stabilité : Le ratio entre le taux d'erreur et le NEC est resté stable à travers différentes tailles de modèles et tailles d'ensembles d'entraînement, suggérant que ce ratio est une propriété de la distribution des coûts de la tâche plutôt que de l'architecture du modèle.

Signification et affirmations
L'article affirme que le NEC fournit une évaluation plus nuancée et précise des performances des classificateurs dans les domaines où toutes les erreurs ne sont pas égales. Il révèle que les modèles fonctionnent souvent bien sur des cas clairs à haut risque tout en échouant sur des cas ambigus, une distinction que les taux d'erreur standard obscurcissent.

Cependant, les auteurs sont modestes quant à l'utilité de ces coûts pour l'entraînement. Ils présentent un « résultat négatif » : l'intégration de coûts au niveau des instances dans l'entraînement via la pondération de la perte ou l'échantillonnage n'améliore pas de manière constante les performances dans des contextes réels. L'article conclut que l'efficacité de l'entraînement sensible aux coûts dépend de manière critique de la présence d'informations prédictives du signal de coût dans les caractéristiques d'entrée. Par conséquent, les auteurs soutiennent que l'amélioration de la qualité de la représentation (via l'affinage ou de meilleurs plongements) est le principal goulot d'étranglement et offre des rendements supérieurs aux stratégies d'entraînement sensibles aux coûts. Le cadre est présenté principalement comme une méthodologie pour dériver et évaluer les coûts, offrant une lentille pratique pour l'évaluation même lorsque l'entraînement sensible aux coûts offre des bénéfices limités.