Density-Ratio Losses for Post-Hoc Learning to Defer

Énoncé du problème
L'apprentissage de la déférence (Learning to Defer, L2D) répond au défi du déploiement de modèles d'apprentissage automatique (ML) dans des domaines à haut risque (par exemple, la santé, la finance) où la fiabilité est primordiale. L'objectif est de permettre à un modèle de s'abstenir de faire une prédiction et de déférer à un expert (potentiellement humain) lorsque la sortie du modèle est jugée peu fiable. Alors que l'apprentissage du rejet (Learning to Reject, L2R) permet aux modèles de s'abstenir sur la base de leur propre confiance, le L2D intègre explicitement un expert dans le processus d'entraînement pour apprendre quand l'expert est susceptible de surpasser le modèle.

Une contrainte critique dans le ML moderne est le cadre « a posteriori » (post-hoc), où un modèle de base préentraîné $h$ est fixe, et seul le mécanisme de déférence (rejet) $r$ est appris. Le réentraînement de grands modèles est souvent prohibitivement coûteux. Les approches post-hoc existantes reposent souvent sur des heuristiques simples (par exemple, des seuils de confiance) ou tentent d'estimer des cibles de comparaison experte point par point (prédire quand l'expert est correct et le modèle non). Cependant, ces méthodes peuvent échouer en cas de dérive de distribution (distribution shifts) ou lorsque les experts sont spécialisés. De plus, de nombreuses méthodes existantes nécessitent un réentraînement pour ajuster le taux de déférence, limitant ainsi leur adaptabilité.

Méthodologie
L'article propose un cadre novateur pour le L2D post-hoc basé sur des distributions idéales et l'estimation de rapport de densité.

1. Distributions idéales : Les auteurs définissent une « distribution idéale » comme un rééquilibrage régularisé par une divergence de la vraie distribution de données $P$, sous lequel une paire spécifique classificateur-perte atteint une faible perte. Ils introduisent deux types :

   • Idéal marginal ($Q_m$) : Optimisé sur l'espace d'observation $X$.
   • Idéal conjoint ($Q_j$) : Optimisé sur l'espace conjoint $X \times Y$.
     Pour la divergence de Kullback-Leibler (KL), ces idéaux sont montrés comme étant des rééquilibrages multiplicatifs de la distribution de données, où les poids dépendent de la perte attendue du classificateur (ou de l'expert) sous le postérior de classe de Bayes.

2. Règle de déférence par rapport de densité : Au lieu d'apprendre directement un rejet binaire, les auteurs définissent la déférence en comparant les distributions idéales du modèle $h$ et de l'expert $h^{(e)}$. La décision de déférence est prise en appliquant un seuil au rapport de densité $\rho(x) = \frac{dQ_i(x)}{dQ^{(e)}_i(x)}$.

   • Si l'observation $x$ est mieux expliquée par la distribution idéale de l'expert (c'est-à-dire que le rapport est faible), le modèle défère.
   • Cette approche sépare naturellement le scorateur (l'estimateur du rapport de densité) du seuil de déférence, permettant d'ajuster le taux de déférence après l'entraînement sans réentraîner le scorateur.

3. Connexions théoriques :

   • Règle de Chow : Pour les idéaux marginaux KL, la règle dérivée retrouve la règle classique de Chow sous la distribution de données originale.
   • Postérior biaisé vers l'expert : Pour les idéaux conjoints KL, la règle correspond à une décision de type Chow sous une distribution « biaisée vers l'expert ». Cette distribution réévalue les étiquettes en fonction de la perte de l'expert, intégrant efficacement l'avantage comparatif de l'expert dans la décision de déférence.
   • Test d'hypothèse : La règle de déférence est formulée comme un test d'hypothèse de Neyman-Pearson distinguant la distribution idéale du modèle de la distribution idéale de l'expert.

4. Pertes DR CPE : Puisque les distributions idéales dépendent du postérior de Bayes inconnu et nécessitent un accès point par point à l'expert (qui n'est pas disponible au moment du test), les auteurs ne peuvent pas utiliser de solutions sous forme fermée. Au lieu de cela, ils réduisent l'estimation du rapport de densité (DRE) à l'estimation de probabilité de classe (CPE).

   • Ils dérivent une famille de pertes DR CPE ($L_m$ et $L_j$) qui permettent d'apprendre le rapport de densité entre les distributions idéales du modèle et de l'expert via une tâche de classification binaire.
   • La perte DR CPE conjointe ($L_j$) est montrée comme étant pratiquement estimable et sert de borne supérieure à la perte marginale ($L_m$).
   • L'article établit des liens entre cette approche et les méthodes existantes d'estimation de comparaison d'experts (par exemple, la régression sur la différence de précision zéro-un) et la détection d'anomalies.

Contributions clés

• Formulation distributionnelle : L'article introduit un cadre L2D post-hoc basé sur la comparaison des distributions idéales du modèle et de l'expert, plutôt que sur l'estimation directe de la performance point par point.
• Idéaux marginaux vs conjoints : Il analyse la distinction entre les distributions idéales marginales et conjointes, montrant que la règle conjointe correspond à une déférence sous une distribution biaisée vers l'expert, ce qui est pratiquement significatif car elle prend en compte les forces spécifiques de l'expert.
• Pertes DR CPE : Les auteurs dérivent une nouvelle famille de fonctions de perte (DR CPE) qui permettent d'apprendre des règles de déférence via une estimation standard de probabilité de classe, comblant le fossé entre les distributions idéales théoriques et l'apprentissage pratique.
• Adaptabilité : La méthode découple le scorateur du seuil, permettant l'ajustement des taux de déférence sans réentraînement.

Résultats expérimentaux
Les auteurs évaluent leur approche DR CPE sur les ensembles de données CIFAR-100 et MedMNIST dans diverses configurations de corruption (bruit d'étiquettes, distributions à longue traîne et sous-ensembles de spécialistes).

• Compétitivité : L'approche DR CPE se montre compétitive par rapport aux bases de référence courantes, y compris les heuristiques basées sur la confiance, les méthodes de perte de substitution à deux étapes et les estimateurs de comparaison d'experts.
• Robustesse : La méthode démontre une robustesse supérieure à travers différentes combinaisons de corruption de données par rapport aux bases de référence. Par exemple, tandis que d'autres méthodes peinent considérablement sur les sous-ensembles de spécialistes (par exemple, DermaMNIST spécialiste), DR CPE maintient des performances stables.
• Ablation : Les expériences montrent que le choix de la fonction de perte (par exemple, Entropie Croisée Généralisée vs Zéro-Un Probabiliste) et du paramètre de température $\gamma$ affecte les performances, mais l'approche DR CPE conjointe reste robuste.

Signification et affirmations
L'article affirme que le L2D post-hoc peut être envisagé comme un problème d'apprentissage du rapport de densité entre distributions idéales. Cette perspective :

• Comble le fossé entre les règles classiques de type Chow et les méthodes modernes de comparaison d'experts.
• Éclaire les liens avec des cadres d'apprentissage connexes tels que la détection d'anomalies.
• Fournit une méthode théoriquement fondée qui est pratiquement robuste et adaptable, répondant aux limitations du réentraînement de grands modèles et à l'instabilité des heuristiques simples dans des environnements à haut risque et dérivés.

Les auteurs notent que, bien que leur approche ne fournisse pas actuellement de garanties de consistance pour les pertes de substitution (une limitation théorique par rapport à certaines méthodes de bout en bout), elle offre une solution pratique et robuste pour la déférence post-hoc qui exploite efficacement l'information experte sans nécessiter de réentraînement complet du modèle.