Beyond Augmented-Action Surrogates for Multi-Expert Learning-to-Defer

Cet article propose une nouvelle approche d'apprentissage pour le report de décision qui, contrairement aux méthodes existantes, sélectionne simultanément l'expert et les informations supplémentaires à lui fournir, en démontrant l'incohérence des surrogates séparés et en introduisant un surrogate augmenté garantissant la convergence vers la politique optimale.

L'essentiel

Imaginez que vous êtes le chef d'orchestre d'un grand restaurant très populaire. Votre travail est de servir les plats (les prédictions) aux clients. Mais parfois, un plat est trop compliqué, ou un client a des goûts très spécifiques. Dans ce cas, vous avez la possibilité de dire : « Je ne suis pas sûr, je vais appeler un expert » (un sommelier, un chef cuisinier spécialisé, etc.). C'est ce qu'on appelle en informatique le « Learning-to-Defer » (apprendre à déléguer).

Le problème, c'est que dans ce restaurant, vous n'avez pas un seul expert, mais une équipe de dizaines d'experts (des sommeliers, des chefs, des pâtissiers). Comment décidez-vous, pour chaque client, de cuisiner vous-même ou d'appeler quel expert ?

C'est là que les chercheurs ont un problème. Les méthodes actuelles pour prendre cette décision sont comme un gros bocal de bonbons mélangés. Elles mettent toutes les options (votre cuisine + les 20 experts) dans le même sac. Quand il y a beaucoup d'experts, ce sac devient ingérable :

1. L'effet de foule : Si 10 experts sont d'accord sur un plat, la méthode panique et pense que c'est une urgence absolue, alors que ce n'est qu'une opinion commune.
2. La famine des spécialistes : Si un expert très rare (un expert en "chocolat noir") a raison, mais qu'un expert généraliste (un expert en "chocolat au lait") a un peu plus de voix au chapitre, la méthode ignore totalement le spécialiste. Le spécialiste meurt de faim.
3. La confusion : La méthode commence à confondre votre propre compétence avec celle des experts. Elle vous fait perdre confiance en vous-même.

La solution proposée : Le "Découplage"

L'auteur de ce papier, Yannis Montreuil, propose une nouvelle façon de voir les choses. Au lieu de mettre tout le monde dans le même bocal, il propose de séparer les tâches.

Imaginez que vous avez deux tableaux de contrôle distincts dans votre cuisine :

• Tableau A (Votre compétence) : Il affiche votre niveau de confiance pour cuisiner vous-même (de 0 à 100%).
• Tableau B (Les experts) : Il affiche, pour chaque expert individuellement, sa probabilité de réussir le plat (de 0 à 100%).

C'est ce qu'ils appellent le surrogate découplé (l'approche découplée).

Pourquoi c'est génial ? (Les analogies)

1. Plus de panique quand il y a beaucoup d'experts :

   • Ancienne méthode : Si vous avez 50 experts qui disent "C'est bon", le système crie "URGENCE MAXIMALE !" et vous force à déléguer, même si vous auriez pu le faire.
   • Nouvelle méthode : Chaque expert est noté individuellement. Si 50 experts sont d'accord, le système dit simplement : "Ah, l'expert X a 90% de chances de réussir". Il n'y a pas d'effet d'amplification. Le système reste calme et rationnel.

2. Plus de famine pour les spécialistes :

   • Ancienne méthode : C'est un combat de "qui gagne". Si l'expert généraliste gagne le vote, l'expert spécialiste perd ses points, même s'il avait raison.
   • Nouvelle méthode : C'est une course individuelle. Chaque expert court sur sa propre piste. Si l'expert spécialiste a raison, il reçoit des félicitations, peu importe ce que fait le généraliste. Personne n'est puni pour avoir raison.

3. Vous restez vous-même :

   • Ancienne méthode : En essayant d'apprendre des experts, vous commencez à oublier comment cuisiner. Votre propre note s'effondre.
   • Nouvelle méthode : Votre note (Tableau A) et celle des experts (Tableau B) sont calculées séparément. Vous apprenez à cuisiner, et vous apprenez à choisir le bon expert, sans que l'un ne gâche l'autre.

Le résultat final

L'auteur a testé cette idée sur des jeux de données réels (comme des images de chats et de chiens, ou des données forestières). Le résultat est sans appel :

• Les anciennes méthodes deviennent de plus en plus mauvaises à mesure qu'on ajoute des experts.
• La nouvelle méthode (le surrogate découplé) reste parfaite, peu importe si vous avez 5 experts ou 50. Elle arrive à choisir le bon expert, garde votre propre compétence intacte, et donne le meilleur résultat global.

En résumé :
Au lieu de faire une grande réunion où tout le monde cille pour se faire entendre (ce qui crée du chaos), cette nouvelle méthode donne un micro individuel à chaque expert et un micro individuel au chef. Chacun parle à son tour, sans se marcher dessus, et le chef prend la meilleure décision possible. C'est plus simple, plus juste, et ça fonctionne mieux quand l'équipe grandit.

Résumé technique

1. Problématique et Contexte

L'apprentissage de la mise en defer (Learning-to-Defer ou L2D) consiste à entraîner un classificateur capable de décider, pour chaque entrée, s'il doit prédire lui-même ou déléguer la décision à un expert externe. Dans le cadre multi-expert, le système doit choisir entre prédire directement ou déléguer à l'un des $J$ experts disponibles.

La règle de Bayes optimale pour ce problème est simple : comparer la probabilité postérieure de la classe la plus probable, $\eta_k(x) = P(Y=k|X=x)$, avec la plus grande utilité d'expert, $\alpha_j(x) = P(M_j=Y|X=x)$. Si $\max_k \eta_k(x) \ge \max_j \alpha_j(x)$, le modèle prédit ; sinon, il délègue à l'expert $j$ le plus performant.

Le problème central réside dans la conception de fonctions de perte (surrogates) pour apprendre cette règle à partir de données. La littérature actuelle repose majoritairement sur une approche dite « d'action augmentée » (Augmented-Action). Cette méthode fusionne les $K$ classes et les $J$ actions de délégation dans un seul espace d'action de taille $K+J$, apprenant un seul vecteur de scores partagé via une softmax unique.

Les auteurs identifient que, bien que ces méthodes soient statistiquement consistantes (elles convergent vers la règle de Bayes à l'infini), elles échouent en pratique pour trois raisons principales liées à leur géométrie d'optimisation :

1. Amplification des gradients : Lorsque plusieurs experts sont corrects sur un même échantillon, le gradient est amplifié de manière disproportionnée, biaisant l'optimisation vers les régions à fort chevauchement.
2. Effet de famine (Starvation) : Les méthodes qui limitent la récompense à un seul expert (Winner-Take-All) pénalisent les autres experts corrects, supprimant ainsi les spécialistes rares.
3. Couplage indésirable : Les mises à jour des classes et des experts sont entremêlées, dégradant la qualité du classificateur principal à mesure que le nombre d'experts augmente.

2. Méthodologie : Le Surrogate Découplé

Les auteurs proposent une nouvelle architecture qui rompt avec la famille des surrogates d'action augmentée. Au lieu de partager un espace de scores unique, ils introduisent un surrogate découplé (Decoupled Surrogate) qui estime les quantités statistiques sur leurs échelles natives.

Architecture :

• Tête de classe : Utilise une softmax standard pour estimer la distribution catégorielle des classes $p(x) \in \Delta^K$. Cela garantit que les probabilités de classe forment une distribution valide à tout moment.
• Têtes d'experts : Chaque expert $j$ possède sa propre tête utilisant une sigmoïde indépendante pour estimer son utilité $u_j(x) \in (0, 1)$.
• Fonction de perte : La perte totale est la somme d'une perte de classification multiclasse (log-loss) et de $J$ pertes de Bernoulli indépendantes (une par expert), pondérées par un paramètre $\lambda$.
  $$\Phi_{dec} = -\log p_y(x) - \frac{\lambda}{J} \sum_{j=1}^J \left[ t_j \log u_j(x) + (1-t_j) \log(1-u_j(x)) \right]$$
  où $t_j = 1$ si l'expert $j$ est correct.

Règle de décision :
À l'inférence, le système compare directement les probabilités estimées :
$$\text{Déférer si } \max_j u_j(x) > \max_k p_k(x)$$

3. Contributions Clés

1. Analyse critique des méthodes existantes : Les auteurs analysent cinq surrogates d'action augmentée (Additive CE, PiCCE, Mao25, A-SM, OvA) selon deux axes : la cible statistique (population) et la géométrie d'optimisation (gradients locaux). Ils démontrent que chaque méthode corrige un défaut mais en introduit un autre (ex: PiCCE résout l'amplification mais crée la famine des experts).
2. Proposition d'un surrogate découplé : C'est la première méthode multi-expert qui :
   • Estime correctement $(\eta, \alpha)$ à l'optimum de population.
   • Possède une géométrie d'optimisation entièrement découplée (pas d'amplification, pas de famine, pas de couplage classe-expert).
   • Admet une borne de consistance $H$ dont la constante de calibration ne dépend pas du nombre d'experts $J$ (pour un poids par expert $\beta = \lambda/J$ fixe).
3. Preuves théoriques :
   • Démonstration que les gradients sont libres des pathologies d'amplification ($O(|J|)$) et de couplage.
   • Établissement d'une borne de transfert de regret $H$-consistant avec une constante $O(1)$ par rapport à $J$.
4. Validation empirique exhaustive : Tests sur des benchmarks synthétiques ciblant chaque pathologie théorique, ainsi que sur des données réelles (CIFAR-10, CIFAR-10H avec annotateurs humains, Covertype avec modèles experts).

4. Résultats Expérimentaux

Les expériences confirment que le surrogate découplé est la seule méthode à éviter les écueils des approches précédentes :

• Robustesse à la redondance : Sur des experts redondants (synthétiques), les méthodes augmentées voient leur performance chuter drastiquement à mesure que le nombre d'experts $J$ augmente (dû à l'amplification des gradients). Le surrogate découplé maintient une précision stable et proche de l'optimum de Bayes.
• Préservation des spécialistes : Sur des tâches avec un expert « spécialiste » rare, les méthodes de type Winner-Take-All (comme PiCCE) suppriment complètement le spécialiste au profit d'un généraliste. Le surrogate découplé apprend correctement à déléguer au spécialiste.
• Qualité du classificateur : Sur CIFAR-10 et CIFAR-10H, les méthodes augmentées dégradent la précision du classificateur principal (parfois de 15 points) car les gradients des experts corrompent l'apprentissage des classes. Le surrogate découplé préserve, voire améliore, la précision du classificateur.
• Performance globale : Le surrogate découplé est la seule méthode à améliorer systématiquement la précision du système par rapport à un classificateur autonome (standalone classifier) sur tous les jeux de données, y compris avec des experts réels (humains ou modèles ML).

5. Signification et Impact

Ce travail remet en question le paradigme dominant de l'espace d'action augmenté pour l'apprentissage de la mise en defer. Il démontre que la fusion des classes et des experts dans une seule géométrie d'optimisation est intrinsèquement source de pathologies qui s'aggravent avec la complexité du système (nombre d'experts).

La contribution majeure est la preuve qu'une séparation structurelle (découplage) entre l'estimation de la distribution de classe et l'estimation des utilités d'experts est non seulement possible, mais nécessaire pour obtenir un apprentissage stable, scalable et performant. Cela ouvre la voie à des systèmes de délégation plus robustes dans des environnements réels où de nombreux experts (humains ou IA) peuvent être disponibles, sans risque de dégradation des performances due à la redondance ou à la compétition interne.