Résumé Technique : DT-PBO – Un Modèle de Remplacement Arborescent Interprétable pour l'Optimisation Bayésienne Préférentielle

1. Énoncé du Problème

L'Optimisation Bayésienne Préférentielle (PBO) vise à identifier la solution la plus préférée par un décideur (DM) au sein d'un espace de recherche en utilisant le nombre minimal possible de comparaisons par paires (PC). Bien que les méthodes PBO existantes reposent principalement sur des modèles de remplacement par Processus Gaussiens (GP), ces modèles souffrent d'une limitation critique : le manque d'interprétabilité. Les GP fonctionnent comme des modèles boîte noire, rendant difficile pour les décideurs de comprendre pourquoi certaines solutions sont préférées. Cette opacité constitue un obstacle majeur dans des domaines à haut risque (par exemple, la santé, la défense) où les cadres réglementaires (tels que le RGPD de l'UE) et les lignes directrices éthiques (par exemple, la stratégie d'IA responsable de l'OTAN) imposent l'explicabilité. De plus, les méthodes d'explication a posteriori pour les GP sont souvent infidèles au modèle sous-jacent, risquant de fournir des informations trompeuses.

L'article répond au besoin d'un modèle de remplacement qui soit intrinsèquement interprétable tout en maintenant la capacité de modéliser l'incertitude des préférences et de soutenir l'apprentissage actif (efficacité de l'échantillonnage).

2. Méthodologie : DT-PBO

Les auteurs proposent DT-PBO, un nouveau modèle de remplacement basé sur un Arbre de Décision (DT) conçu spécifiquement pour la PBO. Contrairement aux arbres de décision standard entraînés sur des données de classification ou de classement, DT-PBO apprend directement à partir de données de comparaison par paires. La méthode suit la boucle d'optimisation PBO standard (Figure 1) mais remplace le surrogate GP par une structure arborescente.

2.1 Partitionnement de l'Espace (Heuristique de Séparation)

L'innovation centrale est une heuristique de séparation basée sur un Score de Cohérence conçu pour partitionner l'espace des caractéristiques en fonction des préférences observées plutôt que des étiquettes de classement.

• Mécanisme : Pour un nœud $A$ contenant un ensemble de comparaisons $D_A$, l'algorithme évalue les séparations candidates (indice de caractéristique $k$ et seuil $t$).
• Score de Cohérence ($S_A$) : Une séparation est notée en fonction de sa capacité à séparer les « gagnants » des « perdants ». Plus précisément, elle calcule la moyenne empirique d'une variable $Z_i(s)$, qui vaut $+1$ si le gagnant est d'un côté de la séparation et le perdant de l'autre, $-1$ si c'est l'inverse, et $0$ si les deux sont du même côté. Le score est la valeur absolue de cette moyenne.
• Exclusion des « Straddlers » : Une caractéristique structurelle clé est l'exclusion des « straddlers » (paires où un élément tombe dans l'enfant gauche et l'autre dans l'enfant droit) des ensembles de données utilisés pour les séparations descendantes. Les auteurs démontrent mathématiquement que les straddlers ne contiennent aucune information sur la structure interne des nœuds enfants une fois la séparation parentale établie. Cette exclusion contrôle naturellement la croissance de l'arbre, favorisant des arbres peu profonds et interprétables sans nécessiter un réglage agressif des hyperparamètres.

2.2 Estimation des Paramètres des Feuilles

Une fois la structure de l'arbre déterminée, le modèle attribue une estimation probabiliste à chaque feuille pour soutenir l'apprentissage actif.

• Feuilles Probabilistes : Au lieu d'une valeur unique, chaque feuille $j$ est modélisée comme une distribution gaussienne de moyenne $f_j$.
• Approximation de Laplace (LA) : Les auteurs emploient une approche bayésienne où les valeurs d'utilité latentes à travers les feuilles suivent une loi a priori gaussienne multivariée conjointe. Ils utilisent l'Approximation de Laplace pour trouver l'estimation du Maximum A Posteriori (MAP) et la covariance a posteriori.
• Identifiabilité : Pour résoudre l'invariance par translation inhérente aux vraisemblances par paires (où l'ajout d'une constante à toutes les utilités ne modifie pas les préférences), une contrainte de somme nulle ($\sum f_i = 0$) est appliquée. Cela garantit que le modèle est identifiable et élimine la variance irréductible dans la direction du décalage constant.
• Hyperparamètres : Le modèle repose sur le rapport entre la variance du bruit et la variance a priori ($\sigma^2_{noise}/\sigma^2_{prior}$), qui s'avère être le seul paramètre identifiable gouvernant l'optimisation.

2.3 Apprentissage Actif

Le modèle utilise la fonction d'acquisition qEUBO (Utilité Espérée de la Meilleure Option) pour sélectionner la prochaine comparaison par paires la plus informative.

• Inter-feuilles vs Intra-feuille : Bien que qEUBO sélectionne efficacement les comparaisons entre différentes feuilles, elle s'effondre au sein d'une seule feuille (où la moyenne prédictive est constante). Pour remédier à cela, les auteurs emploient une heuristique de priorisation intra-feuille dans les contextes discrets, concentrant l'exploration sur la feuille actuellement considérée comme contenant l'optimum.

3. Contributions Clés

1. Apprentissage Préférentiel Arborescent : Le développement d'un algorithme qui apprend des arbres de décision interprétables directement à partir de données de comparaison par paires, utilisant une nouvelle heuristique de séparation basée sur la cohérence et une estimation probabiliste des feuilles.
2. Évaluation Numérique : Vérification empirique montrant que DT-PBO atteint une convergence compétitive par rapport aux modèles GP de pointe (SkewGP et GP basé sur LA), en particulier sur des fonctions présentant des paysages d'optimisation accidentés (par exemple, De Jong, Holder, Schwefel). La méthode démontre des temps d'exécution de calcul nettement plus rapides (10 à 400 fois plus rapides que les GP).
3. Études de Cas Réelles : Démonstration de l'interprétabilité et de l'utilité du modèle dans deux scénarios distincts :
   • Préférences pour les Sushis : Montrant que le modèle peut retrouver les préférences des utilisateurs et se généraliser à des articles non vus.
   • Classement des Messages de Patients (PMR) : Une tâche de triage clinique à haut risque où le modèle identifie des caractéristiques spécifiques (par exemple, « syndrome drapeau rouge », « actionnabilité du message ») pilotant l'urgence, fournissant des insights opaques pour les approches boîte noire comme les LLM ou les GP.

4. Résultats

• Convergence : Sur huit fonctions de référence, DT-PBO se comporte de manière compétitive. Il performe légèrement moins bien sur des fonctions lisses et non accidentées (par exemple, Rosenbrock, Hartmann) mais surpasse ou égale les GP sur des fonctions accidentées.
• Efficacité : DT-PBO est computationnellement supérieur, avec des temps d'exécution d'environ 12 secondes pour 200 itérations, contre des centaines ou des milliers de secondes pour les variantes GP. Cela est attribué à l'évitement de l'optimisation des hyperparamètres pour les longueurs d'échelle des noyaux et à la réduction de la taille de la matrice Hessienne du nombre d'articles uniques ($m$) au nombre de feuilles ($m_l$).
• Robustesse : Le modèle est robuste au bruit dans les préférences et insensible aux petits changements dans l'hyperparamètre du rapport bruit/a priori.
• Interprétabilité : Dans les études de cas, les arbres résultants (profondeur 4–6) fournissent des règles claires et lisibles par l'homme (par exemple, « Si une douleur thoracique est présente, prioriser ») qui s'alignent avec la connaissance du domaine, contrairement aux sorties boîte noire des GP ou des Modèles de Langage (LLM).

5. Importance et Limites

L'article affirme que DT-PBO offre une alternative viable et intrinsèquement interprétable aux surrogates GP boîte noire en PBO. Son importance réside dans le fait de combler le fossé entre l'optimisation efficace en échantillons et le besoin d'explicabilité dans les domaines de prise de décision critiques. En fournissant des modèles transparents, il permet aux décideurs d'affiner leurs préférences avec plus de confiance et de confiance.

Limites reconnues par les auteurs :

• Indifférence : Le modèle actuel ne peut pas modéliser explicitement les déclarations d'indifférence ($A \sim B$).
• Hautes Dimensions : Les performances se dégradent sur des fonctions non accidentées à mesure que la dimensionnalité augmente ($D > 7$), probablement en raison de la nature alignée sur les axes des séparations d'arbres de décision qui peinent avec des frontières de décision complexes et diagonales, courantes dans les fonctions lisses de haute dimension.
• Extraction de Caractéristiques : Dans l'étude de cas PMR, la qualité du modèle final dépend de la fiabilité du LLM utilisé pour l'extraction de caractéristiques.

Les auteurs concluent que, bien que des limites existent, DT-PBO démontre avec succès que les modèles de remplacement interprétables peuvent atteindre des performances compétitives en PBO, en particulier dans les scénarios où l'interprétabilité est une condition préalable au déploiement.