Résumé technique : Incitation à la véracité et équité collaborative dans l'apprentissage bayésien

Énoncé du problème

L'apprentissage automatique (ML) collaboratif vise à entraîner des modèles de haute qualité en agrégeant des jeux de données provenant de multiples sources. Bien que les méthodes existantes d'évaluation des données (par exemple, basées sur les valeurs de Shapley) garantissent une équité collaborative (F) en récompensant les sources selon leurs contributions marginales, elles supposent généralement que les données sont soumises « telles quelles ». Cela crée une vulnérabilité : les sources peuvent manipuler leurs données pour gonfler artificiellement leurs évaluations et récompenses sans vérification. Les stratégies de non-véracité courantes incluent :

• Duplication : Soumettre des points de données répétés pour augmenter le volume du jeu de données ou le gain d'information.
• Injection de bruit : Ajouter du bruit pour dégrader les performances du modèle pour les autres tout en manipulant potentiellement des métriques spécifiques.
• Sélection de sous-ensemble : Rejeter des données pour mieux s'aligner sur un jeu de validation connu.

Le défi central consiste à concevoir un mécanisme garantissant simultanément (F) l'équité collaborative (les récompenses dépendent des contributions des autres et reflètent la vraie valeur marginale) et (T) la véracité (les sources sont incitées à soumettre leurs connaissances réelles, $\bar{D}_i$, plutôt que des jeux de données manipulés $D_i$). Les travaux existants atteignent généralement l'un ou l'autre, mais pas les deux de manière prouvée à l'équilibre.

Méthodologie

L'article propose un mécanisme pour les modèles bayésiens qui combine les semi-valeurs (pour l'équité) avec une Fonction d'Évaluation des Données (DVF) véridique basée sur un jeu de validation retenu, inconnu des sources.

1. Fonction d'Évaluation des Données (DVF)

Pour inciter à la véracité, la DVF doit dépendre d'informations inconnues des sources. Les auteurs définissent la valeur d'un jeu de données $D_C$ (pour une coalition $C$) comme la vraisemblance logarithique d'un jeu de validation retenu $T^*$ :
$$v(D_C) \triangleq \log p(T = T^* | D_C = D_C) - \log p(T = T^*)$$
Cette fonction repose sur les hypothèses A1-A3 :

• A1 (Pas de clonage) : Les sources ne soumettent qu'un seul jeu de données.
• A2 (Accord) : Toutes les sources s'accordent sur la structure du modèle bayésien, les a priori et la relation entre les données et les paramètres.
• A3 (Jeu de validation) : Les sources croient que le jeu de validation $T^*$ du médiateur est tiré de la vraie distribution $p(T|\theta)$.

Sous ces hypothèses, la DVF est strictement véridique : une source maximise son évaluation attendue en soumettant son vrai jeu de données $\bar{D}_i$, car toute déviation conduit à une vraisemblance logarithique attendue plus faible (prouvé via la divergence de Kullback-Leibler).

2. Semi-valeurs équitables et véridiques

Pour garantir l'équité, la récompense $r_i$ pour chaque source est calculée à l'aide de semi-valeurs (une généralisation de la valeur de Shapley) appliquées au jeu coopératif défini par la DVF $v$. La semi-valeur $\phi_i[\nu^v_D]$ est une somme pondérée des contributions marginales :
$$\phi_i[\nu^v_D] \triangleq \sum_{C \subseteq N \setminus \{i\}} w_{|C|} [v(D_C \cup \{i\}) - v(D_C)]$$
L'article démontre que si la DVF sous-jacente est véridique, la semi-valeur résultante est également véridique à l'équilibre. Plus précisément, si toutes les autres sources soumettent leurs vrais jeux de données, la source $i$ maximise sa semi-valeur attendue en soumettant $\bar{D}_i$. Cela établit un équilibre de Nash véridique.

3. Gestion des contraintes

L'article aborde deux contraintes pratiques :

• Budget limité : Lorsque les récompenses doivent être plafonnées ($r_i \leq B$), le mécanisme met à l'échelle la semi-valeur. Cependant, la véracité stricte n'est garantie que si le facteur d'échelle est déterminé avant la soumission (par exemple, via des données historiques) pour éviter des dépendances non linéaires que les sources pourraient exploiter.
• Absence de jeu de validation : Dans des scénarios sensibles à la vie privée où un médiateur ne peut pas détenir de jeu de validation, l'article propose une approche de « validation par les pairs ». Les données de chaque source sont divisées en un jeu d'entraînement et un jeu de validation. La récompense pour la source $i$ est la somme des semi-valeurs calculées en utilisant les jeux de validation des autres sources ($\tilde{r}_i = \sum_{j \neq i} \phi_i[\nu^{T_j}_D]$). Cela exclut le jeu de validation de $i$ lui-même pour prévenir l'auto-manipulation, satisfaisant des conditions d'équité modifiées tout en préservant la véracité.

Contributions clés

1. Premier mécanisme prouvé simultanément : L'article présente le premier mécanisme garantissant théoriquement à la fois l'équité collaborative et la véracité à l'équilibre pour les modèles bayésiens.
2. Cadre théorique pour la véracité : Il identifie que l'information inconnue (un jeu de validation) est nécessaire pour prévenir la manipulation et fournit une preuve rigoureuse que les semi-valeurs basées sur des DVFs de vraisemblance logarithique préservent la véracité, même lorsque les contributions dépendent des données des autres sources.
3. Assouplissements pour les contraintes pratiques : Il analyse les implications des budgets limités et de l'absence de jeu de validation, proposant des modifications spécifiques (par exemple, l'exclusion de l'auto-validation) pour maintenir les incitations.
4. Validation empirique : Le mécanisme est validé sur des jeux de données synthétiques et réels (Friedman, Heart Disease, Cycle Power Plant, Blood MNIST) avec plusieurs sources et divers modèles bayésiens (Processus Gaussiens, Régression Logistique Bayésienne, Réseaux de Neurones Bayésiens).

Résultats

Les expériences démontrent que :

• Véracité : Lorsque les sources soumettent leurs vrais jeux de données, elles obtiennent systématiquement les valeurs de données et les valeurs de Shapley les plus élevées par rapport aux stratégies non véridiques (duplication, injection de bruit, sélection de sous-ensemble ou injection de données synthétiques).
• Équité : L'équité collaborative est évidente ; lorsqu'une source soumet un jeu de données de faible qualité ou non véridique, les valeurs de Shapley des autres sources véridiques augmentent, reflétant leur importance relative accrue.
• Robustesse : La véracité persiste sous de légères erreurs de spécification du modèle (par exemple, un léger bruit dans le jeu de validation ou de légères déviations dans les distributions de données). Cependant, si le jeu de validation est très bruyant ou si le modèle est gravement mal spécifié, des stratégies non véridiques (comme l'ajout de bruit pour augmenter l'incertitude prédictive) peuvent occasionnellement produire des récompenses plus élevées.
• Évolutivité : Le mécanisme fonctionne efficacement avec 20 sources en utilisant des estimateurs non biaisés pour les semi-valeurs, confirmant que le calcul exact de toutes les $2^n$ coalitions n'est pas strictement nécessaire pour que les garanties théoriques tiennent en espérance.

Importance

L'article revendique son importance en comblant un fossé critique dans l'apprentissage automatique collaboratif : le compromis entre équité et véracité. Les travaux antérieurs garantissaient soit l'équité sans inciter à la véracité (permettant la manipulation), soit incitaient à la véracité sans assurer une distribution équitable des récompenses (par exemple, les méthodes de prédiction par les pairs qui ignorent la redondance).

En prouvant qu'une DVF basée sur la vraisemblance logarithique combinée à des semi-valeurs peut satisfaire les deux conditions, les auteurs fournissent une fondation théorique pour une collaboration de données sécurisée et équitable. Le travail souligne que si des hypothèses (comme un médiateur de confiance et un jeu de validation) sont nécessaires, elles sont raisonnables et standard dans la littérature sur l'évaluation des données. L'article se positionne comme une étape fondamentale, reconnaissant que l'extension de ces garanties aux modèles non bayésiens ou aux environnements d'apprentissage fédéré entièrement décentralisés reste un défi pour la recherche future.