On the Impact of the Utility in Semivalue-based Data Valuation

Cet article propose une méthodologie pratique basée sur la notion de « signature spatiale » d'un ensemble de données pour évaluer et garantir la robustesse des évaluations de données par semi-valeurs face aux variations du choix de l'utilité.

L'essentiel

Voici une explication de cette recherche, imaginée comme une histoire pour rendre les concepts techniques aussi clairs que le jour.

🍎 Le Dilemme du Chef Cuisinier : Qui est le meilleur ingrédient ?

Imaginez que vous êtes un grand chef cuisinier (c'est votre algorithme d'intelligence artificielle). Vous avez un immense garde-manger rempli de milliers d'ingrédients (votre jeu de données). Votre but est de créer le plat parfait.

Mais tous les ingrédients ne se valent pas. Certains sont des truffes précieuses, d'autres sont juste des épluchures de pommes de terre, et certains sont même avariés. La question est : Comment savoir quels ingrédients ont vraiment contribué à la réussite de votre plat ?

C'est ce qu'on appelle la valorisation des données.

⚖️ Le Problème : "Qu'est-ce qui rend un plat 'bon' ?"

Pour évaluer vos ingrédients, vous devez d'abord définir ce qu'est un "bon plat". C'est ce qu'on appelle l'utilité.

Mais attention, la définition du "bon" change selon l'occasion :

1. Le compromis : Vous voulez un plat à la fois sain (harmlessness) et délicieux (helpfulness). Si vous mettez plus de poids sur la santé, les ingrédients "sains" deviennent plus importants. Si vous privilégiez le goût, les "épices" prennent le dessus.
2. Le choix multiple : Vous voulez juste un plat "succulent". Mais qu'est-ce que ça veut dire ? Est-ce le nombre de convives satisfaits (la précision) ? Ou est-ce le fait de ne rater aucun invité spécial (le rappel) ? Ou le score global (le F1-score) ?

Le problème, c'est que selon que vous choisissez la "santé" ou le "goût", ou selon que vous regardez la "précision" ou le "rappel", le classement de vos ingrédients change radicalement.

• Avec la métrique A : L'ingrédient X est le n°1.
• Avec la métrique B : L'ingrédient X est le n°500.

C'est très embêtant ! Si vous enlevez les "mauvais" ingrédients pour réentraîner votre modèle, vous risquez de supprimer les bons si vous avez mal choisi votre critère d'évaluation.

🗺️ La Solution : La "Signature Spatiale" (Le GPS des ingrédients)

Les auteurs de ce papier (Mélissa Tamine et son équipe) ont eu une idée géniale pour visualiser ce chaos.

Imaginez que chaque ingrédient (chaque point de données) est une personne dans une grande pièce.

• Au lieu de les noter avec un seul chiffre, on les place sur une carte en 2D.
• Sur cette carte, l'axe horizontal représente l'importance pour le critère "Santé" (ou Précision).
• L'axe vertical représente l'importance pour le critère "Goût" (ou Rappel).

Chaque ingrédient a donc une position fixe sur cette carte. C'est ce qu'ils appellent la Signature Spatiale.

Maintenant, choisir une "utilité" (par exemple, un mélange de 70% santé et 30% goût), c'est comme prendre une boussole et la pointer dans une direction spécifique sur cette carte.

• Si vous pointez vers le Nord-Est, vous voyez qui est le plus important dans cette direction.
• Si vous tournez la boussole vers le Nord-Ouest, le classement change.

🛡️ Le Métrique de Robustesse : "Combien faut-il tourner la boussole pour tout mélanger ?"

Leur grande innovation est de créer un test de résistance.

Imaginez que vous avez votre boussole (votre critère actuel). Vous vous demandez : "Si je tourne un tout petit peu ma boussole (si je change un peu mes priorités), est-ce que le classement de mes ingrédients va s'effondrer ?"

• Scénario fragile (Faible robustesse) : Vos ingrédients sont éparpillés en cercle. Dès que vous bougez la boussole d'un tout petit peu, les positions changent. C'est le chaos. Vous ne pouvez pas faire confiance à votre classement.
• Scénario robuste (Forte robustesse) : Vos ingrédients sont alignés presque parfaitement sur une seule ligne droite. Peu importe où vous pointez la boussole (tant que vous restez dans le bon sens), l'ordre des ingrédients reste le même ! C'est stable.

Ils ont créé un score (noté Rp) qui mesure cette stabilité. Plus le score est proche de 1, plus votre classement est solide, peu importe la métrique que vous choisissez.

🏆 La Révélation : Le Super-Héros "Banzhaf"

En testant différentes méthodes de calcul (Shapley, Beta Shapley, Banzhaf), ils ont découvert quelque chose de surprenant :

La méthode Banzhaf agit comme un aimant. Elle a tendance à aligner tous les ingrédients sur une ligne droite (elle crée une signature spatiale très "collinéaire").

• Résultat : Avec Banzhaf, peu importe si vous choisissez la précision, le rappel ou un mélange des deux, le classement des ingrédients reste très stable.
• Contrairement à Shapley (la méthode classique), qui laisse les ingrédients s'éparpiller, rendant le classement très sensible à vos choix.

💡 En résumé, pour vous

Si vous utilisez l'IA pour trier des données (par exemple, pour supprimer les faux commentaires ou choisir les meilleures images pour entraîner un robot) :

1. Ne vous fiez pas aveuglément à un seul score. Votre choix de métrique (précision vs rappel) peut changer complètement qui vous choisissez.
2. Utilisez ce nouveau test de "robustesse". Avant de dépenser du temps et de l'argent pour réentraîner votre modèle, vérifiez si votre classement est stable.
3. Préférez la méthode Banzhaf. Les auteurs montrent qu'elle est beaucoup plus fiable et moins capricieuse que les méthodes classiques, car elle résiste mieux aux changements de critères.

C'est comme si vous aviez un GPS qui vous disait : "Attention, votre itinéraire dépend trop de la météo. Changez de route pour un trajet plus sûr."

Résumé technique

Voici un résumé technique détaillé du papier de conférence ICLR 2026 intitulé "On the Impact of the Utility in Semivalue-Based Data Valuation".

1. Problématique

L'évaluation de la valeur des données (data valuation) vise à quantifier la contribution de chaque point de données à une tâche d'apprentissage automatique en aval. Les méthodes basées sur les semi-valeurs (comme la valeur de Shapley, Banzhaf, ou Beta Shapley) utilisent la théorie des jeux coopératifs pour attribuer un score à chaque point en fonction de sa contribution marginale à une fonction d'utilité $u$.

Le problème central identifié par les auteurs est la sensibilité de ces scores au choix de la fonction d'utilité. En pratique, le choix de l'utilité est souvent ambigu ou arbitraire :

• Scénario de compromis (Trade-off) : L'utilité est une combinaison convexe de plusieurs critères (ex: aide vs innocuité pour un LLM), avec un poids $\nu$ ajustable.
• Scénario d'utilités multiples valides : Plusieurs métriques sont défendables pour une même tâche (ex: précision, rappel, F1-score, AUC pour une classification binaire), mais aucune n'est imposée par la tâche elle-même.

Dans ces deux cas, un changement mineur de l'utilité peut entraîner des changements drastiques dans le classement des données, rendant les résultats de l'évaluation peu fiables. La question clé est : Dans quelle mesure les résultats de l'évaluation des données sont-ils robustes au choix de l'utilité ?

2. Méthodologie

Les auteurs proposent une approche unifiée basée sur une modélisation géométrique pour analyser cette robustesse.

A. La Signature Spatiale (Spatial Signature)

Grâce à l'axiome de linéarité des semi-valeurs, les auteurs montrent que pour une semi-valeur donnée (définie par un vecteur de poids $\omega$), le score d'un point de données $z$ sous une utilité $u_\alpha$ (combinaison linéaire de $K$ utilités de base) peut s'écrire comme un produit scalaire :
$$\phi(z; \omega, u_\alpha) = \langle \psi_{\omega,D}(z), \alpha \rangle$$
où :

• $\alpha$ est le vecteur de poids définissant l'utilité.
• $\psi_{\omega,D}(z) \in \mathbb{R}^K$ est l'embedding du point de données dans un espace de dimension inférieure, appelé signature spatiale du dataset.
• Le classement des données par une utilité donnée équivaut à projeter les points de la signature spatiale sur le vecteur de direction $\alpha$.

Dans le cas de deux utilités de base ($K=2$), les points sont projetés sur un plan, et les directions d'utilité correspondent à des vecteurs unitaires sur un cercle $S^1$.

B. Métrique de Robustesse ($R_p$)

Pour quantifier la stabilité du classement face aux variations de l'utilité, les auteurs définissent une métrique géométrique :

• Concept : On considère les "coupes" (cut points) sur la sphère des directions d'utilité où l'ordre de deux points $z_i$ et $z_j$ s'inverse (lorsque leur projection devient égale).
• Définition : La métrique $R_p$ mesure la distance géodésique moyenne minimale qu'il faut parcourir sur la sphère des directions d'utilité à partir d'une direction de référence pour provoquer exactement $p$ inversions de paires dans le classement.
• Interprétation :
  • Une valeur de $R_p$ proche de 1 indique une grande robustesse (il faut tourner beaucoup la direction d'utilité pour changer le classement).
  • Une valeur proche de 0 indique une fragilité (un petit changement d'utilité suffit à inverser l'ordre).
• Normalisation : La métrique est normalisée par rapport au cas théorique où tous les points de la signature spatiale sont parfaitement alignés (collinéaires), ce qui maximise la distance avant une inversion.

C. Analyse Théorique

Les auteurs établissent un lien entre la robustesse et la collinéarité de la signature spatiale. Ils démontrent que plus les points de la signature spatiale sont alignés sur une droite passant par l'origine, plus le nombre de régions de classement distinctes est faible, et donc plus la métrique de robustesse est élevée.

3. Contributions Clés

1. Modélisation Géométrique Unifiée : Introduction de la notion de "signature spatiale" qui permet de visualiser et d'analyser l'impact du choix de l'utilité comme un problème de géométrie vectorielle.
2. Métrique de Robustesse Pratique ($R_p$) : Développement d'une métrique calculable (en $O(n^2 \log n)$ une fois les scores estimés) permettant aux praticiens de quantifier la stabilité de leurs résultats avant de prendre des décisions (ex: sélection de sous-ensembles de données).
3. Analyse Comparative des Semi-valeurs : Démonstration théorique et empirique que la méthode Banzhaf offre systématiquement une robustesse supérieure aux autres semi-valeurs (Shapley, Beta Shapley) car ses poids favorisent les tailles de coalitions intermédiaires, ce qui tend à aligner les points de la signature spatiale.
4. Validation Empirique Large : Évaluation sur de multiples jeux de données publics (classification binaire, multiclasse, régression) et validation de la corrélation entre la métrique $R_p$ et les mesures de stabilité traditionnelles (corrélation de rangs de Kendall/Spearman, stabilité Top-k).

4. Résultats Principaux

• Variabilité des Classements : Les expériences montrent que le choix de l'utilité (ex: Précision vs F1-score) peut inverser complètement le classement des données sur certains jeux de données (ex: TITANIC, CREDIT), rendant l'évaluation non fiable si la robustesse n'est pas vérifiée.
• Supériorité de Banzhaf : Sur presque tous les jeux de données et pour tous les scénarios (trade-off ou utilités multiples), la valeur de Banzhaf obtient les scores de robustesse $R_p$ les plus élevés.
  • Explication géométrique : Les poids de Banzhaf concentrent la masse sur les coalitions de taille moyenne, ce qui maximise la corrélation entre les contributions marginales sous différentes utilités, conduisant à une signature spatiale quasi-collinéaire.
• Corrélation avec la Stabilité Top-k : La métrique $R_p$ est fortement corrélée avec la stabilité des sous-ensembles Top-k (Overlap@k, Jaccard@k). Une faible robustesse $R_p$ prédit un changement important des points sélectionnés lors d'un changement d'utilité.
• Extension aux dimensions supérieures : La méthodologie s'étend naturellement aux cas où $K > 2$ utilités de base (ex: compromis entre trois métriques), bien que le calcul exact de $R_p$ nécessite alors une approximation par échantillonnage de Monte Carlo.

5. Signification et Implications

Ce travail apporte une réponse critique à un problème souvent négligé dans l'évaluation des données : la fiabilité du classement dépend du choix de l'utilité.

• Pour les praticiens : Avant d'utiliser les scores de valeur des données pour nettoyer un dataset ou sélectionner un sous-ensemble d'entraînement, il est crucial de calculer la métrique $R_p$. Si $R_p$ est faible, cela indique que le résultat est arbitraire et que l'investissement computationnel pour réentraîner un modèle sur ce sous-ensemble est risqué (car le sous-ensemble optimal changera dès que l'objectif ou la métrique évoluera légèrement).
• Pour la recherche : L'article suggère que la méthode Banzhaf est un choix plus robuste par défaut pour l'évaluation des données, car elle est moins sensible aux spécifications arbitraires de l'utilité.
• Limites et Futur : L'approche se concentre actuellement sur les métriques linéaires-fractionnelles (classification binaire/multiclasse) et certaines régressions. Les auteurs appellent à de futures recherches pour évaluer si les méthodes d'évaluation de données résolvent réellement le problème qu'elles prétendent adresser, en particulier dans des contextes où la robustesse est faible.

En résumé, ce papier fournit un cadre théorique et un outil pratique pour transformer l'évaluation des données d'un processus potentiellement arbitraire en une procédure rigoureuse et vérifiable, en quantifiant explicitement l'incertitude liée au choix de l'utilité.