🤖 machine learning

Interaction-Aware Influence Functions for Group Attribution

Ce papier propose une fonction d'influence consciente des interactions qui enrichit les estimations d'influence du premier ordre standard d'un terme d'interaction par paires afin de mieux capturer la manière dont des groupes d'exemples d'entraînement affectent conjointement les performances du modèle, démontrant une précision supérieure dans le suivi des effets de la suppression de groupes et une sélection de données améliorée pour l'ajustement par instructions par rapport aux références existantes.

Auteurs originaux : Jaeseung Heo, Kyeongheung Yun, Youngbin Choi, Sehyun Hwang, Jungseul Ok, Dongwoo Kim

Publié 2026-05-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jaeseung Heo, Kyeongheung Yun, Youngbin Choi, Sehyun Hwang, Jungseul Ok, Dongwoo Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Gros Problème : La « Somme » ne Raconte pas toute l'Histoire

Imaginez que vous êtes un entraîneur essayant de déterminer quels joueurs de votre équipe sont les plus précieux. Vous avez une méthode standard pour cela : vous regardez dans quelle mesure le score de l'équipe s'améliore lorsque vous ajoutez un joueur spécifique. Si le Joueur A aide l'équipe à marquer 10 points, et que le Joueur B aide à marquer 10 points, votre ancienne mathématique dit : « Super ! Si nous avons les deux, nous obtenons 20 points ! »

Mais c'est souvent faux.

Le Piège de la Redondance : Et si le Joueur A et le Joueur B étaient des jumeaux jouant exactement au même poste ? Si vous avez le Joueur A, ajouter le Joueur B n'aide pas vraiment beaucoup plus. Ils sont « redondants ». Votre ancienne mathématique (additionner 10 + 10) surestime leur valeur car elle compte la même compétence deux fois.
Le Piège de la Synergie : Et si le Joueur A était un attaquant et le Joueur B un gardien de but ? Seul, ils sont bons. Mais ensemble, ils couvrent parfaitement tout le terrain. Ils sont « complémentaires ». Votre ancienne mathématique (10 + 10 = 20) pourrait sous-estimer à quel point ils sont incroyables ensemble, car elle rate la magie de leur travail d'équipe.

En apprentissage automatique, les chercheurs ont utilisé cette « ancienne mathématique » (appelée fonctions d'influence du premier ordre) pour décider quels points de données conserver ou supprimer. Ils se contentaient d'additionner les scores individuels des points de données. Le papier soutient que c'est un angle mort car cela ignore comment les points de données interagissent entre eux.

La Solution : Le Score « Conscient des Interactions »

Les auteurs proposent une nouvelle façon de noter des groupes de données. Pensez-y comme passer d'une simple calculatrice à un analyseur de chimie d'équipe.

Au lieu de simplement demander : « À quel point ce joueur est-il bon seul ? », ils demandent : « Comment ce joueur modifie-t-il la dynamique de l'équipe lorsqu'il est ajouté au groupe que nous avons déjà ? »

Ils font cela en examinant la « courbure » du problème. Imaginez que la performance du modèle est un paysage avec des collines et des vallées.

L'Ancienne Façon : Suppose que le paysage est plat. Si vous faites un pas en avant (ajoutez un point de données), vous montez d'une quantité fixe.
La Nouvelle Façon : Réalise que le paysage est courbe. Si vous faites un pas, la pente peut changer en fonction de l'endroit où vous êtes et de qui marche avec vous.

Cette nouvelle méthode ajoute un « Terme d'Interaction par Paires » au score.

Si deux points de données sont similaires (comme les joueurs jumeaux), le terme d'interaction agit comme une pénalité, abaissant leur score combiné pour refléter la redondance.
Si deux points de données sont différents mais fonctionnent bien ensemble (comme l'attaquant et le gardien), le terme d'interaction agit comme un bonus, augmentant leur score pour refléter la synergie.

Comment Cela Fonctionne en Pratique (Le Sélecteur Gourmand)

Le papier utilise également cette nouvelle mathématique pour construire un « sélecteur intelligent » afin de choisir les meilleures données d'entraînement. Imaginez que vous construisez une playlist pour une fête.

L'Ancienne Façon (Top-K) : Vous choisissez les 10 chansons qui sont individuellement les plus populaires.
- Résultat : Vous vous retrouvez avec 10 chansons qui sonnent exactement de la même manière. La fête devient ennuyeuse car il n'y a pas de variété.
La Nouvelle Façon (Consciente des Interactions) : Vous choisissez la première chanson qui est populaire. Ensuite, pour la deuxième chanson, vous ne choisissez pas simplement la suivante la plus populaire. Vous demandez : « Est-ce que cette prochaine chanson entre en conflit avec la première, ou s'adapte-t-elle parfaitement ? »
- Si la prochaine chanson populaire est trop similaire à la première, la nouvelle mathématique dit : « Passez-la, nous avons déjà cette ambiance. »
- Vous choisissez une chanson qui est légèrement moins populaire en soi mais qui ajoute un genre totalement nouveau au mélange.
- Résultat : Une playlist diversifiée, équilibrée, qui maintient la fête en vie plus longtemps.

Ce Qu'ils Ont Vraiment Prouvé

Les auteurs ont testé cette idée de deux manières principales :

1. Le « Test de Vérité » (Petits Modèles)
Ils ont utilisé de petits modèles simples (comme ceux utilisés pour reconnaître des chiffres écrits à la main ou prédire la résistance du béton) où ils pouvaient en fait réentraîner le modèle à partir de zéro pour voir le vrai résultat.

Constat : Lorsqu'ils ont supprimé des groupes de données similaires, l'ancienne méthode a mal prédit le résultat. La nouvelle méthode, qui prend en compte les interactions, a prédit le résultat presque parfaitement. Elle était bien meilleure pour suivre ce qui se passait réellement lorsque des données étaient supprimées.

2. Le Test « Grand Modèle » (LLM)
Ils ont appliqué cela à Llama-3.1-8B, un énorme Modèle de Langage (LLM). Ils voulaient sélectionner les 5 % meilleurs données d'instruction pour enseigner au modèle comment suivre des commandes.

Le Montage : Ils ont comparé leur méthode contre :
- Une sélection aléatoire (choisir des données par hasard).
- L'ancienne méthode d'influence « Top-K » (choisir les données les plus influentes individuellement).
- D'autres méthodes qui examinent à quel point les données se ressemblent.
Le Constat :
- L'ancienne méthode « Top-K » a en fait performé moins bien qu'une sélection aléatoire. Pourquoi ? Parce qu'elle a choisi 13 000 exemples qui étaient tous très similaires les uns aux autres, obligeant le modèle à apprendre une vision étroite et répétitive du monde.
- La nouvelle méthode « Consciente des Interactions » a choisi un ensemble diversifié de données. Elle a battu la sélection aléatoire sur chaque tâche unique et a battu les autres méthodes avancées sur 5 tâches sur 7.

La Conclusion

Le papier affirme que lorsque vous traitez avec des groupes de données, vous ne pouvez pas simplement additionner les scores individuels. Vous devez prendre en compte la façon dont les points de données parlent entre eux. En ajoutant un calcul de « chimie d'équipe » aux mathématiques, ils ont créé un outil qui :

Prédit avec précision comment la suppression d'un groupe de données affecte un modèle.
Sélectionne de meilleures données d'entraînement plus diversifiées pour l'IA, empêchant le modèle de rester coincé dans une boucle « redondante ».

Ils n'ont pas affirmé que cela fonctionne pour le diagnostic clinique, le traitement médical ou des applications futures spécifiques au-delà de la sélection de données et de la compréhension des modèles. Leur succès est strictement dans le domaine du choix de meilleures données pour entraîner des modèles d'IA.

Résumé technique : Fonctions d'influence conscientes des interactions pour l'attribution de groupe

Énoncé du problème
Les fonctions d'influence sont un outil fondamental pour approximer comment la suppression d'un exemple d'entraînement modifie une fonction cible, telle qu'une perte sur un ensemble de validation. La pratique standard pour estimer l'influence d'un groupe d'exemples consiste à sommer les influences individuelles de ses membres. Cependant, cette approche additive suppose que les exemples contribuent de manière indépendante, échouant à capturer les effets conjoints. En réalité, les exemples peuvent être redondants (par exemple, des quasi-doublons) ou complémentaires (par exemple, des caractéristiques similaires avec des étiquettes différentes). La sommation des influences individuelles compte deux fois les exemples redondants et manque les effets synergiques des exemples complémentaires, conduisant à une mauvaise attribution de groupe et à une sélection de données sous-optimale (par exemple, la sélection de sous-ensembles hautement redondants). Les tentatives antérieures pour résoudre ce problème, telles que les corrections du second ordre appliquées aux déplacements de paramètres, manquent souvent de saisir comment la fonction cible elle-même répond à ces déplacements.

Méthodologie
Les auteurs proposent une fonction d'influence consciente des interactions qui caractérise comment les interactions entre les exemples affectent conjointement une fonction cible. L'innovation centrale consiste à développer la fonction cible $f$ à l'ordre deux autour des paramètres entraînés $\hat{\theta}$ , plutôt que de simplement linéariser le déplacement des paramètres.

Développement à l'ordre deux :
L'effet exact de la suppression d'un groupe $I^-(S) = f(\hat{\theta}_{D\setminus S}) - f(\hat{\theta})$ est approximé en développant $f$ à l'ordre deux :
$\hat{I}^-(S) \approx \underbrace{\frac{1}{N} \nabla_\theta f(\hat{\theta})^\top u_S}_{\text{Influence du premier ordre}} + \underbrace{\frac{1}{2N^2} u_S^\top H_f u_S}_{\text{Terme d'interaction}}$
Ici, $u_S = \sum_{z_i \in S} u_i$ est le déplacement agrégé des paramètres, où $u_i = H^{-1}\nabla_\theta \ell(z_i, \hat{\theta})$ , et $H_f = \nabla^2_\theta f(\hat{\theta})$ est la Hessienne de la fonction cible.
Terme d'interaction par paires :
Le deuxième terme (le terme d'interaction) se décompose en une somme de contributions par paires $\kappa(z_i, z_j) = u_i^\top H_f u_j$ .
- Interprétation : Si $H_f$ est définie positive, $\kappa(z_i, z_j)$ agit comme un produit scalaire mesurant l'alignement des effets de deux exemples sur la cible.
- Redondance vs Complémentarité : Le terme est positif lorsque les exemples poussent le modèle dans des directions similaires (redondance, rendements décroissants) et négatif lorsqu'ils poussent dans des directions opposées (complémentarité, effet conjoint bénéfique).
- Factorisation sous forme close : Pour la régression logistique binaire, les auteurs prouvent que $\kappa(a, b) = (\sigma_a - y_a)(\sigma_b - y_b) \cdot \langle x_a, x_b \rangle_M$ . Cela récupère formellement le principe selon lequel des exemples similaires avec des étiquettes différentes sont complémentaires, tandis que des exemples similaires avec la même étiquette sont redondants.
Sélection de données gloutonne :
Pour appliquer cela à la sélection de données (trouver un sous-ensemble $S$ qui minimise la cible lorsqu'il est ajouté), les auteurs dérivent un score marginal $m(z_i | S)$ pour l'ajout d'un candidat $z_i$ à un ensemble déjà sélectionné $S$ . Ce score inclut un terme $u_S^\top H_f u_i$ qui pénalise les candidats similaires à ceux déjà sélectionnés, équilibrant efficacement la qualité individuelle avec la diversité du groupe sans nécessiter d'heuristique de diversité externe.

Contributions clés

Cadre théorique : Un nouvel estimateur de fonction d'influence qui complète la somme standard du premier ordre d'un terme d'interaction par paires dérivé d'un développement à l'ordre deux de la fonction cible. Cela diffère des travaux antérieurs qui développaient le déplacement des paramètres (par exemple, Basu et al. [5]), offrant une structure par paires plus stable et interprétable.
Garanties théoriques : Preuve que le terme d'interaction encode les principes classiques de l'apprentissage supervisé (complémentarité des paires similaires de classes croisées, redondance des paires similaires de même classe) dans une factorisation sous forme close pour la régression logistique, extensible aux classificateurs profonds multi-classes.
Efficacité algorithmique : Une procédure de sélection gloutonne (Algorithme 1) avec une complexité $O(KPd)$ qui précalcule les quantités nécessaires et met à jour un accumulateur, la rendant évolutive vers de grands ensembles de données et modèles.

Résultats expérimentaux
La méthode a été évaluée dans deux contextes principaux :

Fidélité au réentraînement (Modèles à petite échelle) :
- Configuration : Évaluée sur six paires ensemble de données-modèle (Régression Logistique, MLP, ResNet-9) couvrant des tâches de classification et de régression.
- Métrique : Corrélation de rang de Spearman entre l'influence estimée et les effets réels de réentraînement par suppression de groupe (ground-truth).
- Résultat : L'estimateur conscient des interactions (F+I) a obtenu la corrélation la plus élevée dans tous les contextes, surpassant significativement l'influence standard du premier ordre (F) et la correction du second ordre du déplacement des paramètres (F+B). Notamment, F+B a montré une instabilité, confirmant le conditionnement théorique défavorable du développement du déplacement des paramètres dans des contextes non convexes.
Sélection de sous-ensembles (Petite échelle et LLM) :
- Petite échelle (MLP) : Sur MNIST et FashionMNIST, la sélection standard basée sur l'influence (F) s'est effondrée vers quelques classes, performant moins bien que la sélection aléatoire. La méthode consciente des interactions a maintenu une entropie de classe comparable à la sélection aléatoire et a obtenu la perte de test sur ensemble de validation la plus faible.
- Grands modèles de langage (Llama-3.1-8B) : Appliqué à la sélection de données pour l'ajustement par instruction à partir d'un pool d'environ 270 000 exemples.
- Résultat : La méthode proposée a surpassé la sélection aléatoire sur les sept tâches en aval (GSM8K, AQuA, ARC-E, HellaSwag, PIQA, ECQA, SQuAD). Elle a obtenu les meilleures performances globales sur cinq des sept tâches, surpassant à la fois les bases d'influence (Additive IF, LESS) et les bases de similarité de représentation (RDS+, NV-Embed). Crucialement, la sélection standard basée sur l'influence (Additive IF) a sous-performé par rapport à la sélection aléatoire sur la plupart des tâches, mettant en évidence l'échec du score additif dans ce régime.

Signification et affirmations
L'article affirme que l'attribution de groupe concerne fondamentalement la manière dont les exemples d'entraînement affectent la cible, et non simplement le déplacement des paramètres. En caractérisant les interactions par leur effet conjoint sur la cible, la méthode proposée adresse le « point aveugle » du score additif, qui conduit à une sélection de données redondante. Les auteurs démontrent que la prise en compte de ces interactions est cruciale à la fois pour estimer avec précision l'influence d'un groupe et pour sélectionner des sous-ensembles d'entraînement diversifiés et efficaces. La méthode fournit une correction du second ordre principielle qui émerge naturellement de la courbure de la fonction cible, plutôt que de dépendre de pénalités de diversité imposées de l'extérieur.

Limites
Les auteurs notent deux limites principales :

La procédure de sélection gloutonne, bien qu'efficace, manque de garanties d'optimalité formelles.
L'estimateur hérite des erreurs d'approximation des approximations de Hessienne sous-jacentes (par exemple, EK-FAC, projections de rang faible). Les travaux futurs pourraient bénéficier des avancées dans l'estimation d'inverse de Hessienne évolutive.