Wasserstein Filtering: A Sample Selection Method for Robust Distribution Learning

Imaginez que vous essayez d'apprendre la véritable forme d'un nuage en regardant un tas de boules de coton blanc et duveteux. Mais voici le piège : un gremlin malicieux s'est faufilé dans votre collection et a remplacé certaines boules de coton par des rochers lourds et dentelés, ou a peut-être peint certaines boules de coton en rose fluo. Si vous essayez de deviner la forme du nuage en regardant l'ensemble du tas, votre réponse sera totalement fausse à cause de ces intrus. C'est le combat quotidien des « statistiques robustes », une branche de la science dédiée à trouver la vérité même lorsque les données sont désordonnées, brisées ou tentent activement de vous tromper.

Pour résoudre cela, les scientifiques utilisent souvent un outil appelé « distance de Wasserstein ». Voyez cela non pas comme une règle, mais comme un « coût de déplacement ». Imaginez que vous avez un tas de terre (vos données) et que vous devez déplacer cette terre pour correspondre à une forme cible. La distance de Wasserstein calcule la quantité minimale de travail nécessaire pour déplacer chaque grain de terre de son emplacement actuel vers sa nouvelle demeure. Si la terre est dispersée loin, cela coûte beaucoup d'énergie pour la déplacer ; si elle est proche, cela coûte très peu. Cette méthode est spéciale car elle comprend la géométrie — elle sait qu'un rocher éloigné est très différent d'un grain de poussière proche, alors que d'autres méthodes plus simples pourraient simplement compter le nombre de rochers sans se soucier de leur emplacement.

Maintenant, imaginez que vous êtes un détective essayant de nettoyer une scène de crime où les preuves ont été manipulées. Vous avez une liste de 1 000 témoignages, mais vous savez que jusqu'à 15 % d'entre eux sont des mensonges plantés par un saboteur. Votre objectif est de choisir les 850 témoignages les plus honnêtes pour reconstruire la véritable histoire, sans savoir à l'avance lesquels sont les mensonges. C'est exactement le problème abordé dans l'article « Wasserstein Filtering ». Les auteurs, Yikai Xu, Zhao Chen et Jian Huang, proposent une nouvelle façon ingénieuse de filtrer le bruit. Au lieu de deviner quels points de données sont mauvais en fonction de leur distance par rapport au centre, ils inversent la logique. Ils demandent : « Quel groupe de points de données, si nous ne gardions que ceux-là, semblerait le plus différent de l'ensemble désordonné et contaminé ? »

La logique est contre-intuitive mais brillante. Si vous avez un tas de données mélangées, les « mauvais » éléments aberrants sont généralement ceux qui tirent la moyenne dans des directions bizarres. En trouvant le sous-ensemble de données qui crée le plus grand « coût de déplacement » (distance de Wasserstein) par rapport au désordre contaminé, l'algorithme identifie et élimine efficacement les valeurs aberrantes qui causent la plus grande distorsion géométrique. C'est comme trouver le groupe de personnes dans une pièce bondée qui, s'ils se tenaient tous ensemble, seraient les plus éloignés du chaos de la foule entière. L'article montre qu'en procédant ainsi, on peut isoler les données « propres » avec une grande précision.

Les chercheurs n'ont pas seulement trouvé une idée ; ils ont construit trois différentes « machines » (algorithmes) pour permettre cela. L'une est une vérification rapide, une par une, appelée « SinkMarg », qui est excellente pour les cas simples mais peut devenir lente avec de très grands ensembles de données. Les deux autres, « SinkWF » et « SlicedWF », sont plus puissantes. Elles utilisent des astuces mathématiques avancées (comme le « transport optimal entropique » et les approximations « par tranches ») pour résoudre l'énigme d'un seul coup, même lorsque les données sont complexes ou de haute dimension. L'article prouve mathématiquement que cette méthode est la meilleure possible pour accomplir ce travail sous certaines conditions, spécifiquement lorsque les « mauvaises » données sont soit très loin, soit très proches des « bonnes » données d'une manière complexe.

Dans leurs expériences, ils ont testé cela sur tout, de dessins simples en 2D à des graphes moléculaires complexes et même des images de chiffres manuscrits. Ils ont constaté que leur méthode, en particulier l'algorithme « SinkWF », était incroyablement douée pour repérer les fausses données, surpassant souvent les outils de pointe existants. Par exemple, lorsqu'ils ont essayé d'apprendre à un ordinateur à générer de nouvelles images de chiffres (comme le chiffre « 7 ») en utilisant un ensemble de données rempli d'images corrompues, le fait de filtrer d'abord les données avec leur méthode rendait les images résultantes beaucoup plus claires et précises. Cependant, ils ont également noté que si les « mauvaises » données sont si infimes qu'elles sont à peine perceptibles, ou si les données sont extrêmement de haute dimension sans assez de projections, la méthode peut avoir des difficultés. Mais globalement, ils ont démontré que ce « Wasserstein Filtering » est un outil puissant et indépendant du modèle qui peut nettoyer les données avant qu'elles ne soient injectées dans n'importe quel autre système d'apprentissage automatique, rendant les résultats finaux beaucoup plus fiables.