🤖 machine learning

Neural Architecture Search of Sample Reweighting Networks for Complex Distribution Shift

Cet article propose d'améliorer le cadre Meta-Weight-Net (MW-Net) pour gérer simultanément le bruit d'étiquetage et le déséquilibre des classes en employant la recherche d'architecture neuronale afin d'optimiser sa structure de réseau et la sélection des entrées, surmontant ainsi les limitations de performance des réseaux simples lorsqu'ils reposent uniquement sur la perte de classification.

Auteurs originaux : Keisuke Sugawara, Kento Uchida, Shinichi Shirakawa

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Keisuke Sugawara, Kento Uchida, Shinichi Shirakawa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Apprendre à un robot à ignorer les mauvaises données

Imaginez que vous engagiez un robot pour trier une immense pile de courrier. Vous voulez qu'il apprenne à livrer les lettres aux bonnes maisons. Cependant, vous avez deux gros problèmes :

Le problème du "Bruit" : Certaines lettres ont la mauvaise adresse écrite dessus (Bruit d'étiquetage/Label Noise).
Le problème du "Déséquilibre" : Vous avez 1 000 lettres pour la "Maison A" mais seulement 10 lettres pour la "Maison B" (Déséquilibre des classes/Class Imbalance).

Si vous laissez simplement le robot apprendre normalement, il sera confus. Il pourrait ignorer les rares lettres de la "Maison B" parce qu'il y en a très peu, ou il pourrait s'énerver face aux lettres ayant de mauvaises adresses et commencer à deviner au hasard.

L'ancienne solution : Un simple calculateur de "Poids"

Pour corriger cela, les chercheurs utilisent une astuce appelée Repondération d'échantillons (Sample Reweighting). Voyez cela comme le fait de donner un "score de confiance" à chaque lettre que le robot voit.

Si une lettre semble facile et correcte, donnez-lui un score élevé (prêtez-y attention).
Si une lettre semble bizarre ou incorrecte, donnez-lui un score faible (ignorez-la).

L'article se concentre sur un outil spécifique appelé MW-Net (Meta-Weight-Net). C'est un petit calculateur simple qui décide du score de chaque lettre.

Comment cela fonctionnait auparavant : L'ancien MW-Net était comme un calculateur très simple avec un seul bouton. Il regardait à quel point le robot se trompait sur une lettre (la "perte"/loss) et décidait du score.
- La faille : Dans une situation désordonnée (où vous avez à la fois de mauvaises adresses ET des maisons rares), un calculateur simple est confus. Une lettre de maison rare peut être difficile à lire (forte "erreur"), et une lettre avec une mauvaise adresse est aussi difficile à lire (forte "erreur"). Le calculateur simple ne peut pas faire la différence, donc il traite les deux de la même manière, ce qui nuit à la performance.

La nouvelle idée : Laisser le robot concevoir son propre calculateur

Les auteurs ont demandé : "Et si nous n'utilisions pas seulement un calculateur simple ? Et si nous laissions le robot concevoir son propre calculateur, plus complexe, pour déterminer les scores ?"

Ils ont utilisé une technique appelée Recherche d'Architecture Neuronale (NAS - Neural Architecture Search). Voyez cela comme un "Maître Architecte" qui essaie des milliers de plans différents pour le calculateur jusqu'à ce qu'il trouve le parfait.

Le Maître Architecte a recherché deux choses :

Le Plan (Structure) : Combien de "pièces" (couches/layers) le calculateur doit-il avoir ? Combien d' "ouvriers" (nœuds/nodes) doit-il y avoir dans chaque pièce ?
- Analogie : Parfois, vous avez besoin d'un petit cabanon (1 couche) pour un travail simple. D'autres fois, vous avez besoin d'un immeuble de bureaux de plusieurs étages (5 couches) pour gérer une logique complexe.
L'Entrée (Ce qu'il regarde) : L'ancien calculateur ne regardait que le score d' "erreur". Le nouveau regarde deux choses :
- Le score d' "erreur".
- Le "Contexte" : Un instantané de ce à quoi la lettre ressemble réellement (caractéristiques/features) et de ce que l'adresse devrait être (étiquette/label).
- Analogie : Au lieu de simplement demander "Est-ce que cette lettre est déroutante ?", le nouveau calculateur demande : "Est-ce que cette lettre est déroutante, ET est-ce qu'elle ressemble à une lettre de maison rare, ET a-t-elle le bon code postal ?"

Comment ils ont trouvé la meilleure conception

Ils ont utilisé une méthode de recherche intelligente appelée TPE (Tree-structured Parzen Estimator).

Imaginez que le Maître Architecte joue à un jeu de "Chaud et Froid".
Il essaie un plan (ex: 3 pièces, 500 ouvriers).
Il teste le robot. Si le robot réussit bien, l'Architecte mémorise ce plan.
Si le robot réussit mal, l'Architecte l'oublie.
Avec le temps, l'Architecte apprend la forme exacte du calculateur nécessaire pour le type spécifique de désordre (ex: "Flip Noise" vs "Random Noise").

Ce qu'ils ont découvert

Ils ont testé cela sur deux ensembles de données d'images célèbres, CIFAR-10 et CIFAR-100, qui sont comme de gigantesques boîtes de photos de chats, chiens, voitures, etc., mais où les étiquettes ont été faussées et certaines catégories rendues rares.

La recherche fonctionne : Le "Maître Architecte" a systématiquement trouvé de meilleurs calculateurs que l'ancien modèle simple. Le robot a trié le courrier bien mieux.
Différents désordres nécessitent différents outils :
- Flip Noise (erreurs systématiques) : Quand les mauvaises adresses étaient spécifiques (ex: tous les "Chats" étaient étiquetés comme "Chiens"), l'Architecte a construit un calculateur profond et complexe (3 couches ou plus). Il avait besoin de profondeur pour comprendre le schéma spécifique de l'erreur.
- Uniform Noise (erreurs aléatoires) : Quand les mauvaises adresses étaient totalement aléatoires, l'Architecte a construit un calculateur plus simple (1 ou 2 couches) mais l'a rendu plus large (plus d'ouvriers). Il n'avait pas besoin d'une logique profonde, juste de beaucoup d'yeux pour repérer les erreurs aléatoires.
Regarder au bon endroit : La recherche a également déterminé où regarder dans la lettre. Parfois, il fallait regarder à la toute fin du cerveau du robot (les dernières couches), et parfois il fallait regarder les couches intermédiaires, selon le type de bruit.

L'essentiel à retenir

Cette publication démontre que lorsque les données sont désordonnées (bruyantes et déséquilibrées), vous ne devriez pas simplement utiliser un outil simple "taille unique" pour les corriger. Au lieu de cela, vous devriez utiliser une recherche automatisée pour concevoir un outil sur mesure qui est parfaitement adapté au type de désordre spécifique auquel vous faites face. Cela rend le robot apprenant beaucoup plus intelligent et plus précis.

Résumé technique : Recherche d'architecture neuronale pour les réseaux de repondération d'échantillons face aux décalages de distribution complexes

Problématique

Les décalages de distribution, plus précisément la cooccurrence du bruit d'étiquetage et du déséquilibre des classes, posent des défis importants à l'apprentissage supervisé standard. Bien que la repondération d'échantillons soit une approche établie pour atténuer ces problèmes, les méthodes existantes font face à des limitations dans des scénarios complexes :

Réglage manuel : Les méthodes traditionnelles (par exemple, la Focal Loss ou l'apprentissage auto-cadencé) reposent sur des fonctions de pondération et des hyperparamètres conçus manuellement, ce qui nécessite une expertise.
Limites de Meta-Weight-Net (MW-Net) : MW-Net automatise le calcul des poids à l'aide d'un réseau de neurones simple (une seule couche cachée de 100 nœuds) qui prend uniquement la perte de classification en entrée. Bien qu'efficace pour des types de décalages uniques, MW-Net peine lorsque le bruit d'étiquetage et le déséquilibre des classes coexistent. Dans ces cas, les échantillons bruités (qui devraient être sous-pondérés) et les échantillons de classes minoritaires (qui devraient être surpondérés) présentent souvent des valeurs de perte élevées, ce qui rend difficile pour un réseau simple basé uniquement sur la perte d'inférer les poids appropriés.

Méthodologie

Les auteurs proposent d'améliorer MW-Net par la Recherche d'Architecture Neuronale (NAS) afin d'optimiser à la fois la structure du réseau et les caractéristiques d'entrée. Les modifications centrales sont :

Caractéristiques d'entrée enrichies : Au lieu d'utiliser uniquement la valeur scalaire de la perte, l'entrée du réseau de pondération est remplacée par une concaténation de :
- Représentations de caractéristiques intermédiaires ( $b_j$ ) provenant d'un bloc sélectionné du modèle de classification (traitées via un pooling global moyen).
- Informations d'étiquetage "one-hot" ( $y_i$ ).
- Formule : $\phi(x_i, y_i; w) = (\psi_{ave}(b_j(x_i)), \psi_{onehot}(y_i))$ .
Optimisation conjointe via TPE : Les auteurs utilisent l'Estimateur de Parzen structuré en arbre (TPE), une méthode d'optimisation bayésienne, pour rechercher conjointement :
- L'architecture du réseau : Le nombre de couches cachées (1 à 5) et le nombre de nœuds par couche (64 à 1024, optimisé sur une échelle logarithmique).
- La source d'entrée : L'indice du bloc spécifique (11 à 15) du classificateur ResNet-32 à partir duquel les caractéristiques sont extraites.
Cadre d'entraînement : La méthode utilise un cadre de méta-apprentissage avec deux ensembles de données :
- Ensemble d'entraînement ( $D_{train}$ ) : Contient des données bruitées et déséquilibrées.
- Ensemble méta ( $D_{meta}$ ) : Un petit ensemble de données propres et équilibrées échantillonnées à partir de la distribution cible.
- Le classificateur et le réseau de pondération sont mis à jour alternativement. Le classificateur minimise la perte pondérée sur $D_{train}$ , tandis que le réseau de pondération minimise la perte sur $D_{meta}$ après la mise à jour du classificateur.

Principales contributions

Première application de la NAS à MW-Net : À la connaissance des auteurs, il s'agit de la première étude appliquant la recherche d'architecture neuronale aux réseaux de pondération d'échantillons dans un contexte de méta-apprentissage.
Gestion des décalages complexes : La méthode proposée traite le défi spécifique où les échantillons bruités et les échantillons minoritaires partagent des valeurs de perte élevées, un scénario où les réseaux de pondération basés uniquement sur la perte échouent.
Sélection automatisée des caractéristiques : La méthode identifie automatiquement si les caractéristiques précoces ou tardives du classificateur sont les plus adaptées à l'estimation des poids selon les types de bruit (par exemple, le bruit de basculement/flip noise vs le bruit uniforme).

Résultats expérimentaux

La méthode a été évaluée sur les jeux de données CIFAR-10 et CIFAR-100 modifiés avec un bruit d'étiquetage synthétique (Flip et Uniform, taux de 40 %) et un déséquilibre des classes (facteurs de déséquilibre de 20 et 100).

Performance sur CIFAR-10 :
- Les méthodes NAS proposées ont systématiquement surpassé la ligne de base standard de MW-Net (1 couche cachée, 100 nœuds) ainsi que la ligne de base "Plus grande architecture" (5 couches, 1024 nœuds).
- Bruit de basculement (Flip Noise) : La recherche a tendance à sélectionner des architectures plus profondes (3+ couches) et des caractéristiques provenant des derniers blocs (14e/15e) du classificateur.
- Bruit uniforme (Uniform Noise) : La recherche a favorisé les architectures avec moins de couches (1–2) et des caractéristiques provenant des blocs précoces (11e–13e).
- Distribution des poids : L'analyse visuelle a montré que les réseaux dérivés de la NAS ont réussi à attribuer des poids faibles aux échantillons bruités tout en maintenant des poids élevés pour les échantillons propres des classes minoritaires, une distinction que la ligne de base n'a pas pu établir efficacement.
Performance sur CIFAR-100 :
- Bien que les méthodes NAS aient généralement surpassé la ligne de base, l'écart de performance est plus faible par rapport à CIFAR-10.
- Les auteurs attribuent cela à la rareté extrême des échantillons minoritaires propres dans CIFAR-100 (par exemple, environ 3 échantillons propres par classe minoritaire sous un fort déséquilibre et du bruit), rendant la distinction entre données propres et bruitées intrinsèquement difficile, quelle que soit l'architecture.

Signification et affirmations

L'article affirme qu'appliquer la NAS à MW-Net permet au modèle d'apprendre des stratégies de pondération d'échantillons sophistiquées qui sont robustes aux décalages de distribution complexes. En optimisant la profondeur, la largeur et la sélection des caractéristiques d'entrée, la méthode s'adapte aux caractéristiques spécifiques du bruit (par exemple, le bruit de basculement structuré vs le bruit aléatoire uniforme).

Les auteurs maintiennent un ton modeste concernant les résultats sur CIFAR-100, reconnaissant que la difficulté de la tâche limite les gains observables des différences architecturales. Ils déclarent explicitement que l'objectif principal était d'examiner l'effet de l'application de la NAS à MW-Net plutôt que d'atteindre une performance absolue de pointe (state-of-the-art).

Orientations futures :
Les auteurs suggèrent que les travaux futurs devraient se concentrer sur :

L'optimisation conjointe des architectures du réseau de pondération et du classificateur.
L'élargissement de l'espace de recherche pour inclure des couches de convolution et de pooling.
La réduction des coûts de calcul en adoptant le "One-Shot NAS" ou d'autres méthodes de NAS efficaces, car l'approche actuelle de "réentraînement à partir de zéro" pour chaque candidat est trop coûteuse en calcul pour des jeux de données à grande échelle.