How Much Regularization Survives Averaging? Update Masking in Federated Learning

Dans le monde de l'intelligence artificielle, il existe un défi persistant connu sous le nom de problème « fédéré ». Imaginez un groupe de personnes, chacune détenant une pièce unique d'un puzzle, qui souhaitent construire ensemble une image unique et complète sans jamais montrer leurs pièces individuelles à personne. C'est ainsi que fonctionne souvent l'apprentissage automatique moderne : un ordinateur central coordonne de nombreux appareils différents, comme des téléphones ou des capteurs, pour apprendre une compétence partagée. Le hic est que les données sur chaque appareil sont rarement les mêmes ; un téléphone peut avoir principalement des photos de chats, tandis qu'un autre n'a que des photos de voitures. Lorsque l'ordinateur central essaie de combiner ce que chacun a appris, le modèle résultant a souvent du mal à donner un sens à l'ensemble de l'image, échouant à bien se généraliser à de nouvelles situations. Pour corriger cela, les chercheurs cherchent depuis longtemps un moyen de trouver des solutions « plates » dans le paysage mathématique de l'apprentissage. Pensez à un sommet pointu par rapport à un large plateau plat. Un modèle qui atterrit sur un sommet pointu peut fonctionner parfaitement sur les données spécifiques qu'il a vues, mais il trébuchera immédiatement si les données changent même légèrement. Un modèle qui s'installe sur un large plateau plat est plus robuste ; il peut gérer de petites variations dans les données sans s'effondrer.

Pendant des années, les scientifiques ont essayé de forcer ces modèles à trouver ces plateaux plats en ajoutant du bruit ou en commettant de petites erreurs délibérées pendant le processus d'apprentissage. Ce bruit agit comme un léger secoueur, empêchant le modèle de rester coincé dans un endroit étroit et fragile. Récemment, une technique spécifique appelée « masquage de mise à jour » (update masking) est devenue populaire dans l'entraînement centralisé, où un seul ordinateur fait tout le travail. Cette méthode rejette aléatoirement des morceaux des instructions d'apprentissage et redimensionne le reste, ajoutant ainsi un type de bruit utile qui pousse le modèle vers ces zones stables et plates. Cependant, lorsque les chercheurs ont tenté d'apporter cette technique dans le cadre fédéré, où de nombreux appareils apprennent séparément puis combinent leurs résultats, elle semblait s'être évanouie. La question à laquelle une équipe de chercheurs de l'Université de Sophia et de Shendian Energy Co., Ltd. s'est attaquée était simple : où est passé ce bruit utile et pouvait-on le récupérer ?

Les chercheurs ont découvert que le bruit ne disparaissait pas ; il était simplement dilué par l'acte même de combiner les résultats. Dans leur configuration, ils avaient cent appareils différents, ou « clients », chacun apprenant sur sa propre tranche de données. Dans une approche standard, chaque appareil déciderait de manière aléatoire quelles parties de ses instructions d'apprentissage conserver et lesquelles rejeter, en utilisant son propre schéma de choix unique. Lorsque le serveur central collectait ces mises à jour et les faisait la moyenne, les choix aléatoires des appareils individuels s'annulaient les uns les autres. C'était comme si dix personnes essayaient de pousser un objet lourd dans des directions aléatoires légèrement différentes ; le résultat net était que l'objet bougeait à peine. La pénalité mathématique qui force habituellement un modèle à être robuste était affaiblie par un facteur égal au nombre d'appareils dans le groupe. Avec dix appareils, l'effet utile était réduit à un dixième de sa force originale, laissant le modèle avec presque aucune protection contre le surapprentissage.

L'équipe a ensuite testé une stratégie différente : et si chaque appareil utilisait exactement le même schéma de choix ? Si les dix personnes poussaient l'objet dans la même direction aléatoire, l'effet serait préservé. Les chercheurs ont découvert que la synchronisation de ces choix restaurait effectivement le bruit protecteur, mais avec une réserve majeure. La force du bruit restauré dépendait entièrement de la mesure dans laquelle les appareils étaient en accord les uns avec les autres. Si les appareils apprenaient à partir de données très différentes et que leurs mises à jour pointaient dans des directions conflictuelles, le bruit synchronisé devenait inefficace, voire nuisible. La mesure de cet accord est appelée « diversité du gradient », un concept qui compte essentiellement à quel point les efforts individuels des appareils se chevauchent. Lorsque les appareils sont en harmonie, le bruit revient de toute sa force. Lorsqu'ils sont en conflit, le bruit est diminué ou totalement perdu.

Pour comprendre pourquoi cela se passait en pratique, les chercheurs ont mené des expériences approfondies en utilisant un ensemble de données d'images standard appelé CIFAR-10, réparti entre cent clients simulés. Ils ont mesuré précisément quelle quantité de bruit protecteur survivait au processus de moyennage sous différentes conditions. Ils ont constaté que dans la configuration la plus courante, où les appareils apprennent sur de petits lots de données, le taux de survie était incroyablement bas. Sur une force maximale possible de dix, le bruit qui atteignait réellement le modèle final n'était que d'environ 1,19. Cette infime fraction signifiait que le modèle était à peine plus robuste que s'aucun bruit n'avait été ajouté. Les chercheurs ont tracé cet échec jusqu'à l'échantillonnage aléatoire des données qui se produit à chaque étape de l'apprentissage standard. Le bruit introduit par le choix de petits lots d'images a submergé le bruit spécifique et utile généré par la technique de masquage, l'étouffant ainsi.

L'équipe a également examiné si les différences dans les données elles-mêmes — le fait que certains appareils aient plus de chats et d'autres plus de voitures — étaient la coupable. Ils ont fait varier la distribution des données pour la rendre extrêmement inégale, certains appareils possédant cent fois plus de données que d'autres. Étonnamment, cette différence extrême n'a eu que très peu d'effet sur le taux de survie du bruit. Que les données soient presque identiques ou radicalement différentes, le taux de survie restait bloqué entre 1,17 et 1,50. Le véritable obstacle n'était pas la diversité des données, mais la méthode d'apprentissage. Lorsque les chercheurs ont désactivé l'échantillonnage par petits lots et ont laissé chaque appareil apprendre de toute sa collection de données en une seule fois, le taux de survie a bondi de manière spectaculaire à 8,96. Cela a prouvé que le bruit aléatoire des petits lots était la raison principale de l'échec de la technique dans les contextes fédérés.

Cependant, l'étude s'est conclue par un rappel brutal à la réalité. Bien qu'il soit mathématiquement possible de récupérer toute la force du bruit protecteur en utilisant de grands lots de données complètes et des choix synchronisés, le faire revient à un coût terrible pour la performance réelle du modèle. Les configurations qui permettaient au bruit de survivre étaient les mêmes qui produisaient les moins bons résultats d'apprentissage, avec une précision de test chutant considérablement. Dans les expériences, les meilleurs modèles, qui utilisaient de petits lots, n'avaient presque plus de bruit protecteur, tandis que les modèles avec le plus de bruit étaient trop imprécis pour être utiles. Les chercheurs n'ont trouvé aucun terrain d'entente où le bruit pourrait être préservé sans sacrifier la capacité d'apprentissage du modèle.

En fin de compte, l'article révèle que l'échec du masquage de mise à jour dans l'apprentissage fédéré n'est pas un oubli ou un bug, mais une conséquence fondamentale de la manière dont le système fonctionne. Le mécanisme même qui permet à de nombreux appareils d'apprendre ensemble — la moyenne de leurs mises à jour — élimine également le type spécifique de bruit sur lequel repose le masquage de mise à jour. Les chercheurs ont montré que s'il est possible de forcer le bruit à survivre en synchronisant les appareils, les conditions requises pour y parvenir sont incompatibles avec les besoins pratiques de l'entraînement d'un modèle utile. L'effet protecteur qui fonctionne si bien dans un seul ordinateur ne se traduit tout simplement pas dans un réseau de plusieurs appareils, à moins d'accepter un modèle qui apprend très mal. L'étude laisse le domaine avec une compréhension claire des limites de cette technique, suggérant que les solutions futures devront chercher ailleurs des moyens d'aider les modèles fédérés à trouver ces plateaux stables et plats.