Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models

Each language version is independently generated for its own context, not a direct translation.

🌍 Le Problème : L'Énigme des Cuisines Fermées

Imaginez que vous voulez créer le meilleur chef du monde capable de cuisiner n'importe quel plat (un modèle d'intelligence artificielle appelé "Vision-Language Model" ou VLM).

Le problème ? Les ingrédients les plus précieux (les données médicales, les documents financiers, les photos privées) sont enfermés dans des cuisines différentes (les hôpitaux, les banques, les entreprises).

La règle d'or : Personne ne peut sortir les ingrédients de sa cuisine pour les mélanger dans un grand chaudron central. C'est illégal et dangereux pour la vie privée.
L'ancienne solution (Federated Learning classique) : On envoyait les recettes écrites (les paramètres du modèle) d'une cuisine à l'autre pour les copier.
- Le souci : C'est lourd à transporter (beaucoup de données), et si un espion vole une recette, il peut parfois reconstituer les ingrédients secrets originaux. De plus, chaque cuisine a des équipements différents (un four à gaz ici, un four à micro-ondes là-bas), ce qui rend la fusion des recettes difficile.

💡 La Solution : MoR (Le "Mélangeur de Préférences")

Les auteurs proposent une idée révolutionnaire : Au lieu d'envoyer les recettes (les paramètres), envoyons simplement les avis des clients (les préférences).

Imaginez que chaque chef local ne partage pas son livre de cuisine, mais simplement un petit carnet où il note : "Pour ce plat, j'ai préféré la version A à la version B".

Voici comment leur système, appelé MoR, fonctionne, étape par étape :

1. Les Experts Locaux (Les Cuisiniers)

Chaque client (hôpital, banque, etc.) entraîne son propre petit "juge" local.

Ce juge apprend ce que son client local aime. Par exemple, le juge de l'hôpital est très strict sur la précision médicale, tandis que le juge de la banque est très pointilleux sur la lisibilité des chiffres.
Le génie : Ces juges restent chez eux. Aucune donnée sensible ne quitte le bâtiment.

2. Le Chef d'Orchestre (Le Routeur)

C'est ici que la magie opère. Au lieu d'essayer de fusionner tous les juges en un seul "super-juge" (ce qui crée des conflits), ils créent un Chef d'Orchestre (le Router).

Ce Chef d'Orchestre est léger et intelligent. Il apprend à écouter les différents juges.
L'analogie : Imaginez un restaurant où vous commandez un plat.
- Si vous commandez un plat médical, le Chef d'Orchestre dit : "Écoutez le juge de l'hôpital !"
- Si vous commandez un document avec beaucoup de texte, il dit : "Écoutez le juge de la banque !"
- Il ne mélange pas tout au hasard ; il choisit le bon expert pour la bonne question.

3. La Récompense Mixte (Le Mixture-of-Rewards)

Quand le grand modèle (le chef principal) essaie de répondre à une question, il envoie la question au Chef d'Orchestre.

Le Chef d'Orchestre consulte le bon juge local.
Il renvoie un signal de "récompense" (un petit "bravo" ou "non, c'est raté") au chef principal.
Le chef principal s'améliore en suivant ces conseils ciblés, sans jamais avoir vu les données brutes des autres cuisines.

🚀 Pourquoi c'est génial ?

Respect de la vie privée : On ne partage que des "notes de goût" (préférences), pas les ingrédients bruts. C'est comme comparer des critiques de films sans montrer les films eux-mêmes.
Adaptabilité : Si un client a un petit ordinateur (un four à micro-ondes) et un autre un super-ordinateur (un four industriel), cela ne pose pas problème. Chacun entraîne son propre juge à sa manière. Le Chef d'Orchestre sait juste qui appeler.
Efficacité : Au lieu de transporter des tonnes de recettes lourdes, on transporte de petits signaux d'avis. C'est beaucoup plus rapide et moins cher.

🏆 Le Résultat

Les auteurs ont testé ce système sur trois types de tâches (décrire des détails, comprendre des images médicales, lire du texte sur des images).

Résultat : Le système MoR a battu toutes les anciennes méthodes. Il est plus robuste, plus précis et s'adapte mieux à la diversité des clients.
En résumé : Ils ont prouvé que pour faire collaborer des intelligences artificielles dans un monde où la confidentialité est cruciale, il vaut mieux aligner les préférences (ce qu'on aime) plutôt que de fusionner les paramètres (comment on pense).

C'est comme passer d'une réunion où tout le monde doit se copier mutuellement ses notes (lourd et risqué) à une réunion où chacun donne juste son avis sur la meilleure solution, dirigé par un modérateur intelligent.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

Les modèles Vision-Langage (VLM) offrent un potentiel immense dans des domaines sensibles à la vie privée comme la santé et la finance. Cependant, les réglementations strictes interdisent souvent le partage de données brutes, rendant l'entraînement centralisé impossible. L'apprentissage fédéré (FL) est une solution prometteuse, mais les approches actuelles reposent sur le partage de paramètres (modèles), ce qui pose plusieurs défis majeurs dans des environnements hétérogènes :

Vulnérabilité à la vie privée : Les paramètres échangés peuvent être exploités via des attaques d'inversion de gradient pour reconstruire les données des clients.
Surcharge de communication : L'échange fréquent de modèles complets est coûteux.
Hétérogénéité des clients : Les clients diffèrent par leurs ressources computationnelles, leurs architectures de modèles et leurs objectifs d'application. L'agrégation de paramètres (comme dans FedAvg) devient fragile et inefficace lorsque les modèles locaux ont des structures différentes ou des distributions de préférences divergentes (ex: un client privilégie les détails visuels, un autre la précision médicale).

L'article propose un changement de paradigme : passer du partage de paramètres au partage de préférences (signaux de récompense).

2. Méthodologie : Le cadre MoR (Mixture-of-Rewards)

Les auteurs proposent MoR, un cadre d'alignement fédéré basé sur le Group Relative Policy Optimization (GRPO) et une architecture de type Mixture-of-Rewards (MoR). L'approche se déroule en trois étapes principales :

A. Entraînement Décentralisé des Modèles de Récompense

Au lieu d'entraîner un modèle de politique unique, chaque client $k$ entraîne localement un modèle de récompense ( $R_k$ ) sur ses propres données de préférence (paires de réponses préférées/rejetées).

Les modèles $R_k$ peuvent avoir des architectures différentes (hétérogénéité structurelle).
Aucune donnée brute ni préférence explicite ne quitte le client.
Les modèles $R_k$ sont ensuite uploadés vers le serveur central.

B. Apprentissage Fédéré du Routeur (Routing Network)

Pour gérer l'hétérogénéité des récompenses, un réseau de routage léger ( $g_\phi$ ) est entraîné de manière fédérée.

Fonctionnement : Le routeur prend en entrée une paire (image, réponse) et apprend à attribuer des poids ( $\alpha_k$ ) aux différents modèles de récompense $R_k$ .
Mécanisme : Il agit comme un "expert mixte" (MoE), sélectionnant dynamiquement le modèle de récompense le plus pertinent pour une tâche donnée.
Efficacité : Seuls les paramètres du routeur (beaucoup plus légers que les modèles de récompense complets) sont échangés entre le serveur et les clients, réduisant considérablement la bande passante.

C. Alignement de la Politique avec Mise à Jour en Ligne

Le serveur utilise les signaux de récompense mixtes pour optimiser le modèle VLM de base via GRPO.

Défi de la distribution : Pendant l'entraînement GRPO, la distribution des réponses générées par le modèle de politique évolue, ce qui peut créer un décalage avec le routeur entraîné sur des données statiques.
Solution (Neural Thompson Sampling) : Le routeur est mis à jour en ligne pendant l'entraînement GRPO. Le problème est formulé comme un "bandit contextuel" où le routeur explore et exploite les modèles de récompense en fonction de l'amélioration de l'objectif global de la politique. Cela permet d'adapter le routage aux changements de distribution des réponses.

3. Contributions Clés

Changement de paradigme : L'article défend l'idée que le partage de préférences (récompenses) plutôt que de paramètres est plus évolutif et respectueux de la vie privée pour les VLM fédérés.
Architecture MoR : Proposition d'un cadre intégrant des modèles de récompense hétérogènes via un mécanisme de routage adaptatif, capable de résoudre les conflits de préférences entre clients.
Mise à jour en ligne du routeur : Introduction d'une méthode de mise à jour dynamique du routeur (basée sur Neural Thompson Sampling) pour s'adapter aux décalages de distribution induits par l'apprentissage par renforcement, assurant ainsi une robustesse accrue.
Efficacité computationnelle : La méthode évite l'entraînement de politiques multiples par client et l'agrégation lourde de paramètres, maintenant une complexité constante par rapport au nombre de clients.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois benchmarks de VQA (Visual Question Answering) couvrant des domaines variés : Médical, OCR (raisonnement visuel textuel) et Description Détaillée. Les modèles de base utilisés incluent des architectures Qwen et LLaVA.

Performance Supérieure : MoR surpasse systématiquement les méthodes de base (FedAvg, sélection aléatoire, moyenne simple des récompenses, et méthodes d'alignement fédéré existantes) en termes de :
- Score moyen global et Win Rate (taux de victoire contre les réponses rejetées).
- Fiabilité Visuelle (Visual Faithfulness) : Réduction significative des hallucinations.
- Robustesse : MoR maintient des performances élevées même en présence de modèles de récompense locaux faibles (ex: un modèle 0.5B dans un ensemble hétérogène), là où les méthodes d'agrégation simple échouent (effet "seau").
Gestion de l'Hétérogénéité : Dans les scénarios hétérogènes (architectures différentes), MoR parvient à synthétiser un modèle composite plus fort que n'importe quel expert individuel, en dirigeant dynamiquement les échantillons vers le modèle de récompense le plus compétent pour le domaine spécifique.
Efficacité : L'analyse montre que MoR maintient une complexité de calcul $O(1)$ par rapport au nombre de clients, contrairement aux approches paramétriques qui sont linéaires.

5. Signification et Impact

Ce travail offre une solution viable pour le déploiement de VLM puissants dans des secteurs à haute sensibilité (santé, finance) où la souveraineté des données est cruciale.

Démocratisation de l'IA : Permet à des institutions avec des ressources computationnelles limitées (modèles plus petits) de contribuer à l'entraînement de modèles fondamentaux sans partager leurs données.
Scalabilité : Le passage du partage de paramètres au partage de préférences résout les goulots d'étranglement de communication et de confidentialité inhérents aux approches FL traditionnelles pour les modèles multimodaux.
Avenir de l'Alignement Fédéré : Pose les bases pour des environnements fédérés dynamiques où les préférences des clients peuvent varier considérablement, en utilisant le routage intelligent comme mécanisme central d'intégration.

En résumé, MoR démontre qu'il est possible d'aligner efficacement des modèles vision-langage hétérogènes dans un cadre fédéré en remplaçant l'échange de poids par une composition intelligente de signaux de préférences, garantissant à la fois la performance, la confidentialité et l'efficacité.