From Privacy to Trust in the Agentic Era: A Taxonomy of Challenges in Trustworthy Federated Learning Through the Lens of Trust Report 2.0

Cet article propose une taxonomie des défis et un plan de coordination pour le Federated Learning digne de confiance dans l'ère de l'IA autonome, en introduisant le « Trust Report 2.0 » comme artefact léger pour garantir la confiance via des preuves centrées sur les décisions plutôt que par la simple confidentialité des données.

L'essentiel

🌍 Le Contexte : Une Cuisine Collaborative

Imaginez que vous voulez créer le meilleur plat du monde (un modèle d'intelligence artificielle), mais que vous ne pouvez pas mélanger tous les ingrédients dans un seul grand bol. Pourquoi ? Parce que chaque chef (les hôpitaux, les banques, les usines) garde ses ingrédients secrets dans sa propre cuisine pour des raisons de confidentialité.

C'est là qu'intervient l'Apprentissage Fédéré (Federated Learning). Au lieu d'envoyer les ingrédients au centre, chaque chef cuisine un peu chez lui, envoie seulement la "recette améliorée" (les mises à jour du modèle) au chef central, qui mélange les recettes pour créer un plat global. C'est génial pour la confidentialité : personne ne voit les ingrédients des autres.

⚠️ Le Problème : La Confiance ne suffit plus

Jusqu'à présent, on pensait que si on protégeait les ingrédients (la vie privée), tout le monde faisait confiance au plat. Mais ce papier dit : "Ce n'est plus assez !"

Aujourd'hui, les systèmes d'IA deviennent agents (comme des robots chefs très intelligents). Ils ne se contentent plus de suivre une recette fixe. Ils peuvent :

• Choisir eux-mêmes quels chefs inviter.
• Décider quand arrêter de cuisiner.
• Changer les objectifs du plat en cours de route.
• Utiliser des outils externes (comme des LLM, des grands modèles de langage).

Le danger ? Si le robot chef décide de changer la recette pour aller plus vite, il pourrait oublier de vérifier si le plat est sain, ou s'il est juste pour tout le monde. La simple protection des ingrédients ne garantit pas que le robot ne va pas faire une bêtise.

🔍 L'Analogie du "Journal de Bord de Confiance" (Trust Report 2.0)

Pour résoudre ce problème, les auteurs proposent de passer de la confiance aveugle à la confiance vérifiée.

Imaginez que chaque fois qu'un robot chef prend une décision importante (comme "On change la recette" ou "On exclut tel chef"), il doit remplir un Journal de Bord (le Trust Report 2.0).

Ce journal ne dit pas ce qu'il y a dans les bols (les données secrètes), mais il explique :

1. Qui a pris la décision ? (Le chef humain ou le robot ?)
2. Pourquoi ? (Parce que le plat sentait mauvais, ou parce que le robot voulait aller plus vite ?)
3. Quelles sont les conséquences ? (Est-ce que ça rend le plat moins bon pour les végétariens ?)

C'est comme un journal de bord de capitaine sur un bateau : on ne voit pas tout le chargement de marchandises, mais on sait exactement qui a pris la barre, pourquoi il a viré de bord, et si cela respecte les règles de sécurité.

🏥 Le Test de Stress : L'Oncologie (Le Cancer)

Pour prouver que leur idée fonctionne, les auteurs utilisent un cas extrême : la lutte contre le cancer.

• Le risque : Une erreur de diagnostic peut coûter une vie.
• La complexité : Les données sont très sensibles, les hôpitaux sont différents, et les protocoles changent tout le temps.

Dans ce contexte, un simple "c'est sécurisé" ne suffit pas. Il faut pouvoir retracer chaque décision du robot. Si le modèle change son diagnostic, le Journal de Bord doit montrer : "Le robot a vu un changement dans les données, il a demandé l'avis d'un humain, et l'humain a validé." Sans ce papier, on ne peut pas faire confiance au robot.

🛠️ La Solution : Une Nouvelle Carte pour Naviguer

Les auteurs proposent deux outils principaux pour transformer cette idée en réalité :

1. Une Taxonomie (Une liste de contrôle) : C'est comme une carte qui liste tous les pièges possibles. Elle classe les problèmes en 7 catégories (comme la sécurité, la justice, la transparence) et explique où sont les failles quand les robots agissent seuls.
2. Le Plan de Coordination : C'est un guide pour les humains et les robots. Il dit : "Quand le robot veut changer la recette, il doit d'abord remplir ce formulaire. Si le formulaire est bon, l'humain valide. Sinon, on arrête."

💡 En Résumé : De la "Cage" à la "Boussole"

• Avant : On pensait que la confidentialité (garder les données dans une cage) suffisait à créer la confiance.
• Maintenant : Dans un monde où les IA sont autonomes, la confiance vient de la gouvernance (savoir qui fait quoi, pourquoi, et pouvoir le vérifier).

Ce papier nous dit : "Ne faites pas confiance à la boîte noire. Faites confiance au processus."
La confiance n'est plus un état statique (comme un diplôme obtenu une fois), c'est une condition opérationnelle qui doit être entretenue chaque jour, vérifiée à chaque décision, et prouvée par des documents clairs (le Trust Report), sans jamais révéler les secrets des participants.

C'est passer de "Je te fais confiance parce que tu es privé" à "Je te fais confiance parce que je peux voir et comprendre tes décisions, même si je ne vois pas tes données."

Résumé technique

1. Problématique : Au-delà de la confidentialité dans l'ère de l'IA Agentic

L'article identifie une lacune critique dans les systèmes d'apprentissage fédéré (FL) actuels. Bien que le FL ait été conçu pour préserver la confidentialité des données en évitant leur centralisation, les déploiements récents dans des domaines à haut risque (santé, finance) montrent que la confidentialité seule est insuffisante pour garantir la confiance.

Le problème s'aggrave avec l'émergence de l'IA Agentic (systèmes autonomes capables de planifier, d'agir et de coordonner) et des Grands Modèles de Langage (LLM) intégrés au FL. Dans ce contexte :

• La confiance ne peut plus être une propriété statique du modèle entraîné.
• Les environnements sont dynamiques (non stationnaires), avec des dérives de concepts et des changements de populations de clients.
• Les décisions ne sont plus uniquement liées à l'optimisation des paramètres (plan d'apprentissage), mais incluent des décisions de contrôle (sélection de clients, mise à jour des objectifs, déclenchement de déploiements) prises par des agents autonomes (plan de contrôle).

L'article pose la question centrale : Comment garantir la fiabilité (trustworthiness) d'un système FL dans un environnement agentic et dynamique, où les décisions autonomes peuvent compromettre la sécurité, l'équité et la responsabilité, même si les garanties de confidentialité sont respectées ?

2. Méthodologie et Cadre Conceptuel

Les auteurs adoptent une approche systémique et gouvernée par les exigences, s'appuyant sur les 7 principes de l'IA digne de confiance (TAI) définis par la Commission Européenne. Leur méthodologie se décompose en trois axes principaux :

A. Une Taxonomie des Défis Orientée par les Exigences

Les auteurs classent les défis du FL digne de confiance selon les 7 exigences TAI :

1. Action humaine et surveillance : Défis liés à l'intégration de l'humain dans la boucle (HITL) dans un environnement distribué et la gestion des limites d'autonomie (niveaux A0 à A3).
2. Robustesse technique et sécurité : Au-delà des attaques classiques (empoisonnement), gestion des échecs émergents liés à la coordination d'agents et à la détection hors distribution (OOD).
3. Confidentialité et gouvernance des données : Gestion des fuites au niveau sémantique (via les LLM) et de l'orchestration, ainsi que l'effacement de modèles (unlearning).
4. Transparence : Explicabilité (XAI) et traçabilité des données (provenance) sans centralisation.
5. Diversité et équité : Gestion des biais dans des données hétérogènes (Non-IID) et détection des groupes minoritaires.
6. Bien-être sociétal et environnemental : Coûts énergétiques et empreinte carbone des réentraînements continus.
7. Responsabilité : Attribution des responsabilités légales et auditabilité des décisions de contrôle (pas seulement des mises à jour de modèles).

B. Séparation des Plans : Apprentissage vs Contrôle

Une contribution conceptuelle majeure est la distinction explicite entre :

• Le Plan d'Apprentissage (Learning Plane) : Gestion de l'entraînement local, de l'agrégation et des paramètres du modèle.
• Le Plan de Contrôle (Control Plane) : Gestion des décisions de cycle de vie (qui participe, quels objectifs, quand déployer, quand arrêter).
  Dans l'ère agentic, la fiabilité dépend de la gouvernance du Plan de Contrôle, car des décisions autonomes erronées peuvent annuler les garanties du Plan d'Apprentissage.

C. Le Blueprint de Coordination et le Trust Report 2.0

Pour opérationnaliser la confiance, les auteurs proposent :

• Un Blueprint de Coordination : Un cadre qui structure les compromis (trade-offs) entre les exigences TAI (ex: Équité vs Efficacité, Confidentialité vs Robustesse) via des mécanismes de contrôle natifs au FL.
• Le Trust Report 2.0 : Un artefact technique léger et préservant la vie privée. Il ne centralise pas les données brutes mais expose des preuves centrées sur les décisions (signaux d'audit, journaux de décisions, budgets de confidentialité, indicateurs de dérive). Il sert de preuve vérifiable pour les régulateurs et les parties prenantes.

3. Contributions Clés

1. Taxonomie des défis du FL digne de confiance (TFL) : Une classification complète des obstacles, allant des problèmes classiques (hétérogénéité des données) aux nouveaux risques de l'IA agentic (manipulation des métriques par des agents, fuites sémantiques).
2. Re-cadrage de la confiance : Passage d'une vision statique (confiance basée sur la confidentialité du modèle) à une vision dynamique (confiance comme condition opérationnelle continue, dépendante du cycle de vie et de la gouvernance des décisions autonomes).
3. Blueprint de Coordination : Un modèle conceptuel qui sépare les décisions techniques des décisions de gouvernance, définissant qui décide de quoi, sous quelles contraintes d'autonomie (A0-A3), et quelles preuves sont requises.
4. Trust Report 2.0 : La proposition d'un standard d'artefact d'assurance. Ce rapport contient des métadonnées cryptées ou chiffrées (ex: statistiques de cohorte, utilisation du budget de confidentialité $\epsilon$, journaux d'approbation) permettant une auditabilité sans compromettre la confidentialité.
5. Validation par Cas d'Usage (Santé/Oncologie) : Utilisation de l'oncologie comme domaine de "stress-test" pour démontrer comment le Blueprint et le Trust Report 2.0 gèrent des contraintes réglementaires strictes (GDPR, AI Act), des risques cliniques élevés et des données hétérogènes.

4. Résultats et Observations Principales

• Insuffisance des garanties statiques : Les mécanismes de confidentialité (comme la Différentielle Privée) ne suffisent pas à garantir la sécurité si le plan de contrôle (sélection de clients, choix des métriques) est manipulé par des agents autonomes ou des acteurs malveillants.
• Nouveaux vecteurs de menace : L'intégration de LLM et d'agents introduit des risques spécifiques : fuites d'informations via le langage naturel (résumé sémantique), manipulation des évaluations (gaming des métriques), et instabilité due aux boucles de rétroaction dans des environnements non stationnaires.
• Nécessité de l'auditabilité des décisions : La responsabilité ne peut plus être attribuée uniquement aux mises à jour de poids du modèle. Il faut tracer la provenance des décisions de contrôle (ex: pourquoi un client a été exclu, pourquoi un modèle a été déployé).
• Gestion des compromis (Trade-offs) : Le papier démontre que la confiance nécessite une négociation explicite entre les exigences (ex: augmenter la robustesse peut réduire l'efficacité). Le Blueprint permet de documenter ces choix via le Trust Report.
• Applicabilité en Santé : Dans le domaine de l'oncologie, le Trust Report 2.0 permet de fournir aux cliniciens et régulateurs les preuves nécessaires (indicateurs de dérive, validations de sécurité) pour maintenir la confiance sans accéder aux données sensibles des patients.

5. Signification et Impact

Cet article marque un tournant paradigmatique dans la recherche sur le FL :

• Du Privé au Digne de Confiance : Il déplace le centre de gravité de la simple protection des données vers une approche holistique de la fiabilité du système, intégrant l'éthique, la légalité et la technique.
• Préparation à l'ère Agentic : Il fournit le cadre théorique et pratique nécessaire pour déployer des systèmes FL où l'IA agit de manière autonome, en assurant que cette autonomie reste contrôlée, traçable et alignée avec les valeurs humaines.
• Opérationnalisation de la Régulation : En proposant des artefacts concrets (Trust Report), l'article rend les principes abstraits de l'IA digne de confiance (comme ceux de l'AI Act européen) applicables dans des systèmes distribués complexes.
• Gouvernance par la Preuve : Il établit que la confiance ne se "déclare" pas, mais se "prouve" continuellement à travers des artefacts vérifiables tout au long du cycle de vie du système.

En conclusion, les auteurs soutiennent que l'avenir du FL réside non pas dans des garanties techniques ponctuelles toujours plus fortes, mais dans une coordination disciplinée sous des limites explicites, où la confiance est une condition opérationnelle maintenue par la gouvernance des décisions et la transparence des preuves.