Résumé technique : Vers une attribution de crédit sous contraintes de valeurs dans les coopératives d'IA pleinement déléguées

1. Énoncé du problème

Le document traite du défi de l'allocation des récompenses dans les coopératives d'IA pleinement déléguées. Dans ce cadre, plusieurs membres humains sont représentés par des agents autonomes qui mettent en commun leurs données et leur puissance de calcul pour entraîner des services d'IA partagés. La difficulté fondamentale réside dans la satisfaction de deux exigences simultanées et couplées :

1. Contraintes de valeurs : L'apprentissage doit respecter des contraintes de valeurs hétérogènes (par exemple, les interdictions de déploiement militaire, de notation du risque d'assurance ou les exigences de justice démographique) spécifiques à chaque membre.
2. Incitations économiques : Les bénéfices économiques du service résultant doivent être distribués selon la contribution réelle.

Les approches existantes échouent souvent à coupler ces exigences. Une règle de récompense ignorant les contraintes de valeurs peut rémunérer des membres pour des mises à jour qu'ils n'approuveraient pas, tandis que la comptabilité standard des contributions dans l'apprentissage fédéré (Federated Learning - FL) opère généralement sur des mises à jour agrégées, ce qui rend difficile le traçage et le filtrage de directions de mise à jour spécifiques basés sur des profils de valeurs individuels avant que la contribution ne soit mesurée.

2. Méthodologie

Les auteurs proposent un cadre intégrant le Filtrage de Gradient Conditionné par la Valeur, l'Apprentissage de Traversée (Traversal Learning - TL) et les Signaux de Contribution en Ligne.

2.1 Filtrage conditionné par la valeur

À chaque itération $t$, un agent $i$ détenant des données locales $D_i$ et un profil de valeur $v_i$ calcule un gradient local $\nabla L_i(\theta_t)$. Avant que cette mise à jour ne soit propagée, elle passe par un filtre de valeur $F_i$ :
$$\tilde{\nabla} L_i(\theta_t) = F_i(\nabla L_i(\theta_t), v_i)$$
Le gradient filtré $\tilde{\nabla} L_i$ représente la partie admissible de la mise à jour. Ce filtre peut prendre diverses formes, incluant des vérifications constitutionnelles fondées sur des règles, des projections d'ensembles de faisabilité, des modifications de gradient ou des modèles d'admissibilité par boîte noire appris. Si une direction de mise à jour viole les valeurs du mandant, elle est rejetée (mise à zéro), garantissant que seules les mises à jour cohérentes avec les valeurs contribuent au modèle coopératif.

2.2 Substrat d'Apprentissage de Traversée (TL)

Le cadre utilise l'Apprentissage de Traversée (TL) comme substrat d'entraînement. Contrairement à l'apprentissage fédéré standard (ex: FedAvg) qui agrège les mises à jour des clients a posteriori, le TL réalise une rétropropagation décentralisée en préservant des chemins de traversée et de gradient explicites à travers les nœuds distribués.

• Mécanisme : La mise à jour coopérative est définie par $\theta_{t+1} = \theta_t - \eta \sum_{i=1}^n \tilde{\nabla} L_i(\theta_t)$.
• Avantage : En maintenant des chemins de gradient explicites propres à chaque agent plutôt que de simples états clients agrégés, le TL permet un suivi plus transparent du chemin allant de l'exposition des données locales à la mise à jour admissible, puis à l'effet coopératif. Cette clarté structurelle est jugée supérieure pour l'attribution dans les contextes de contraintes de valeurs par rapport au FL centré sur l'agrégation.

2.3 Contribution Marginale et Règlement

Le cadre définit la contribution et l'allocation des récompenses via un processus multi-étapes :

1. Signal de Crédit en Ligne : La contribution $c_i^t$ de l'agent $i$ au temps $t$ est définie comme l'amélioration marginale de la perte de validation coopérative $L_{val}$ induite uniquement par la mise à jour admissible de l'agent :
   $$c_i^t = L_{val}(\theta_t) - L_{val}(\theta_t - \eta \tilde{\nabla} L_i(\theta_t))$$
   Si le filtre rejette la mise à jour ($\tilde{\nabla} L_i = 0$), la contribution est nulle.
2. Règlement Cumulé : Sur un horizon de comptabilité $H$, les contributions sont accumulées avec une pondération optionnelle $\omega_t$ :
   $$C_i(H) = \sum_{t \in H} \omega_t c_i^t$$
3. Allocation des Revenus : Les parts de revenus $r_i(H)$ sont allouées sur la base des contributions cumulées, en utilisant un paramètre de puissance $\alpha \ge 1$ pour accentuer les différences :
   $$r_i(H) = \frac{(C_i(H))^\alpha}{\sum_{j=1}^n (C_j(H))^\alpha}$$
   Le paiement final $p_i(H)$ est la part du revenu total $R(H)$. Les agents sont récompensés uniquement pour les mises à jour qui sont à la fois admissibles et amélioratrices de la validation.

3. Principales Contributions

• Intégration de Cadre : Le document intègre le filtrage de mise à jour conditionné par la valeur, l'attribution basée sur le TL, les signaux de contribution en ligne et le règlement coopératif cumulé dans un mécanisme d'apprentissage distribué unique.
• Pluralisme au Niveau du Gradient : Il introduit un mécanisme où les agents acceptent ou rejettent sélectivement des directions de mise à jour (pluralisme), plutôt que des tâches entières, permettant des contraintes de valeurs hétérogènes au sein d'un modèle partagé.
• Substrat d'Attribution : Les auteurs soutiennent que le TL offre un substrat d'attribution plus fin et plus transparent que le FL de type FedAvg car il préserve des chemins de traversée explicites, permettant de mesurer la contribution seulement après avoir vérifié l'admissibilité de la valeur.
• Opérationnalisation du Pluralisme : Le cadre fait passer le pluralisme de l'alignement d'un objectif théorique à un mécanisme d'allocation de crédit lors du temps d'entraînement.

4. Résultats et Revendications

Le document est principalement une proposition théorique et architecturale ; il ne présente pas de résultats expérimentaux empiriques ou de comparaisons de benchmarks. Il formule les revendications suivantes concernant les propriétés du cadre :

• Faisabilité : Le cadre permet le calcul de signaux de crédit locaux à chaque étape, garantissant que le règlement cumulé reste bien défini même si la convergence globale vers un optimum unique est imparfaite en raison de contraintes de valeurs hétérogènes.
• Confidentialité et Efficacité : Les auteurs suggèrent une variante du cadre (référencée comme "TLplus") qui pourrait placer uniquement une couche de coupure ou un bloc frontal peu profond chez les agents membres, transmettant des activations masquées à un orchestrateur. Cela vise à préserver les avantages d'attribution du TL tout en réduisant les coûts côté client et en limitant la fuite d'informations, en s'appuyant sur le partitionnement de type SplitNN.
• Positionnement : Les auteurs déclarent explicitement qu'ils ne prétendent pas surpasser la valorisation de type Shapley en termes d'équité ou les mécanismes d'incitation FL existants. Leur revendication se limite à l'argument selon lequel le TL fournit un substrat plus transparent pour lier l'admissibilité de la valeur, la comptabilité de la contribution et l'allocation des récompenses.

5. Signification

La signification de ce travail réside dans sa tentative de résoudre le problème "couplé" des contraintes de valeurs et des incitations économiques dans les coopératives d'IA. En rejetant l'idée de réduire les valeurs hétérogènes en un objectif unique, le cadre rend le pluralisme opérationnel au sein de la dynamique d'apprentissage. Il propose un passage d'une agrégation a posteriori (où la contribution est difficile à tracer) à une traversée explicite (où la contribution est traçable et filtrable), offrant une voie potentielle vers des structures d'incitation durables pour des coopératives d'IA diverses et soumises à des contraintes de valeurs.