Résumé Technique : ValueFlow

Énoncé du Problème

Les systèmes multi-agents basés sur des modèles de langage de grande taille (LLM) sont de plus en plus déployés pour effectuer un raisonnement collaboratif, des débats et des simulations sociales. Bien que les agents individuels soient souvent évalués pour leur alignement sur les valeurs de manière isolée, un écart critique existe dans la compréhension de la manière dont les perturbations de valeurs se propagent à travers les interactions entre agents. Les benchmarks existants évaluent principalement un alignement statique et mono-agent sous des invites fixes, échouant à capturer comment de petites déviations de valeurs localisées (par exemple, provenant d'un agent biaisé ou d'une invite compromise) soit se dissipent, soit s'amplifient à travers un réseau. Ce manque de compréhension pose un risque de sécurité : un seul agent compromis peut induire une dérive de valeurs au niveau du système non détectée par les métriques au niveau de la tâche (comme la précision ou l'efficacité). Le défi central réside dans l'absence d'un cadre quantitatif et décomposable pour distinguer les comportements de réponse au niveau de l'agent et les effets structurels au niveau du système dans la propagation des valeurs.

Méthodologie : Le Cadre ValueFlow

Les auteurs introduisent ValueFlow, un cadre d'évaluation basé sur la perturbation conçu pour mesurer et décomposer la dérive des valeurs dans les systèmes multi-agents LLM. Le cadre fonctionne en trois étapes principales :

1. Jeu de Données de Quantification des Valeurs

ValueFlow utilise un jeu de données dérivé de l'Enquête sur les Valeurs de Schwartz (SVS), englobant 56 dimensions de valeurs humaines. Pour chaque dimension de valeur, les auteurs ont construit un ensemble de 10 questions orientées vers le comportement (réponses par Oui/Non, formulées positivement et négativement).

• Notation : Un protocole « LLM-comme-juge » note les réponses des agents sur une échelle de 0 à 10, où des scores plus élevés indiquent une adhésion plus forte à la valeur cible.
• Validation : Le jeu de données et le mécanisme de notation ont été validés par une annotation humaine et des vérifications de robustesse inter-juges, garantissant une grande fiabilité et un alignement avec le jugement humain.

2. Sondage Basé sur la Perturbation

Pour mesurer la dérive, le cadre introduit des perturbations de valeurs contrôlées dans le contexte d'entrée d'agents spécifiques sans modifier les paramètres du modèle.

• Optimisation : En utilisant l'algorithme COPRO (de DSPy), les auteurs optimisent des modèles d'invite ($p^*_k$) qui induisent une adhésion extrême (score 10) ou un rejet (score 0) d'une dimension de valeur spécifique.
• Injection : Ces invites optimisées sont utilisées pour générer des réponses auxiliaires qui sont ajoutées au contexte de l'agent cible, simulant une influence biaisée de pairs.

3. Métriques de Décomposition à Deux Niveaux

ValueFlow décompose la propagation des valeurs en deux métriques distinctes pour séparer le comportement de l'agent de la structure du réseau :

• Susceptibilité au Niveau de l'Agent ($\beta$) :

  • Définition : Mesure la sensibilité intrinsèque d'un agent individuel aux signaux de valeurs de ses pairs.
  • Calcul : En faisant varier l'orientation moyenne des valeurs des entrées des pairs précédents ($\bar{x}_i$) et en observant la sortie de l'agent ($y_i$), une relation linéaire $y_i = \beta \bar{x}_i + c + \epsilon_i$ est ajustée. La pente $\beta$ représente la réactivité de l'agent. Un $\beta$ plus élevé indique que l'agent modifie ses valeurs exprimées plus significativement en réponse aux signaux des pairs.
  • Isolement : Cette métrique est mesurée dans des environnements contrôlés où la structure du réseau est fixe, isolant les traits comportementaux de l'agent.

• Susceptibilité du Système ($SS$) :

  • Définition : Mesure la propagation de la dérive des valeurs à travers l'ensemble du système multi-agent.
  • Calcul : $SS = \frac{1}{|O|} \sum_{v \in O} \frac{|y^{pert}_v - y^{base}_v|}{\Delta_{pert}}$, où $O$ est l'ensemble des nœuds de sortie, $y^{pert}$ et $y^{base}$ sont les scores perturbés et de référence, et $\Delta_{pert}$ est l'amplitude de la perturbation injectée.
  • Fonction : $SS$ quantifie l'impact moyen d'une perturbation unitaire localisée sur les sorties finales du système, normalisé pour permettre la comparaison entre différentes topologies et emplacements de perturbation.

Contributions Clés

1. Cadre d'Évaluation Basé sur la Perturbation : La proposition de ValueFlow, un cadre général pour quantifier et analyser la propagation des valeurs dans les systèmes multi-agents, dépassant les évaluations statiques mono-agent.
2. Jeu de Données de Quantification des Valeurs : La construction d'un jeu de données d'évaluation de 56 valeurs simulant des environnements interactifs, permettant la mesure des orientations de valeurs au niveau de l'agent pendant l'interaction.
3. Résultats Empiriques sur la Dynamique de Dérive : À travers des expériences contrôlées sur des modèles, des invites, des valeurs et des topologies de réseau, les auteurs révèlent des schémas systématiques dans la dérive des valeurs, démontrant que la propagation est hautement non uniforme.

Résultats Clés

1. Non-Uniformité de la Susceptibilité aux Valeurs

La propagation des valeurs n'est pas uniforme pour toutes les valeurs.

• Dimensions de Valeurs : Les valeurs normatives et largement partagées (par exemple, Pouvoir Social, Vraie Amitié, Auto-discipline) présentent un faible $\beta$ (faible susceptibilité). En revanche, les valeurs dépendantes du contexte ou socialement contingentes (par exemple, Préservation de l'Image Publique, Influence, Détachement) montrent un $\beta$ significativement plus élevé.
• Clusters d'Ordre Supérieur : En agrégeant selon les dimensions d'ordre supérieur de Schwartz, le cluster Transcendance de Soi (valeurs prosociales/universalistes) présente le $\beta$ moyen le plus faible ($\approx 0,45$), indiquant une résistance structurelle à la dérive. D'autres clusters (Auto-amélioration, Conservation, Ouverture au Changement) montrent une susceptibilité plus élevée ($\approx 0,60–0,62$).

2. Influence des Facteurs Expérimentaux

• Persona d'Ouverture : Inviter les agents avec une « haute ouverture » augmente généralement $\beta$, mais l'ampleur de cette augmentation varie considérablement selon les valeurs. Certaines valeurs restent stables quelle que soit la persona, tandis que d'autres montrent des contrastes marqués.
• Modèles Squelettes : Différents modèles LLM squelettes présentent des différences systématiques dans la susceptibilité moyenne. Gemma3-27B et Qwen3-8B montrent un $\beta$ moyen plus élevé, tandis que GPT-4o et LLama-3.3-70B montrent une susceptibilité plus faible.
• Variance d'Entrée : Une forte variance dans les contextes d'entrée (réponses de pairs diversifiées) augmente systématiquement la susceptibilité au niveau de l'agent par rapport aux environnements à faible variance, même lorsque le signal d'entrée moyen est maintenu constant.

3. Dynamiques de Propagation au Niveau du Système

• $\beta$ Prédit $SS$ : Sous des topologies fixes, la susceptibilité au niveau de l'agent ($\beta$) prédit fortement la propagation au niveau du système. Les valeurs à haut $\beta$ présentent des déviations persistantes à travers les couches d'interaction avec une décroissance lente, tandis que les valeurs à faible $\beta$ s'atténuent rapidement et convergent vers la référence.
• Effets Topologiques : La structure du réseau façonne significativement la propagation :
  • Accessibilité : Les perturbations affectant une plus grande fraction du système (accessibilité plus élevée) entraînent une $SS$ plus élevée.
  • Centralité : Les perturbations aux nœuds structurellement centraux produisent des effets au niveau du système plus forts que celles aux nœuds feuilles.
  • Degré Entrant : Un degré entrant élevé au nœud perturbé atténue la propagation en diluant le signal injecté par l'agrégation provenant de pairs non perturbés.
• Validation Réelle : Dans un pipeline d'écriture réaliste à trois rôles (Planificateur $\to$ Rédacteur $\to$ Réviseur), des instructions chargées de valeurs injectées uniquement au niveau du Planificateur se sont propagées à travers des agents en aval non conscients des valeurs avec une atténuation négligeable, confirmant que les résultats abstraits tiennent dans des environnements ancrés dans des tâches.

Signification et Revendications

L'article revendique que l'alignement sur les valeurs dans les systèmes multi-agents est une propriété au niveau du système, et non simplement une agrégation des alignements individuels des agents. Les résultats suggèrent que :

1. La Conception au Niveau du Système est Cruciale : Assurer l'alignement nécessite de considérer l'interaction entre le comportement de l'agent (susceptibilité) et la conception structurelle (topologie). Se fier uniquement à l'évaluation de modèles individuels est insuffisant.
2. Stratégies d'Atténuation : Le cadre fournit une base principielle pour l'audit et l'atténuation de la propagation des valeurs via trois leviers :
   • Défenses Spécifiques aux Valeurs : Surveiller de plus près les valeurs à haut $\beta$, car elles sont plus sujettes à la dérive.
   • Conscience de la Topologie : Éviter une centralisation excessive et exploiter l'agrégation à haut degré entrant pour se prémunir contre la manipulation localisée.
   • Sélection de Modèles Squelettes Sensibles à la Susceptibilité : Placer des modèles à faible susceptibilité aux positions en aval ou adjacentes à la sortie pour réduire la dérive au niveau du système.

Les auteurs positionnent ValueFlow comme un outil de diagnostic pour identifier les facteurs de risque structurels et au niveau de l'agent, offrant des conseils pratiques pour concevoir des architectures multi-agents plus sûres et plus robustes dans des domaines à haut risque. Ils notent explicitement que le cadre mesure les orientations de valeurs exprimées (niveau comportemental) plutôt que les représentations latentes, servant d'approche complémentaire aux analyses d'états internes.