LLM-Mediated Demand Response Coordination in Smart Microgrids

Résumé Technique : Coordination de la Réponse à la Demande Médiée par les LLM dans les Micro-réseaux Intelligents

Énoncé du Problème
Le document traite du défi de la coordination de la réponse à la demande volontaire dans les micro-réseaux intelligents, où des « prosommateurs » (des agents qui produisent et consomment de l'énergie) doivent décider s'ils réduisent leur consommation lors des pics de charge. Ce scénario est modélisé comme un Dilemme du Prisonnier répété sur un réseau social : le bien-être collectif est maximisé par une coopération universelle, mais les incitations individuelles favorisent la défection (le parasitisme). Bien que les modèles de langage de grande taille (LLM) offrent un potentiel pour générer des directives de coordination interprétables et adaptatives, une faille méthodologique critique existe : les LLM alignés via l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) présentent un fort biais prosocial. Lorsqu'ils sont utilisés comme décideurs directs, ils produisent une coopération quasi universelle, quels que soient les conditions du réseau ou les structures d'incitation, ce qui provoque l'effondrement de la dynamique expérimentale et occulte les effets des différentes stratégies de coordination.

Méthodologie
Pour résoudre le biais du RLHF tout en exploitant les capacités des LLM, les auteurs proposent une architecture de décision hybride au sein d'une simulation multi-agents d'un micro-réseau intelligent ($N=30$ agents sur un réseau sans échelle).

1. Architecture de Décision Hybride : Le modèle sépare le raisonnement stratégique de l'évaluation narrative.

   • Étape 1 (Base Théorique des Jeux) : La probabilité de coopération de base d'un agent ($p_{base}$) est calculée selon les principes de la théorie des jeux évolutionnistes. Elle agrège l'historique des gains, la mémoire de l'exploitation (tours passés où l'agent a coopéré tandis que ses voisins défaisaient), l'imitation des voisins (conformisme) et un terme de décroissance de la tentation temporelle. Cela garantit un taux de coopération de base proche de 50 %, créant une véritable tension stratégique.
   • Étape 2 (Évaluation Narrative par LLM) : Au lieu de demander au LLM de prendre une décision binaire, le système incite le LLM à agir comme un « Compilateur d'Influence » qui évalue les directives entrantes. Le LLM produit un décalage scalaire ($\delta_{LLM} \in [-0,30, +0,30]$) représentant l'évolution de la volonté de l'agent de réduire sa consommation en fonction de la narration de la directive, de la personnalité de l'agent et de son historique.
   • Étape 3 (Atténuation de la Résistance) : La probabilité de coopération finale est une somme plafonnée de la probabilité de base et du décalage du LLM, atténuée par un facteur de résistance spécifique à l'agent ($r$). Cela empêche le LLM de supplanter entièrement la base stratégique.

2. Archétypes d'Agents : La simulation inclut six archétypes de prosommateurs hétérogènes (Pragmatique, Idéaliste, Sceptique, Conformiste, Stratège, Opportuniste), chacun possédant des biais de base et des niveaux de résistance distincts.

3. Compilateur d'Influence : Un compilateur central observe un instantané bruité de l'état du réseau et émet des directives structurées (cible, intensité, moment, thème) à 20 % des agents toutes les cinq étapes temporelles. Le compilateur utilise un pipeline « Solver–Critic » pour générer des politiques structurées, contrastant avec une ligne de base non structurée utilisant une génération narrative libre.

4. Stratégies de Ciblage : L'étude évalue la dissémination via des hubs à haute centralité, des ponts, des nœuds périphériques et une sélection aléatoire.

Contributions Clés

• Innovation Méthodologique : Le document introduit une architecture hybride qui sépare le raisonnement issu de la théorie des jeux de l'évaluation narrative par LLM. Cela évite l'« effondrement de la coopération » causé par le biais du RLHF, permettant de mesurer les effets de traitement réels dans les expériences de coordination.
• Influence Structurée vs Non Structurée : Il démontre que la compilation de politiques structurées surpasse significativement la génération de récits non contraints pour stimuler la réduction de la demande.
• Effets de la Topologie de Réseau : L'étude confirme que le ciblage des nœuds à haute centralité (hubs et ponts) fournit une amplification mécaniste des signaux de coordination, indépendamment du contenu du message.
• Analyse de Robustesse : Le cadre est testé à travers différents niveaux de résistance des agents et entre des substrats d'agents « ancrés » (hybrides) et « idéalisés » (logistiques).

Résultats Expérimentaux

• Taux de Coopération : Les directives structurées compilées ont atteint un taux de coopération final de 33,3 %, contre 27,0 % pour la messagerie non structurée et 28,0 % pour une ligne de base sans intervention. Cela produit un avantage de compilation ($\Delta_{comp}$) de +0,063. Notablement, la messagerie non structurée a légèrement moins bien performé que la ligne de base sans intervention, suggérant un « effet de retour de flamme » (backfire effect).
• Robustesse du Substrat : L'avantage de la compilation structurée a persisté dans les modèles d'agents ancrés (hybrides) et idéalisés. Bien que les agents idéalisés aient atteint une coopération absolue plus élevée (0,850 contre 0,333), l'ordre relatif (Compilé > Non structuré > Sans influence) est resté cohérent.
• Balayage de la Résistance : L'avantage de la compilation est resté strictement positif à travers tous les niveaux de résistance testés ($R \in [0,1, 0,7]$), allant de +0,057 à +0,070. L'avantage ne s'est pas éteint, même à haute résistance, indiquant une dégradation progressive plutôt qu'un effondrement de seuil.
• Ciblage : La dissémination ciblant les hubs a mieux performé que le ciblage aléatoire et périphérique. La stratégie périphérique n'a montré qu'un regroupement local temporaire qui n'a pas réussi à se propager à travers le réseau.
• Hétérogénéité des Agents : L'architecture hybride a réussi à préserver la différenciation des personnalités. Les Idéalistes ont montré les taux de persuasion les plus élevés (~85–100 %), tandis que les agents à haute résistance (Sceptiques, Opportunistes) ont montré des taux inférieurs à 5 %. Cela contraste avec les modèles de LLM pur où tous les agents convergeraient vers une haute coopération.

Signification et Revendications
Le document affirme que la compilation par LLM structurée, le raisonnement des agents ancrés et le ciblage conscient du réseau sont des principes de conception complémentaires pour une coordination scalable de la réponse à la demande. La principale importance réside dans la résolution du défi méthodologique de l'utilisation des LLM alignés par RLHF dans la recherche sur la coopération ; en isolant le rôle du LLM à l'évaluation narrative plutôt qu'à la prise de décision, le modèle génère des comportements de prosommateurs réalistes qui reflètent l'intérêt stratégique personnel.

Les auteurs concluent que pour les systèmes énergétiques de villes intelligentes de prochaine génération :

1. Les systèmes de communication devraient employer des schémas de directives structurés plutôt que des messages génériques.
2. Les stratégies de dissémination doivent prioriser les hubs et les ponts du réseau.
3. Des contraintes de gouvernance constitutionnelle peuvent être appliquées pour filtrer les directives manipulatrices avec un coût minimal pour la coopération.

Le document reste modeste quant à sa portée, reconnaissant des limites telles que la petite taille de la population ($N=30$), une réalisation unique de réseau, et l'utilisation d'agents LLM comme substituts aux humains. Il identifie la validation avec des sujets humains dans de réelles communautés énergétiques et le passage à des topologies plus larges et hétérogènes comme des travaux futurs nécessaires.