Résumé technique : PAVE – Une architecture cognitive pour la violation légitime dans les sociétés d'agents génératifs

1. Énoncé du problème

Les agents génératifs basés sur les grands modèles de langage (LLM) ont démontré leur capacité à simuler un comportement humain crédible dans des contextes coopératifs. Cependant, leur aptitude à raisonner dans des scénarios où la transgression des règles est nécessaire — comme les évacuations d'incendie, les urgences médicales ou les situations impliquant des autorités contradictoires — reste mal caractérisée. Les architectures existantes, telles que les Agents Génératifs fondamentaux de Park et al. [2023], se concentrent principalement sur le respect des normes et la coopération. Elles échouent souvent à distinguer les violations « commodes » des violations « légitimes » motivées par la nécessité.

Les modèles actuels peinent avec trois modes d'échec spécifiques :

1. Sur-conformité : Les agents suivent les règles même lorsqu'une véritable urgence exige le contraire (par exemple, attendre au feu rouge pendant un incendie).
2. Sur-violation : Les agents enfreignent les règles simplement par commodité ou sous la pression des pairs, sans déclencheur justifiable.
3. Contagie illimitée : Les agents copient les violations des autres jusqu'à ce que la transgression devienne la nouvelle norme, échouant à retrouver une conformité de base une fois le déclencheur disparu.

Le défi central n'est pas l'absence de règles, mais le mécanisme par lequel les agents pondèrent ces règles face à l'urgence situationnelle, à l'autorité et au contexte social.

2. Méthodologie : L'architecture PAVE

Pour combler ces lacunes, les auteurs proposent PAVE (Perception, Assessment, Verdict, Emulation), une architecture cognitive à quatre modules conçue pour modéliser le processus de prise de décision en matière de transgression des règles de manière structurée. PAVE étend la boucle mémoire-réflexion-planification de Park et al. [2023] en introduisant des modules de raisonnement dédiés à la violation des règles.

2.1 Les quatre modules

1. Perception :

   • Fonction : Extrait un contexte structuré de l'environnement avant le début du raisonnement.
   • Sortie : Un objet de contexte $C = \langle apres, dauth, B_{peer}, ucue, \zeta \rangle$.
   • Caractéristiques clés : Sépare explicitement la présence d'autorité ($apres$) de la distance ($dauth$). Elle étiquette les indices situationnels ($ucue$) par type, distance et sévérité (1–100). Crucialement, elle capture les comportements des pairs ($B_{peer}$) comme une instantanée de la scène actuelle, empêchant l'accumulation à long terme de l'influence des pairs qui pourrait biaiser l'agent.

2. Évaluation (Assessment) :

   • Fonction : Convertit le contexte perceptuel en cinq facteurs scalaires distincts (1–100) pilotant la décision.
   • Facteurs :
     • $r$ (Risque) : Probabilité perçue de détection/sanction, pondérée par la distance à l'autorité.
     • $p_{emp}$ (Attente empirique) : Proportion d'agents à proximité actuellement conformes.
     • $p_{norm}$ (Attente normative) : Croyance de l'agent sur ce que les autres devraient faire.
     • $b$ (Bénéfice) : Utilité perçue de la violation (urgence ou nécessité).
     • $\ell$ (Légitimité) : La contribution centrale. Ce scalaire juge si la situation justifie la violation sur la base de trois critères stricts : Nécessité (la conformité causerait-elle un réel préjudice ?), Proportionnalité (la violation est-elle minimale ?) et Absence d'alternatives (existe-t-il une action conforme avec le même résultat ?).

3. Verdict :

   • Fonction : Décide de se conformer ou de violer.
   • Mécanisme : La décision est régie par une Porte de Légitimité Rigide.
     • Si $\ell < \tau$ (où $\tau$ est un seuil spécifique à l'agent, élicité à partir de sa persona), le verdict doit être conforme, indépendamment d'un bénéfice élevé ou d'un risque faible.
     • Si $\ell \ge \tau$, l'agent est autorisé à violer, la décision finale étant influencée par le risque, le comportement des pairs et la persona.
   • Sortie : Une décision binaire ($y$), une justification en langage naturel ($j$) et un score de confiance ($\kappa$).

4. Émulation :

   • Fonction : Met en œuvre le verdict et propage le résultat à la société.
   • Délimitation de l'action : Lors d'une violation, l'agent enfreint uniquement la règle spécifique justifiée par le déclencheur (par exemple, traverser un feu rouge pour échapper à un incendie, mais pas voler un vélo).
   • Propagation du résultat : Met à jour la mémoire de l'agent agissant et amorce le contexte perceptuel des agents à proximité. Cela permet à l'influence des pairs ($p_{emp}$) de se mettre à jour, mais la Porte de Légitimité du cycle suivant garantit que la pression sociale accrue ne peut forcer une violation que si la situation elle-même est légitime.

2.2 Environnement expérimental : VOVILLE

Les auteurs ont instancié PAVE dans VOVILLE, un environnement de trafic basé sur des tuiles dérivé du bac à sable Smallville.

• Caractéristiques : Comprend des feux de circulation configurables, des rues à sens unique, et des dangers scriptés (incendies) et des autorités (agents de police).
• Agents : 10 agents PAVE (8 participants de café, 2 passants) et des PNJ scriptés (complices, agents).
• Scénarios :
  1. Évacuation d'incendie (Sans autorité) : Teste si les agents violent les règles pour s'échapper et retrouvent la conformité une fois l'incendie terminé.
  2. Évacuation d'incendie (Avec autorité) : Teste le respect des instructions des agents et la suppression spatiale des violations.
  3. Pression des pairs (Traversée illégale) : Teste la résistance à l'imitation lorsque les pairs violent les règles sous la pression du temps mais sans urgence.

3. Contributions clés

1. Architecture PAVE : Un cadre cognitif novateur qui modélise conjointement la violation des règles déclenchée par une urgence, la contagion des pairs et la suppression par l'autorité, allant au-delà du traitement de la violation comme un résultat émergent incident.
2. Environnement VOVILLE : Un environnement de simulation ancré spatialement permettant l'observation physique d'événements de conformité et de violation, distinct des simulations purement conversationnelles.
3. Caractérisation empirique : Grâce à des études d'ablation sur trois scénarios, cinq conditions et quatre backbones de LLM (GPT-4o, Claude-3.5, Llama-3-70B, GPT-4o-mini), les auteurs caractérisent les conditions spécifiques sous lesquelles les agents violent ou suppriment la transgression des règles.

4. Résultats

L'évaluation s'est concentrée sur quatre propriétés : Violation Légitime (P1), Respect de l'Autorité (P2), Récupération de la Conformité (P3) et Portée Bornée (P4).

• Violation Légitime (P1) : Les agents PAVE ont violé les règles uniquement lorsqu'un déclencheur (par exemple, un incendie) le justifiait. Dans le scénario « Traversée illégale », les agents PAVE ont résisté à l'imitation des pairs (taux de violation 0,04) par rapport aux agents Vanilla (0,58), car le déclencheur « en retard » a échoué au test de légitimité.
• Respect de l'Autorité (P2) : Les agents ont respecté les instructions des agents même lorsque leur score de légitimité interne ($\ell$) était élevé. Aux intersections surveillées, la conformité était de 0,94. Les taux de violation ont chuté significativement avec la proximité de l'agent (0,05 dans un rayon de 3 tuiles contre 0,65 au-delà de 12 tuiles), reproduisant les modèles de police humaine.
• Récupération de la Conformité (P3) : Les agents sont revenus à une conformité de base en environ 4 ticks après avoir quitté le rayon de l'incendie. Les effets de l'autorité n'ont pas persisté ; une fois l'agent parti ou l'incendie terminé, les agents sont revenus à un comportement standard.
• Portée Bornée (P4) : Les violations étaient confinées à la règle ciblée. Les violations de règles non liées (par exemple, entrer dans des bâtiments privés) sont restées proches de zéro (0,02), tandis que les agents Vanilla présentaient des taux élevés (0,31).

Résultats des études d'ablation :

• Suppression de la Porte de Légitimité : Sans la porte, les agents PAVE se comportaient comme des agents « Vanilla » concernant les violations motivées par la commodité. Le taux de violation pour les règles non liées a bondi de 0,02 à 0,21, et la conversion pilotée par les pairs est passée de 0,04 à 0,39.
• Référence Vanilla : Les agents Vanilla ont échoué principalement en raison d'un « goulot d'étranglement de l'importance ». Le mécanisme de notation de l'importance sous-jacent (Park et al.) privilégiait la rareté sociale au danger physique. Par conséquent, un incendie était souvent noté avec la même importance qu'un feu rouge routinier, conduisant à une sous-réaction (échec de l'évacuation) ou à des réactions non délimitées.

Évaluation humaine :
Les évaluateurs humains ont noté les agents PAVE significativement plus haut (5,78/7) que les agents Vanilla (3,42/7) en termes de plausibilité, en particulier pour la saillance des indices et le jugement de légitimité.

5. Signification et revendications

L'article revendique que PAVE fournit une correction structurelle au pipeline de prise de décision des agents génératifs. Sa signification réside non pas dans le résultat (les agents évacuant un incendie), mais dans le mécanisme :

• Différenciation des motifs : PAVE sépare avec succès la « commodité » de la « légitimité », garantissant que les violations ne se produisent que lorsque la nécessité, la proportionnalité et l'absence d'alternatives sont réunies.
• Évolutivité du raisonnement : L'architecture permet une variation au niveau de l'agent (via des seuils élicités $\tau$) tout en maintenant une porte structurée contre la transgression arbitraire des règles.
• Récupération et résistance à la contagion : Le système démontre que le tissu social peut se rétablir une fois le déclencheur disparu et que les agents peuvent résister à la contagion pilotée par les pairs si la situation sous-jacente manque de légitimité.

Les auteurs notent modestement des limites : les règles sont spécifiées à la main plutôt qu'apprenues, et l'étude se concentre sur des scénarios à déclencheur unique sans autorités contestées ou violations coordonnées multi-agents. Cependant, ils affirment que les motifs de suppression-distance et la récupération inter-jours observés dans VOVILLE reproduisent les études de terrain humaines (par exemple, Koper [1995]) sans être explicitement ciblés pour le faire, suggérant que l'architecture capture les dynamiques fondamentales de la transgression des règles dans des contextes liés à la sécurité.