Résumé Technique : ARCANE (Arc-Aware Narrative Evaluation)

1. Énoncé du Problème

Les agents de langage de jeu de rôle (RPLA - Role-Playing Language Agents) sont de plus en plus attendus pour fournir des interactions immersives et authentiques avec des personnages fictifs. Cependant, les benchmarks d'évaluation actuels traitent largement les personnages comme des entités statiques, se concentrant sur le rappel factuel, la cohérence des traits ou un style linguistique superficiel à un instant T. Cette approche ne parvient pas à capturer la nature dynamique du développement des personnages dans les récits de longue haleine, où les valeurs, les motivations et les schémas comportementaux d'un personnage évoluent de manière significative à mesure que les événements s'accumulent.

Les benchmarks existants, tels que TimeCHARA, détectent principalement les hallucinations factuelles (par exemple, si un personnage connaît des événements qui ne se sont pas encore produits), mais n'évaluent pas si les réponses comportementales et psychologiques de l'agent sont alignées avec le stade de développement spécifique du personnage. Par conséquent, les RPLA peuvent produire des réponses plausibles qui sont néanmoins « hors personnage » par rapport à la chronologie narrative, échouant ainsi à refléter la trajectoire psychologique (l'« Arc de Personnage ») qui définit l'histoire.

2. Méthodologie

2.1 Le Benchmark ARCANE

Les auteurs introduisent ARCANE (Arc-Aware Narrative Evaluation), un benchmark construit automatiquement conçu pour évaluer si les réponses d'un RPLA évoluent fidèlement en phase avec la psychologie changeante d'un personnage à travers les phases narratives. Le jeu de données couvre 17 romans et 80 personnages principaux, comprenant 544 Arcs de Personnage et 4 601 sondes (probes).

Le pipeline de construction implique deux étapes principales :

• Construction de l'Arc de Personnage :

  • Extraction à double flux : Le récit est traité par deux flux indépendants : un flux d'événements (extrayant les événements psychologiquement impactants) et un flux d'état (émettant des profils psychologiques transversaux).
  • Induction d'axes : Ces flux induisent des axes candidats (dimensions psychologiques) suivant les changements internes (ex: croyances, motifs) et les changements relationnels (ex: confiance, antagonisme).
  • Réconciliation et Validation : Un LLM réconcilie les candidats des deux flux. Pour l'ensemble d'évaluation, trois annotateurs humains valident indépendamment les axes sur la base de la validité littéraire, de l'étendue du roman et de l'importance. Seuls les axes approuvés par une majorité de 2 sur 3 entrent dans le benchmark final.
  • Structure : Chaque arc est segmenté en phases, définissant une trajectoire d'un état initial vers un état final le long d'un axe psychologique (ex: l'axe moral de Harry Potter passant de la « Justice Punitive » à la « Rémission Empathique »).

• Génération de Sondes :

  • Conception de Scénarios : Pour chaque arc, une paire unique (scénario, question) est générée et testée à travers toutes les phases de l'arc.
  • Catégories : Les sondes sont catégorisées par leur distance par rapport au texte source :
    • In-Scenario (Dans le scénario) : Tirées textuellement du texte source.
    • In-World (Dans le monde) : Situations inventées au sein du cadre de la source, mais non explicitement écrites.
    • Out-of-World (Hors du monde) : Scénarios transposés à des époques ou des cadres non issus de la source, nécessitant une généralisation de l'arc du personnage.
  • Réponses de Référence : Chaque sonde inclut des réponses de référence spécifiques à la phase (action + pensée) qui définissent le comportement « gold » pour cette phase narrative spécifique.

2.2 Métriques d'Évaluation

L'évaluation emploie deux niveaux de métriques :

1. Métriques par Phase : Évaluent les réponses individuelles par rapport à la référence pour cette phase.
   • APF (Action Phase-Fidelity) : Note les actions manifestes (stratégie, valence, cible).
   • RPF (Reasoning Phase-Fidelity) : Analyse le raisonnement en créneaux (déclencheur, évaluation, objectif, stratégie).
   • RAE (Reasoning–Action Entailment) : Vérifie si l'action est autorisée par le raisonnement.
2. Métrique de Trajectoire :
   • PTF (Phase Trajectory Fidelity) : Évalue la séquence de réponses à travers toutes les phases pour s'assurer que le modèle suit la direction et la forme de l'arc, pénalisant les modèles qui effondrent les phases adjacentes ou se déplacent dans la mauvaise direction.

2.3 Stratégies de Contexte

L'étude compare six modes de contexte pour déterminer lequel ancre le mieux le modèle dans l'état du personnage :

• Vanilla : Identité et requête du chapitre uniquement.
• Summary (Résumé) : Résumés des chapitres récents.
• RAG : Fragments de texte source récupérés.
• LifeChoice / TimeCHARA : Formats de contexte des benchmarks existants.
• ARC (Proposé) : L'Arc de Personnage curaté, tronqué au chapitre de la requête, exposant le modèle à l'information de trajectoire utilisée pour construire les sondes.

2.4 Entraînement du Modèle

Les auteurs ont affiné des modèles à poids ouverts (Qwen3-8B et Qwen3-32B) en utilisant un pipeline en deux étapes :

1. Supervised Fine-Tuning (SFT) : Apprentissage du format de réponse et des conventions comportementales d'ARCANE.
2. Direct Preference Optimization (DPO) : Apprentissage de la distinction entre le comportement réel du personnage et des alternatives plausibles mais temporellement décalées (ex: des actions correspondant au personnage mais appartenant à une phase narrative différente).
   Cela a donné naissance à ARCANE-8B et ARCANE-32B.

3. Résultats Clés

• Supériorité du Contexte Fondé sur l'Arc : À travers six modèles (incluant des variantes de DeepSeek-V4 et Qwen3) et six modes de contexte, le conditionnement sur le Personnage (Arc) a systématiquement obtenu les scores globaux les plus élevés. L'écart entre l'Arc et le meilleur baseline non-Arc variait de 2,2 à 8,4 points.
• Généralisation à des Scénarios Inconnus : L'avantage du contexte de l'Arc était plus marqué dans les scénarios Out-of-World (où la récupération n'a aucun texte source pertinent à trouver). Dans ces cas, les méthodes basées sur la récupération (RAG, LifeChoice) échouaient à fournir un ancrage pertinent, tandis que l'Arc fournissait l'état psychologique nécessaire.
• Suivi de Trajectoire : La métrique PTF a montré les gains les plus importants pour les modèles fondés sur l'Arc. Bien que les modèles non-Arc puissent parfois obtenir de bons scores sur des phases isolées, ils échouaient souvent à maintenir le changement directionnel correct à travers le récit.
• Performance sur les Romans de Faible Popularité : L'avantage de l'Arc s'est étendu aux romans de faible popularité (ex: The Underdogs, East Lynne) non inclus dans l'ensemble de validation, avec des hausses de performance de +4,1 à +15,3 points par rapport aux baselines.
• Effets de l'Entraînement : Le fine-tuning avec DPO a davantage amélioré les performances, particulièrement dans les catégories In-World et Out-of-World, en apprenant au modèle à distinguer les étapes de développement adjacentes. Cependant, le DPO a parfois réduit les performances sur les tâches In-Scenario, suggérant un compromis entre l'adhérence stricte au canon et le suivi de l'arc.

4. Signification et Revendications

L'article affirme qu'ARCANE comble une lacune critique dans l'évaluation des RPLA en déplaçant l'attention de la cohérence de la persona statique vers l'évolution comportementale dynamique. Les auteurs soutiennent que :

1. Les Personas Statiques sont Insuffisantes : Un jeu de rôle authentique exige que les agents adaptent leurs valeurs et comportements à mesure que l'histoire progresse, et non qu'ils se contentent de rappeler des faits.
2. La Récupération est Limitée : Les méthodes de récupération standard (RAG) sont inefficaces pour évaluer ou guider le comportement d'un personnage dans des scénarios que le texte source n'explore jamais ; une trajectoire psychologique explicite (l'Arc) est nécessaire.
3. L'Entraînement sur les Arcs fonctionne : Le fine-tuning sur des données d'arc contrastives (SFT + DPO) permet aux modèles de mieux suivre les trajectoires de développement, réduisant les « hallucinations de comportement de personnage ».

Les auteurs concluent que bien que leur jeu de données soit actuellement limité aux romans en anglais et à l'évolution d'un seul personnage, ARCANE fournit un cadre robuste pour évaluer la nature « vivante » de la simulation de personnage. Ils identient le dialogue multi-tours, où l'arc progresse par l'interaction, comme la prochaine étape naturelle de cette recherche.

Limites Reconnues :

• Le jeu de données est exclusivement en anglais et restreint au domaine du roman.
• L'évaluation se concentre sur le comportement d'un personnage unique face à l'accumulation d'événements, et non sur les interactions utilisateur-personnage ou personnage-personnage.
• Le matériel source inclut des romans du XIXe et du début du XXe siècle avec des attitudes sociales liées à l'époque, nécessitant une manipulation prudente pour éviter la reproduction de stéréotypes préjudiciables.
• Les artefacts sont destinés à la recherche uniquement.