Technische Samenvatting: ARCANE (Arc-Aware Narrative Evaluation)

1. Probleemstelling

Role-playing taalagenten (RPLA's) worden steeds vaker geacht immersieve, authentieke interacties met fictieve personages te bieden. De huidige evaluatiebenchmarks behandelen personages echter grotendeels als statische entiteiten, waarbij de focus ligt op feitelijke herinnering, kenmerkconsistentie of oppervlakkige linguïstische stijl op een enkel moment in de tijd. Deze aanpak faalt in het vastleggen van de dynamische aard van karakterontwikkeling in langdurige narratieven, waarbij de waarden, motivaties en gedragspatronen van een personage significant evolueren naarmate gebeurtenissen zich ophopen.

Bestaande benchmarks, zoals TimeCHARA, detecteren primair feitelijke hallucinaties (bijv. of een personage weet welke gebeurtenissen nog niet hebben plaatsgevonden), maar beoordelen niet of de gedragsmatige en psychologische reacties van de agent overeenstemmen met de specifieke ontwikkelingsfase van het personage. Als gevolg hiervan kunnen RPLA's plausibele reacties produceren die desondanks "buiten het karakter" zijn met betrekking tot de narratieve tijdlijn, waardoor ze er niet in slagen de psychologische trajectorie (de "Character Arc") te reflecteren die het verhaal definieert.

2. Methodologie

2.1 De ARCANE Benchmark

De auteurs introduceren ARCANE (Arc-Aware Narrative Evaluation), een automatisch geconstrueerde benchmark ontworpen om te evalueren of de reacties van een RPLA getrouw meebewegen met de evoluerende psychologie van een personage over verschillende narratieve fasen. De dataset beslaat 17 romans en 80 hoofdpersonages, bestaande uit 544 Character Arcs en 4.601 probes.

De constructiepipeline bestaat uit twee primaire stadia:

• Constructie van de Character Arc:

  • Dual-Stream Extractie: Het narratief wordt verwerkt via twee onafhankelijke stromen: een event stream (het extraheren van psychologisch impactvolle gebeurtenissen) en een state stream (het emitteren van dwarsdoorsnede-psychologische profielen).
  • As-Inductie: Deze stromen induceren kandidaat-assen (psychologische dimensies) die interne veranderingen (bijv. overtuigingen, motieven) en relationele veranderingen (bijv. vertrouwen, antagonisme) volgen.
  • Reconciliatie & Validatie: Een LLM reconcilieert kandidaten uit beide stromen. Voor de evaluatieset valideren drie menselijke annotatoren onafhankelijk de assen op basis van literaire validiteit, het bereik binnen de roman en belang. Alleen assen die door een meerderheid van 2-uit-3 zijn goedgekeurd, gaan de definitieve benchmark in.
  • Structuur: Elke arc wordt gesegmenteerd in fasen, wat een traject definieert van een initiële staat naar een finale staat langs een psychologische as (bijv. Harry Potters morele as die verschuift van "Punitive Justice" naar "Empathic Forgiveness").

• Probe Generatie:

  • Scenario Ontwerp: Voor elke arc wordt één (scenario, vraag)-paar gegenereerd en getest over alle fasen van de arc.
  • Categorieën: Probes worden gecategoriseerd op basis van hun afstand tot de brontekst:
    • In-Scenario: Letterlijk overgenomen uit de brontekst.
    • In-World: Verzonnen situaties binnen de bronsetting die niet expliciet geschreven zijn.
    • Out-of-World: Scenario's getransponeerd naar niet-bron tijdperken of settings, wat een generalisatie van de arc van het personage vereist.
  • Referentie-reacties: Elke probe bevat fase-specifieke referentie-reacties (actie + gedachte) die het "gouden" gedrag definiëren voor die specifieke narratieve fase.

2.2 Evaluatiemetrieken

De evaluatie maakt gebruik van twee niveaus van metrieken:

1. Per-Fase Metrieken: Beoordelen individuele reacties tegenover de referentie voor die fase.
   • APF (Action Phase-Fidelity): Beoordeelt manifeste acties (strategie, valentie, doelwit).
   • RPF (Reasoning Phase-Fidelity): Parseert redenering in slots (trigger, beoordeling, doel, strategie).
   • RAE (Reasoning–Action Entailment): Controleert of de actie gerechtvaardigd wordt door de redenering.
2. Traject Metriek:
   • PTF (Phase Trajectory Fidelity): Evalueert de sequentie van reacties over alle fasen om te waarborgen dat het model de richting en vorm van de arc volgt, waarbij modellen die aangrenzende fasen laten instorten of in de verkeerde richting bewegen, worden afgestraft.

2.3 Context Strategieën

De studie vergelijkt zes contextmodi om te bepalen welke de modellen het beste fundeert in de staat van het personage:

• Vanilla: Identiteit en query hoofdstuk alleen.
• Summary: Recente hoofdstuksamenvattingen.
• RAG: Geëxtraheerde fragmenten uit de brontekst.
• LifeChoice / TimeCHARA: Bestaande benchmark contextformaten.
• ARC (Voorgesteld): De gecureerde Character Arc afgebroken bij het query-hoofdstuk, waarbij het model wordt blootgesteld aan de trajectinformatie die gebruikt is voor de constructie van de probes.

2.4 Model Training

De auteurs hebben open-weight modellen (Qwen3-8B en Qwen3-32B) gefinetuned met behulp van een tweefasige pipeline:

1. Supervised Fine-Tuning (SFT): Leren van het reactieformaat en de gedragsconventies van ARCANE.
2. Direct Preference Optimization (DPO): Leren om waarheidsgetrouw karaktergedrag te onderscheiden van plausibele maar tijdelijk verplaatste alternatieven (bijv. acties die passen bij het personage maar behoren tot een andere narratieve fase).
   Dit resulteerde in ARCANE-8B en ARCANE-32B.

3. Belangrijkste Resultaten

• Superioriteit van Arc-Gegronde Context: Over zes modellen (inclusief DeepSeek-V4 en Qwen3-varianten) en zes contextmodi heen, behaalde conditionering op de Character Arc consistent de hoogste Overall scores. Het gat tussen de Arc en de beste niet-Arc baseline varieerde van 2.2 tot 8.4 punten.
• Generalisatie naar Ongeziene Scenario's: Het voordeel van de Arc-context was het meest uitgesproken in Out-of-World scenario's (waar retrieval geen relevante brontekst kan vinden). In deze gevallen faalden retrieval-gebaseerde methoden (RAG, LifeChoice) om relevante gronding te bieden, terwijl de Arc de noodzakelijke psychologische staat bood.
• Traject Volgen: De PTF metriek toonde de grootste winsten voor Arc-gegronde modellen. Hoewel niet-Arc modellen soms goed konden scoren op individuele fasen in isolatie, faalden ze vaak in het handhaven van de juiste directionele verschuiving over het narratief.
• Prestaties bij Laag-Populaire Romans: Het Arc-voordeel strekte zich uit tot laag-populaire romans (bijv. The Underdogs, East Lynne) die niet in de validatieset waren opgenomen, met prestatieverbeteringen van +4.1 tot +15.3 punten ten opzichte van de baselines.
• Trainings-effecten: Fine-tuning met DPO verbeterde de prestaties verder, met name in de In-World en Out-of-World categorieën, door het model te leren onderscheid te maken tussen aangrenzende ontwikkelingsstadia. DPO verminderde echter soms de prestaties op In-Scenario taken, wat wijst op een trade-off tussen strikte canon-adherentie en arc-tracking.

4. Betekenis en Claims

Het artikel beweert dat ARCANE een kritiek gat in de RPLA-evaluatie dicht door de focus te verleggen van statische persona-consistentie naar dynamische gedragsevolutie. De auteurs stellen het volgende:

1. Statische Persona's zijn Onvoldoende: Authentiek rollenspel vereist dat agenten hun waarden en gedrag aanpassen naarmate het verhaal vordert, niet alleen het ophalen van feiten.
2. Retrieval is Beperkt: Standaard retrieval-methoden (RAG) zijn ineffectief voor het evalueren of sturen van karaktergedrag in scenario's die de brontekst nooit verkent; een expliciete psychologische trajectorie (de Arc) is vereist.
3. Trainen op Arcs Werkt: Fine-tuning op contrastieve arc-data (SFT + DPO) stelt modellen in staat om ontwikkelingspaden beter te volgen, wat "karakter-gedragshallucinaties" vermindert.

De auteurs concluderen dat hoewel hun dataset momenteel beperkt is tot Engelse romans en single-character evolutie, ARCANE een robuust framework biedt voor het evalueren van het "levende" karakter van karakter-simulatie. Zij identificeren multi-turn dialoog, waarbij de arc vordert door interactie, als de natuurlijke volgende stap voor dit onderzoek.

Erkende Beperkingen:

• De dataset is Engelstalig en beperkt tot het domein van de roman.
• Evaluatie focust op single-character gedrag over accumulerende gebeurtenissen, niet op user-character of character-character interacties.
• Het bronmateriaal bevat 19e/begin-20e-eeuwse romans met aan die periode gebonden sociale attitudes, wat zorgvuldige behandeling vereist om reproductie van schadelijke stereotypen te voorkomen.
• De artefacten zijn uitsluitend bedoeld voor onderzoek.