Riepilogo Tecnico: ARCANE (Arc-Aware Narrative Evaluation)

1. Definizione del Problema

Gli agenti linguistici per il gioco di ruolo (RPLA) sono sempre più chiamati a fornire interazioni immersive e autentiche con personaggi di finzione. Tuttavia, gli attuali benchmark di valutazione trattano i personaggi principalmente come entità statiche, concentrandosi sul richiamo fattuale, sulla coerenza dei tratti o sullo stile linguistico superficiale in un singolo punto temporale. Questo approccio non riesce a catturare la natura dinamica dello sviluppo del personaggio nelle narrazioni a lungo termine, dove i valori, le motivazioni e i modelli comportamentali di un personaggio evolvono significativamente con l'accumularsi degli eventi.

I benchmark esistenti, come TimeCHARA, rilevano principalmente le allucinazioni fattuali (ad esempio, se un personaggio conosce eventi che non sono ancora accaduti), ma non valutano se le risposte comportamentali e psicologiche dell'agente siano allineate con lo specifico stadio di sviluppo del personaggio. Di conseguenza, gli RPLA possono produrre risposte plausibili che sono tuttavia "fuori personaggio" rispetto alla linea temporale narrativa, fallendo nel riflettere la traiettoria psicologica (l'Arco del Personaggio) che definisce la storia.

2. Metodologia

2.1 Il Benchmark ARCANE

Gli autori introducono ARCANE (Arc-Aware Narrative Evaluation), un benchmark costruito automaticamente progettato per valutare se le risposte di un RPLA cambino fedelmente in sintonia con l'evoluzione della psicologia di un personaggio attraverso le fasi narrative. Il dataset comprende 17 romanzi e 80 personaggi principali, costituito da 544 Archi di Personaggio e 4.601 sonde (probes).

La pipeline di costruzione prevede due fasi primarie:

• Costruzione dell'Arco del Personaggio:

  • Estrazione a Doppio Flusso: La narrazione viene elaborata attraverso due flussi indipendenti: un flusso di eventi (estrazione di eventi psicologicamente impattanti) e un flusso di stato (emissione di profili psicologici trasversali).
  • Induzione degli Assi: Questi flussi inducono assi candidati (dimensioni psicologiche) che tracciano i cambiamenti interni (es. credenze, motivi) e i cambiamenti relazionali (es. fiducia, antagonismo).
  • Riconciliazione e Validazione: Un LLM riconcilia i candidati provenienti da entrambi i flussi. Per il set di valutazione, tre annotatori umani validano indipendentmente gli assi in base alla validità letteraria, all'estensione nel romanzo e all'importanza. Solo gli assi approvati da una maggioranza di 2 su 3 entrano nel benchmark finale.
  • Struttura: Ogni arco è segmentato in fasi, definendo una traiettoria da uno stato iniziale a uno stato finale lungo un asse psicologico (ad esempio, l'asse morale di Harry Potter che passa da "Giustizia Punitiva" a "Perdono Empatico").

• Generazione delle Sonde (Probes):

  • Design dello Scenario: Per ogni arco, viene generata e testata una singola coppia (scenario, domanda) attraverso tutte le fasi dell'arco.
  • Categorie: Le sonde sono categorizzate in base alla loro distanza dal testo sorgente:
    • In-Scenario: Estratte letteralmente dal testo sorgente.
    • In-World: Situazioni inventate all'interno dell'ambientazione originale, ma non esplicitamente scritte.
    • Out-of-World: Scenari trasposti in epoche o ambientazioni diverse dalla sorgente, che richiedono la generalizzazione dell'arco del personaggio.
  • Risposte di Riferimento: Ogni sonda include risposte di riferimento specifiche per fase (azione + pensiero) che definiscono il comportamento "gold" per quella specifica fase narrativa.

2.2 Metriche di Valutazione

La valutazione impiega due livelli di metriche:

1. Metriche Per-Fase: Valutano le singole risposte rispetto al riferimento per quella fase.
   • APF (Action Phase-Fidelity): Valuta le azioni manifeste (strategia, valenza, bersaglio).
   • RPF (Reasoning Phase-Fidelity): Analizza il ragionamento in slot (trigger, valutazione, obiettivo, strategia).
   • RAE (Reasoning–Action Entailment): Verifica se l'azione è autorizzata dal ragionamento.
2. Metrica di Traiettoria:
   • PTF (Phase Trajectory Fidelity): Valuta la sequenza di risposte attraverso tutte le fasi per garantire che il modello segua la direzione e la forma dell'arco, penalizzando i modelli che collassano le fasi adiacenti o si muovono nella direzione errata.

2.3 Strategie di Contesto

Lo studio confronta sei modalità di contesto per determinare quale sia la migliore per ancorare il modello allo stato del personaggio:

• Vanilla: Identità e query del capitolo corrente.
• Summary: Riassunti dei capitoli recenti.
• RAG: Frammenti di testo sorgente recuperati.
• LifeChoice / TimeCHARA: Formati di contesto dei benchmark esistenti.
• ARC (Proposto): L'Arco del Personaggio curato e troncato al capitolo della query, esponendo il modello alle informazioni sulla traiettoria utilizzate per costruire le sonde.

2.4 Addestramento del Modello

Gli autori hanno perfezionato modelli a pesi aperti (Qwen3-8B e Qwen3-32B) utilizzando una pipeline a due stadi:

1. Supervised Fine-Tuning (SFT): Apprendimento del formato di risposta e delle convenzioni comportamentali di ARCANE.
2. Direct Preference Optimization (DPO): Apprendimento per distinguere il comportamento del personaggio reale da alternative plausibili ma temporalmente spostate (ad esempio, azioni adatte al personaggio ma appartenenti a una fase narrativa diversa).
   Ciò ha portato alla creazione di ARCANE-8B e ARCANE-32B.

3. Risultati Chiave

• Superiorità del Contesto Ancorato all'Arco: Tra sei modelli (inclusi varianti di DeepSeek-V4 e Qwen3) e sei modalità di contesto, il condizionamento sull'Arco del Personaggio ha costantemente ottenuto i punteggi complessivi più elevati. Il divario tra l'Arco e il miglior baseline non-Arc variava da 2,2 a 8,4 punti.
• Generalizzazione a Scenari Ignoti: Il vantaggio del contesto dell'Arco è stato più pronunciato negli scenari Out-of-World (dove il recuperimento non ha testo sorgente pertinente da trovare). In questi casi, i metodi basati sul recupero (RAG, LifeChoice) non sono riusciti a fornire l'ancoraggio necessario, mentre l'Arco ha fornito lo stato psicologico necessario.
• Tracciamento della Traiettoria: La metrica PTF ha mostrato i maggiori guadagni per i modelli ancorati all'Arco. Mentre i modelli non-Arc potevano talvolta ottenere buoni punteggi sulle singole fasi isolate, spesso fallivano nel mantenere la corretta variazione direzionale attraverso la narrazione.
• Performance su Romanzi di Bassa Popolarità: Il vantaggio dell'Arco si è esteso a romanzi di bassa popolarità (es. The Underdogs, East Lynne) non inclusi nel set di validazione, con incrementi di performance da +4,1 a +15,3 punti rispetto ai baseline.
• Effetti dell'Addestramento: Il fine-tuning con DPO ha ulteriormente migliorato le prestazioni, in particolare nelle categorie In-World e Out-of-World, insegnando al modello a distinguere tra stadi di sviluppo adiacenti. Tuttavia, il DPO ha talvolta ridotto le prestazioni sui compiti In-Scenario, suggerendo un compromesso tra l'aderenza rigorosa al canone e il tracciamento dell'arco.

4. Significato e Rivendicazioni

Il paper sostiene che ARCANE affronta una lacuna critica nella valutazione degli RPLA spostando l'attenzione dalla coerenza statica della persona alla evoluzione comportamentale dinamica. Gli autori argomentano che:

1. Le Personaggi Statici sono Insufficienti: Un role-playing autentico richiede che gli agenti adattino i propri valori e comportamenti man mano che la storia procede, non solo che ricordino fatti.
2. Il Recupero è Limitato: I metodi di recupero standard (RAG) sono inefficaci per valutare o guidare il comportamento del personaggio in scenari che il testo sorgente non esplora mai; è richiesto un esplicito percorso psicologico (l'Arco).
3. L'Addestramento sugli Archi Funziona: Il fine-tuning su dati di arco contrastivi (SFT + DPO) consente ai modelli di tracciare meglio le traiettorie di sviluppo, riducendo le "allucinazioni caratteriali-comportamentali".

Gli autori concludono che, sebbene il loro dataset sia attualmente limitato ai romanzi in lingua inglese e all'evoluzione di un singolo personaggio, ARCANE fornisce un framework robusto per valutare la natura "viva" della simulazione del personaggio. Identificano il dialogo multi-turno, in cui l'arco avanza attraverso l'interazione, come il passo naturale successivo per questa ricerca.

Limitazioni Riconosciute:

• Il dataset è limitato alla sola lingua inglese e al dominio dei romanzi.
• La valutazione si concentra sul comportamento di un singolo personaggio su eventi cumulativi, non sulle interazioni utente-personaggio o personaggio-personaggio.
• Il materiale sorgente include romanzi del XIX/inizio XX secolo con atteggiamenti sociali legati all'epoca, che richiedono una gestione attenta per evitare la riproduzione di stereotipi dannosi.
• Gli artefatti sono destinati esclusivamente alla ricerca.