Resumen Técnico: ARCANE (Evaluación Narrativa Consciente del Arco)

1. Planteamiento del Problema

Se espera cada vez más que los agentes de lenguaje de juego de rol (RPLA, por sus siglas en inglés) proporcionen interacciones inmersivas y auténticas con personajes ficticios. Sin embargo, los benchmarks de evaluación actuales tratan mayoritariamente a los personajes como entidades estáticas, centrándose en la recuperación de hechos, la consistencia de rasgos o el estilo lingüístico superficial en un único punto en el tiempo. Este enfoque no logra capturar la naturaleza dinámica del desarrollo de personajes en narrativas de larga duración, donde los valores, las motivaciones y los patrones de comportamiento de un personaje evolucionan significamente a medida que se acumulan los eventos.

Los benchmarks existentes, como TimeCHARA, detectan principalmente alucinaciones de hechos (por ejemplo, si un personaje conoce eventos que aún no han sucedido), pero no evalúan si las respuestas conductuales y psicológicas del agente se alinean con la etapa de desarrollo específica del personaje. En consecuencia, los RPLA pueden producir respuestas plausibles que, sin embargo, están "fuera de personaje" respecto a la línea temporal narrativa, fallando en reflejar la trayectoria psicológica (el "Arco del Personaje") que define la historia.

2. Metodología

2.1 El Benchmark ARCANE

Los autores presentan ARCANE (Evaluación Narrativa Consciente del Arco), un benchmark construido automáticamente diseñado para evaluar si las respuestas de un RPLA cambian fielmente al compás de la evolución psicológica de un personaje a través de las fases narrativas. El conjunto de datos abarca 17 novelas y 80 personajes principales, comprendiendo 544 Arcos de Personaje y 4.601 sondas (probes).

El proceso de construcción implica dos etapas primarias:

• Construcción del Arco del Personaje:

  • Extracción de Doble Flujo: La narrativa se procesa a través de dos flujos independientes: un flujo de eventos (extracción de eventos psicológicamente impactantes) y un flujo de estado (emisión de perfiles psicológicos transversales).
  • Inducción de Ejes: Estos flujos inducen ejes candidatos (dimensiones psicológicas) que rastrean cambios internos (p. ej., creencias, motivos) y cambios relacionales (p. ej., confianza, antagonismo).
  • Reconciliación y Validación: Un LLM reconcilia los candidatos de ambos flujos. Para el conjunto de evaluación, tres anotadores humanos validan independientemente los ejes basándose en la validez literaria, la extensión de la novela y la importancia. Solo los ejes aprobados por una mayoría de 2 de 3 entran en el benchmark final.
  • Estructura: Cada arco se segmenta en fases, definiendo una trayectoria desde un estado inicial hacia un estado final a lo largo de un eje psicológico (p. ej., el eje moral de Harry Potter cambiando de "Justicia Punitiva" a "Perdón Empático").

• Generación de Sondas (Probes):

  • Diseño de Escenarios: Para cada arco, se genera y prueba un par (escenario, pregunta) único a través de todas las fases del arco.
  • Categorías: Las sondas se categorizan por su distancia respecto al texto fuente:
    • In-Scenario (En el escenario): Extraídas literalmente del texto fuente.
    • In-World (En el mundo): Situaciones inventadas dentro del entorno de la fuente pero no escritas explícitamente.
    • Out-of-World (Fuera del mundo): Escenarios transpuestos a épocas o entornos ajenos a la fuente, que requieren la generalización del arco del personaje.
  • Respuestas de Referencia: Cada sonda incluye respuestas de referencia específicas de la fase (acción + pensamiento) que definen el comportamiento "oro" para esa fase narrativa específica.

2.2 Métricas de Evaluación

La evaluación emplea dos niveles de métricas:

1. Métricas por Fase: Evalúan las respuestas individuales frente a la referencia de esa fase.
   • APF (Fidelidad de Acción de Fase): Califica acciones manifiestas (estrategia, valencia, objetivo).
   • RPF (Fidelidad de Razonamiento de Fase): Descompone el razonamiento en ranuras (disparador, valoración, meta, estrategia).
   • RAE (Implicación de Razonamiento-Acción): Comprueba si la acción está autorizada por el razonamiento.
2. Métrica de Trayectoria:
   • PTF (Fidelidad de la Trayectoria de Fase): Evalúa la secuencia de respuestas a través de todas las fases para asegurar que el modelo sigue la dirección y la forma del arco, penalizando a los modelos que colapsan fases adyacentes o se mueven en la dirección incorrecta.

2.3 Estrategias de Contexto

El estudio compara seis modos de contexto para determinar cuál fundamenta mejor al modelo en el estado del personaje:

• Vanilla (Básico): Identidad y consulta únicamente del capítulo.
• Summary (Resumen): Resúmenes de capítulos recientes.
• RAG (Recuperación Aumentada por Generación): Fragmentos de texto fuente recuperados.
• LifeChoice / TimeCHARA: Formatos de contexto de benchmarks existentes.
• ARC (Propuesto): El Arco del Personaje curado y truncado en el capítulo de la consulta, exponiendo al modelo a la información de la trayectoria utilizada para construir las sondas.

2.4 Entrenamiento del Modelo

Los autores ajustaron modelos de pesos abiertos (Qwen3-8B y Qwen3-32B) utilizando un pipeline de dos etapas:

1. Aprendizaje Supervisado (SFT): Aprendizaje del formato de respuesta y las convenciones de comportamiento de ARCANE.
2. Optimización de Preferencia Directa (DPO): Aprendizaje para distinguir el comportamiento real del personaje de alternativas plausibles pero temporalmente desplazadas (p. ej., acciones que encajan con el personaje pero pertenecen a una fase narrativa distinta).
   Esto resultó en ARCANE-8B y ARCANE-32B.

3. Resultados Clave

• Superioridad del Contexto Basado en el Arco: A través de seis modelos (incluyendo variantes de DeepSeek-V4 y Qwen3) y seis modos de contexto, la condición basada en el Personaje (Character Arc) logró consistentemente los puntajes generales más altos. La brecha entre el Arco y el mejor baseline no basado en el Arco osciló entre 2.2 y 8.4 puntos.
• Generalización a Escenarios No Vistos: La ventaja del contexto del Arco fue más pronunciada en escenarios Out-of-World (donde la recuperación no tiene texto fuente relevante para encontrar). En estos casos, los métodos basados en recuperación (RAG, LifeChoice) fallaron al no proporcionar la fundamentación necesaria, mientras que el Arco proporcionó el estado psicológico necesario.
• Seguimiento de la Trayectoria: La métrica PTF mostró las mayores ganancias para los modelos basados en el Arco. Aunque los modelos sin el Arco podían puntuar bien en fases individuales aisladas, a menudo fallaban en mantener el cambio direccional correcto a través de la narrativa.
• Rendimiento en Novelas de Baja Popularidad: La ventaja del Arco se extendió a novelas de baja popularidad (p. ej., The Underdogs, East Lynne) no incluidas en el conjunto de validación, con aumentos de rendimiento de +4.1 a +15.3 puntos sobre los baselines.
• Efectos del Entrenamiento: El ajuste fino con DPO mejoró aún más el rendimiento, particularmente en las categorías In-World e In-Out-of-World, al enseñar al modelo a distinguir entre etapas de desarrollo adyacentes. Sin embargo, el DPO a veces redujo el rendimiento en tareas In-Scenario, sugiriendo un compromiso entre la adherencia estricta al canon y el seguimiento del arco.

4. Significación y Reivindicaciones

El artículo afirma que ARCANE aborda una brecha crítica en la evaluación de RPLA al desplazar el enfoque de la consistencia de la persona estática hacia la evolución conductual dinámica. Los autores argumentan que:

1. Las Personas Estáticas son Insuficientes: El juego de rol auténtico requiere que los agentes adapten sus valores y comportamientos a medida que la historia progresa, no solo que recuerden hechos.
2. La Recuperación es Limitada: Los métodos de recuperación estándar (RAG) son ineficaces para evaluar o guiar el comportamiento del personaje en escenarios que el texto fuente nunca explora; se requiere la trayectoria psicológica explícita (el Arco).
3. Entrenar en Arcos Funciona: El ajuste fino con datos de arco contrastivos (SFT + DPO) permite a los modelos rastrear mejor las trayectorias de desarrollo, reduciendo las "alucinaciones de comportamiento del personaje".

Los autores concluyen que, aunque su conjunto de datos está actualmente restringido a novelas en inglés y la evolución de un solo personaje, ARCANE proporciona un marco robusto para evaluar la naturaleza "viva" de la simulación de personajes. Identifican el diálogo de múltiples turnos, donde el arco avanza a través de la interacción, como el siguiente paso natural para esta investigación.

Limitaciones Reconocidas:

• El conjunto de datos es exclusivamente en inglés y está restringido al dominio de la novela.
• La evaluación se centra en el comportamiento de un solo personaje sobre eventos acumulados, no en las interacciones usuario-personaje o personaje-personaje.
• El material de origen incluye novelas de los siglos XIX y principios del XX con actitudes sociales de la época, lo que requiere un manejo cuidadoso para evitar la reproducción de estereotipos dañinos.
• Los artefactos están destinados únicamente para la investigación.