Resumo Técnico: ARCANE (Avaliação Narrativa Consciente de Arcos)

1. Definição do Problema

Agentes de linguagem para interpretação de papéis (RPLAs) são cada vez mais esperados para fornecer interações imersivas e autênticas com personagens fictícios. No entanto, os benchmarks de avaliação atuais tratam majoritariamente os personagens como entidades estáticas, focando na recuperação de fatos, consistência de traços ou estilo linguístico superficial em um único ponto no tempo. Essa abordagem falha em capturar a natureza dinâmica do desenvolvimento de personagens em narrativas de longa duração, onde os valores, motivações e padrões comportamentais de um personagem evoluem significamente à medida que os eventos se acumulam.

Benchmarks existentes, como o TimeCHARA, detectam primariamente alucinações fatuais (por exemplo, se um personagem conhece eventos que ainda não aconteceram), mas não avaliam se as respostas comportamentais e psicológicas do agente estão alinhadas com o estágio de desenvolvimento específico do personagem. Consequentemente, os RPLAs podem produzir respostas plausíveis que, no entanto, estão "fora do personagem" em relação à linha do tempo narrativa, falhando em refletir a trajetória psicológica (o "Arco do Personagem") que define a história.

2. Metodologia

2.1 O Benchmark ARCANE

Os autores introduzem o ARCANE (Avaliação Narrativa Consciente de Arcos), um benchmark construído automaticamente projetado para avaliar se as respostas de um RPLA mudam fielmente em sintonia com a psicologia evolutiva de um personagem através de fases narrativas. O conjunto de dados abrange 17 romances, 80 personagens principais, compreendendo 544 Arcos de Personagem e 4.601 sondagens (probes).

O pipeline de construção envolve duas etapas primárias:

• Construção do Arco do Personagem:

  • Extração de Fluxo Duplo: A narrativa é processada através de dois fluxos independentes: um fluxo de eventos (extraindo eventos psicologicamente impactantes) e um fluxo de estado (emitindo perfis psicológicos transversais).
  • Indução de Eixos: Esses fluxos induzem eixos candidatos (dimensões psicológicas) rastreando mudanças internas (ex: crenças, motivações) e mudanças relacionais (ex: confiança, antagonismo).
  • Reconciliação e Validação: Um LLM reconcilia os candidatos de ambos os fluxos. Para o conjunto de avaliação, três anotadores humanos validam independentemente os eixos com base na validade literária, amplitude do romance e importância. Apenas eixos aprovados por uma maioria de 2 de 3 entram no benchmark final.
  • Estrutura: Cada arco é segmentado em fases, definindo uma trajetória de um estado inicial para um estado final ao longo de um eixo psicológico (ex: o eixo moral de Harry Potter mudando de "Justiça Punitiva" para "Perdão Empático").

• Geração de Sondagens (Probes):

  • Design de Cenário: Para cada arco, um par (cenário, pergunta) único é gerado e testado em todas as fases do arco.
  • Categorias: As sondagens são categorizadas pela sua distância do texto de origem:
    • In-Scenario (No Cenário): Extraídas literalmente do texto de origem.
    • In-World (No Mundo): Situações inventadas dentro do cenário da fonte, mas não escritas explicitamente.
    • Out-of-World (Fora do Mundo): Cenários transpostos para eras ou configurações não pertencentes à fonte, exigindo a generalização do arco do personagem.
  • Respostas de Referência: Cada sondagem inclui respostas de referência específicas de cada fase (ação + pensamento) que definem o comportamento "ouro" para aquela fase narrativa específica.

2.2 Métricas de Avaliação

A avaliação utiliza dois níveis de métricas:

1. Métricas por Fase: Avaliam respostas individuais contra a referência para aquela fase.
   • APF (Fidelidade de Fase de Ação): Classifica ações óbvias (estratégia, valência, alvo).
   • RPF (Fidelidade de Fase de Raciocínio): Analisa o raciocínio em campos (gatilho, avaliação, objetivo, estratégia).
   • RAE (Implicação Raciocínio–Ação): Verifica se a ação é licenciada pelo raciocínio.
2. Métrica de Trajetória:
   • PTF (Fidelidade de Trajetória de Fase): Avalia a sequência de respostas através de todas as fases para garantir que o modelo acompanhe a direção e a forma do arco, penalizando modelos que colapsam fases adjacentes ou se movem na direção errada.

2.3 Estratégias de Contexto

O estudo compara seis modos de contexto para determinar qual melhor fundamenta o modelo no estado do personagem:

• Vanilla: Identidade e consulta apenas o capítulo atual.
• Summary (Resumo): Resumos de capítulos recentes.
• RAG: Fragmentos de texto de origem recuperados.
• LifeChoice / TimeCHARA: Formatos de contexto de benchmarks existentes.
• ARC (Proposto): O Arco do Personagem curado e truncado no capítulo da consulta, expondo o modelo à informação da trajetória usada para construir as sondagens.

2.4 Treinamento de Modelo

Os autores realizaram o ajuste fino de modelos de pesos abertos (Qwen3-8B e Qwen3-32B) usando um pipeline de duas etapas:

1. Aprendizado Supervisionado (SFT): Aprendendo o formato de resposta e as convenções comportamentais do ARCANE.
2. Otimização de Preferência Direta (DPO): Aprendendo a distinguir o comportamento real do personagem de alternativas plausíveis, mas temporalmente deslocadas (ex: ações que se ajustam ao personagem, mas pertencem a uma fase narrativa diferente).
   Isso resultou no ARCANE-8B e ARCANE-32B.

3. Principais Resultados

• Superioridade do Contexto Fundamentado no Arco: Entre seis modelos (incluindo variantes do DeepSeek-V4 e Qwen3) e seis modos de contexto, a condicionação no Arco do Personagem alcançou consistentemente as pontuações Gerais mais altas. A diferença entre o Arco e o melhor baseline não-Arco variou de 2,2 a 8,4 pontos.
• Generalização para Cenários Não Vistos: A vantagem do contexto de Arco foi mais pronunciada em cenários Out-of-World (onde a recuperação não possui texto de origem relevante para encontrar). Nesses casos, métodos baseados em recuperação (RAG, LifeChoice) falharam em fornecer a fundamentação necessária, enquanto o Arco forneceu o estado psicológico necessário.
• Rastreamento de Trajetória: A métrica PTF mostrou os maiores ganhos para modelos fundamentados no Arco. Embora modelos sem o Arco pudessem às vezes pontuar bem em fases isoladas, eles frequentemente falharam em manter a mudança direcional correta ao longo da narrativa.
• Desempenho em Romances de Baixa Popularidade: A vantagem do Arco estendeu-se a romances de baixa popularidade (ex: The Underdogs, East Lynne) não incluídos no conjunto de validação, com aumentos de desempenho de +4,1 a +15,3 pontos sobre os baselines.
• Efeitos de Treinamento: O ajuste fino com DPO aumentou ainda mais o desempenho, particularmente nas categorias In-World e Out-of-World, ao ensinar o modelo a distinguir entre estágios de desenvolvimento adjacentes. No entanto, o DPO às vezes reduziu o desempenho em tarefas In-Scenario, sugerindo um compromisso entre a adesão estrita ao cânone e o rastreamento do arco.

4. Significância e Alegações

O artigo afirma que o ARCANE aborda uma lacuna crítica na avaliação de RPLAs ao mudar o foco da consistência de persona estática para a evolução comportamental dinâmica. Os autores argumentam que:

1. Personas Estáticas são Insuficientes: A interpretação de papéis autêntica exige que os agentes adaptem seus valores e comportamentos conforme a história progride, não apenas que recordem fatos.
2. A Recuperação é Limitada: Métos de recuperação padrão (RAG) são ineficazes para avaliar ou guiar o comportamento do personagem em cenários que o texto de origem nunca explorou; a trajetória psicológica explícita (o Arco) é necessária.
3. Treinar em Arcos Funciona: O ajuste fino em dados de arco contrastivos (SFT + DPO) permite que os modelos rastreiem melhor as trajetórias de desenvolvimento, reduzindo "alucinações de comportamento do personagem".

Os autores concluem que, embora seu conjunto de dados seja atualmente restrito a romances em inglês e evolução de personagem único, o ARCANE fornece um framework robusto para avaliar a natureza "viva" da simulação de personagens. Eles identificam o diálogo de múltiplos turnos, onde o arco avança através da interação, como o próximo passo natural para esta pesquisa.

Limitações Reconhecidas:

• O conjunto de dados é restrito ao inglês e ao domínio de romances.
• A avaliação foca no comportamento de personagem único sobre eventos acumulados, não em interações usuário-personagem ou personagem-personagem.
• O material de origem inclui romances do século XIX/início do XX com atitudes sociais de época, exigindo tratamento cuidadoso para evitar a reprodução de estereótipos prejudiciais.
• Os artefatos são destinados apenas para fins de pesquisa.