Resumo Técnico: TRACE BENCH

Problema

Os atuais benchmarks de avaliação de roleplay sofrem de um descompasso fundamental entre as pontuações de avaliação e os requisitos comportamentais específicos que pretendem medir. Os métodos existentes geralmente se dividem em três categorias, cada uma com limitações significativas:

1. Benchmarks Estáticos: Baseiam-se em perguntas fixas ou respostas de turno único. Embora sejam reproduzíveis, falham em testar a capacidade de um modelo de sustentar a identidade, gerenciar objetivos de longo prazo ou aderir a limites comportamentais em interações dinâmicas de múltiplos turnos.
2. Benchmarks de Chat Livre: Colocam os modelos em diálogos abertos. Embora mais próximos da interação natural, muitas vezes carecem de cobertura sistemática do perfil do personagem. Um diálogo pode ser longo, mas falhar em elicitar restrições críticas do papel, levando a pontuações baseadas em "impressões holísticas de caixa-preta" em vez de evidências verificadas.
3. Benchmarks Agênticos: Utilizam agentes para conduzir a interação, mas frequentemente carecem de alvos de teste fixos e rastreamento de estado explícito, tornando difícil auditar quais requisitos foram realmente testados ou por que uma pontuação específica foi atribuída.

A lacuna central é a falta de um framework que combine interação adaptativa com requisitos fixos e rastreáveis, garantindo que as pontuações sejam diretamente fundamentadas em evidências de diálogo específicas e estados de checklist.

Metodologia: Framework TRACE BENCH

O TRACE BENCH (Task-driven Roleplay Agentic Checklist Evaluation) aborda essas lacunas através de um pipeline de quatro estágios que converte perfis de personagens em avaliações verificáveis e orientadas por estado.

1. Construção de Checklist Offline

Em vez de depender de geração dinâmica em tempo de execução, o TRACE BENCH decompõe cada perfil de personagem offline em um checklist fixo e orientado por tarefas.

• Conteúdo: O checklist cobre identidade, personalidade, padrões comportamentais, limites de habilidade/conhecimento, estilo de fala, restrições de privacidade e adaptação de cena.
• Processo: Um fluxo de trabalho baseado em habilidades gera casos (combinando perfis de personagens, perfis de usuários e cenas de interação) e os converte em checklists contendo milhares de itens específicos (ex: "Lembrar Relacionamento", "Manter Conhecimento do Mundo").
• Validação: Os casos passam por validação automática e revisão manual para garantir itens de teste significativos e granulares.

2. Interação Agêntica com Rastreamento Privado

Durante a avaliação, um Agente Usuário engaja o modelo de roleplay alvo em um diálogo natural.

• Papel Duplo: O Agente Usuário atua como um usuário natural (aderindo a um perfil de usuário) enquanto mantém simultaneamente um rastreador de checklist privado.
• Elicitação Adaptativa: O agente direciona ativamente a conversa para descobrir itens que estão pendentes, sub-evidenciados ou contraditórios. Ele não solicita explicitamente os itens do checklist, mas constrói cenas plausíveis para fazê-los emergir naturalmente.
• Máquina de Estados: Cada item do checklist transita por cinco estados: pendente (pending), em_progresso (in_progress), concluído (completed), falhou (failed) e abandonado (abandoned).
  • Falha Estrita: Um estado de falha é irreversível; uma única violação invalida o item, independentemente de conformidade posterior.
  • Fundamentado em Evidências: As transições exigem evidências concretas de diálogo. A conversa só termina quando todos os itens atingem um estado terminal com evidências anexadas.

3. Pontuação Determinística

As pontuações não são julgamentos holísticos, mas agregados do rastro de estado do checklist.

• Consistência de Personagem (CC): A proporção de itens de checklist que não são de memória que atingem o estado concluído.
• Memória de Curto Prazo (STM): A proporção de casos onde o modelo recorda corretamente fatos injetados pelo usuário.
• Métricas Auxiliares: Qualidade de Linguagem, Diversidade e Extensão são avaliadas por turno para fornecer uma Pontuação Geral composta.
• Rastreabilidade: Cada pontuação pode ser rastreada até itens específicos do checklist e os turnos de diálogo que sustentaram o julgamento.

4. Evolução de Benchmark de Ciclo Fechado

O TRACE BENCH introduz um mecanismo de autoevolução. Após uma execução de avaliação, o sistema analisa os rastros de falha para identificar métodos de verificação eficazes que expuseram com sucesso as fraquezas do modelo. Esses métodos são destilados em fluxos de verificação reutilizáveis para o Agente Usuário em avaliações subsequentes, criando um protocolo de teste de estresse mais direcionado ao longo do tempo sem alterar os requisitos de personagem subjacentes.

Principais Contribuições

1. Design de Framework: Propõe o TRACE BENCH, um framework que converte perfis de personagens em checklists fixos e utiliza interação agêntica para conduzir uma avaliação adaptativa e fundamentada em evidências.
2. Lançamento de Dataset: Lança um conjunto de dados de 200 casos de avaliação (78 do CharacterEval, 122 gerados por cenário) compreendendo 5.498 itens de checklist, cobrindo diversos papéis e restrições complexas.
3. Leaderboard de 26 Modelos: Fornece um leaderboard abrangente para 26 modelos (API, modelos gerais abertos e modelos ajustados para roleplay), oferecendo não apenas rankings, mas detalhamentos de capacidade e rastros diagnósticos (ex: inversões de completado-para-falha).
4. Evolução de Ciclo Fechado: Demonstra um mecanismo para melhorar iterativamente os protocolos de avaliação ao destilar fluxos de verificação eficazes a partir de rastros de falha.

Resultados Experimentais

O artigo valida o framework através de quatro experimentos principais:

• Validação Cruzada de Cobertura: Quando comparado com transcrições de chat livre liberadas do MiniMax Role-play Benchmark, o TRACE BENCH alcançou 99,91% de cobertura dos itens do checklist dentro de 65 mensagens (usuário + assistente combinados), enquanto as transcrições de chat livre cobriram apenas 73,74% mesmo após 102 mensagens. Isso confirma que o chat livre frequentemente falha em elicitar sistematicamente os requisitos do papel.
• Estabilidade do Protocolo:
  • Execuções Repetidas: Os rankings permaneceram estáveis em três execuções independentes para seis modelos (desvio padrão < 1,34).
  • Substituição do Agente Usuário: Os rankings foram preservados quando o modelo do Agente Usuário foi trocado (ex: Qwen3.6 vs. Gemma-4), indicando que o protocolo é robusto a variações de agente.
  • Higiene do Protocolo: A remoção de mensagens de abertura "seed" fixas (protocolo UserAgentFirst) eliminou a contaminação de evidências, garantindo que as pontuações reflitam o comportamento do modelo e não o contexto fornecido pelo benchmark.
• Evolução do Benchmark: A aplicação do mecanismo de Evolução de Ciclo Fechado resultou em uma queda média de 8,48 pontos na Consistência de Personagem (CC) entre 26 modelos. Isso indica que o protocolo evoluído conseguiu elicitar mais fraquezas dos modelos ao refinar os fluxos de verificação baseados em falhas anteriores.
• Concordância Humana: Uma auditoria humana de 600 itens de checklist mostrou 93,00% de concordância entre os julgamentos automatizados do Agente Usuário e os votos da maioria humana, validando a confiabilidade do mecanismo de rastreamento de estado.

Significância e Alegações

O artigo afirma que o TRACE BENCH desloca a avaliação de roleplay de pontuações holísticas opacas para a verificação interativa e rastreável. Ao fundamentar as pontuações em estados de checklist específicos e evidências de diálogo, o framework:

• Revela Modos de Falha: Identifica exatamente quais requisitos de personagem um modelo falha em atender e fornece a evidência de diálogo que sustenta esse julgamento.
• Garante Cobertura: Garante que a avaliação teste ativamente todo o escopo do perfil do personagem, em vez de depender da aleatoriedade de uma conversa livre.
• Permite Melhoria Iterativa: Através da Evolução de Ciclo Fechado do Benchmark, o framework pode refinar continuamente sua capacidade de testar modelos sob estresse, indo além de benchmarks estáticos em direção a uma infraestrutura de avaliação sustentável.

Os autores posicionam o TRACE BENCH não como uma solução final para todos os aspectos subjetivos do roleplay (como nuance emocional ou charme, que permanecem difíceis de listar em checklists), mas como uma base rigorosa para avaliar a fidelidade de identidade, adesão a restrições e consistência comportamental em agentes interativos.