PICon: A Multi-Turn Interrogation Framework for Evaluating Persona Agent Consistency

Título: PICON: Um Framework de Interrogatório Multi-turno para Avaliar a Consistência de Agentes de Persona

1. Problema e Motivação

Agentes de persona baseados em Grandes Modelos de Linguagem (LLMs) estão sendo adotados rapidamente como substitutos escaláveis para participantes humanos em diversas áreas, como treinamento médico, experimentos sociais e design de produtos. No entanto, existe uma lacuna crítica: não há um método sistemático para verificar se as respostas de um agente de persona permanecem livres de contradições e imprecisões factuais ao longo de uma interação complexa.

A literatura atual avalia a consistência principalmente através de:

• Conversas casuais abertas (chitchat).
• Perguntas e respostas independentes.
• Classificadores de NLI (Natural Language Inference) ou "LLM como Juiz" focados apenas em pares de turnos isolados.

Limitações das abordagens existentes:

1. Falta de Encadeamento Lógico: As perguntas não são logicamente conectadas, permitindo que o agente forneça respostas superficialmente consistentes sem ser testado sob pressão de perguntas de acompanhamento lógicas.
2. Ignorância de Dimensões Críticas: A maioria dos métodos ignora a consistência externa (alinhamento com fatos do mundo real) e a consistência de reteste (estabilidade sob repetição).
3. Falhas em Contradições Multi-hop: Contradições que só surgem quando se acumulam várias declarações ao longo do tempo (e não apenas entre dois turnos adjacentes) passam despercebidas.

2. Metodologia: O Framework PICON

O PICON (Persona Interrogation framework for CONsistency evaluation) é inspirado em princípios de interrogatório de inteligência (baseados em um relatório desclassificado da CIA sobre técnicas da polícia secreta húngara). O framework opera como uma caixa preta, sem acesso à implementação interna do agente, simulando um interrogador humano.

Arquitetura Multi-Agente:
O sistema é orquestrado por três agentes distintos:

1. Questioner (Interrogador): Gera perguntas de acompanhamento logicamente encadeadas baseadas nas respostas anteriores.
2. Entity & Claim Extractor (Extrator de Entidades e Afirmativas): Identifica entidades verificáveis (ex: instituições, locais) e gera afirmações factuais para busca na web.
3. Evaluator (Avaliador): Analisa todo o log de interação para calcular pontuações de consistência.

Fases de Operação:
O framework divide-se em duas fases principais:

• Fase de Interrogatório (3 Estágios):

  1. Get-to-Know (Conhecer): Perguntas demográficas básicas (idade, ocupação, etc.) para estabelecer uma linha de base.
  2. Main Interrogation (Interrogatório Principal): O Questioner faz perguntas de acompanhamento lógicas. O Extractor identifica entidades e o Questioner usa uma ferramenta de busca na web para verificar fatos e gerar perguntas de confirmação (ex: "Você mencionou a Universidade X; ela oferece o curso Y?").
  3. Retest (Re-teste): As perguntas demográficas iniciais são re-feitas para verificar se a identidade do agente mudou após o diálogo.

• Fase de Avaliação:
  O Evaluator calcula três métricas quantitativas independentes:

  1. Consistência Interna (IC): Mede a ausência de auto-contradição. É calculada como a média harmônica entre:
     • Cooperatividade: Fração de respostas substantivas (evitar respostas como "não sei" ou "prefiro não dizer").
     • Taxa de Não-Contradição: Fração de respostas que não contradizem o histórico anterior.
  2. Consistência Externa (EC): Mede o alinhamento com fatos do mundo real. É a média harmônica entre:
     • Cobertura (Coverage): Frequência com que o agente fornece detalhes factuais verificáveis.
     • Taxa de Não-Refutação: Frequência com que as afirmações verificáveis não são refutadas pela busca na web.
  3. Consistência de Re-teste (RC): Mede a estabilidade das respostas demográficas quando a mesma pergunta é feita novamente em momentos diferentes.

3. Configuração Experimental

• Agentes Avaliados: 7 grupos de agentes de persona (incluindo Character.ai, OpenCharacter, Consistent LLM, Twin 2K 500, DeepPersona, Li et al. (2025) e Human Simulacra).
• Base de Referência Humana: 63 participantes humanos reais foram submetidos ao mesmo protocolo de interrogatório para estabelecer um baseline de consistência humana.
• Configuração Técnica: O framework utiliza modelos de ponta (GPT-5, Gemini-2.5-Flash) para os agentes do próprio PICON, mas também foi testado com modelos de código aberto.

4. Resultados Principais

Os resultados revelam que nenhum agente de persona atual supera a linha de base humana em todas as três dimensões simultaneamente, e muitos falham drasticamente em comparação com humanos.

• Desempenho Geral: O grupo humano obteve a maior área normalizada no gráfico de radar (IC, EC, RC), indicando a consistência mais robusta e equilibrada.
• Consistência Interna (IC):
  • Agentes como OpenCharacter e Consistent LLM, que relatavam alta consistência em estudos anteriores, tiveram as pontuações mais baixas no PICON.
  • Causa: Eles mantêm uma alta taxa de não-contradição, mas falham em cooperatividade. Frequentemente respondem com conteúdo irrelevante ou evasivo para evitar contradições, o que o PICON penaliza corretamente.
  • O PICON detectou contradições "multi-hop" (que só aparecem após acumular 3+ turnos) que métodos de par único não capturam.
• Consistência Externa (EC):
  • A maioria dos agentes teve pontuação baixa devido à baixa cobertura (evitam fornecer fatos específicos verificáveis).
  • Character.ai teve o melhor desempenho em EC, gerando muitos fatos verificáveis, embora sua taxa de não-refutação fosse menor que a de outros.
• Consistência de Re-teste (RC):
  • Mesmo com o contexto anterior disponível, agentes como Character.ai e OpenCharacter mostraram instabilidade severa, alterando dados demográficos centrais (ex: ano de nascimento mudando de 1999 para 1944) entre sessões ou mesmo dentro da mesma sessão.
  • A análise inter-sessão (resetando o contexto) mostrou que a inconsistência é intrínseca ao agente e não apenas dependente do contexto acumulado.

5. Contribuições e Significância

1. Novo Framework de Avaliação: O PICON é o primeiro framework a operacionalizar princípios de interrogatório para avaliar a consistência de agentes de persona de forma automatizada e multi-turno, cobrindo as três dimensões (interna, externa e reteste).
2. Descoberta de Padrões de Falha: O estudo expõe que a consistência de par (pairwise) é necessária, mas insuficiente. Revela que agentes "consistentes" em benchmarks antigos muitas vezes usam evasão (falta de cooperatividade) para manter a ilusão de consistência.
3. Validação de Substituição Humana: Os resultados indicam que, atualmente, nenhum agente de persona é suficientemente confiável para substituir participantes humanos em pesquisas que exigem alta fidelidade e consistência factual, pois falham em manter uma identidade coesa sob interrogatório lógico.
4. Recurso Aberto: Os autores disponibilizam o código-fonte e uma demonstração interativa, permitindo que a comunidade científica reproduza e expanda a avaliação.

Conclusão

O trabalho estabelece que a confiança em agentes de persona como substitutos humanos deve ser precedida por uma avaliação rigorosa de consistência. O PICON demonstra que, sob um interrogatório lógico e encadeado, as ilusões de identidade fabricada por LLMs frequentemente se desmoronam, revelando contradições internas, falhas factuais e instabilidade temporal que não são detectadas por métodos de avaliação tradicionais.