PersonaKit (PK): A Plug-and-Play Platform for User Testing Diverse Roles in Full-Duplex Dialogue

Resumo Técnico: PersonaKit (PK)

Declaração do Problema
À medida que os sistemas de diálogo falado transitam de interações half-duplex para full-duplex, a fronteira de design deslocou-se da qualidade do texto para o comportamento sociolinguístico, especificamente a gestão de fala sobreposta (barge-in). Os sistemas full-duplex atuais predominantemente adotam por padrão uma política rígida de "sempre ceder", onde o agente imediatamente abre a vez ao detectar fala do usuário. Embora apropriada para assistentes subservientes, esse comportamento rompe a imersão psicológica para personas não submissas (por exemplo, instrutores autoritários, comerciantes não cooperativos) que naturalmente interromperiam ou manteriam a vez em conversas humanas. A avaliação de estratégias alternativas de troca de turno específicas da persona é atualmente dificultada pela sobrecarga de engenharia substancial necessária para construir ambientes de teste full-duplex em tempo real envolvendo WebRTC, Detecção de Atividade Vocal (VAD), injeção dinâmica de prompts e rastreamento de latência.

Metodologia e Arquitetura do Sistema
Para abordar esses gargalos, os autores apresentam o PersonaKit (PK), uma plataforma web de código aberto e baixa latência projetada para o prototipagem rápida e avaliação de agentes conversacionais. O sistema isola a engenharia de áudio de baixa latência do design experimental, permitindo que pesquisadores configurem experimentos inteiramente através de um painel web e quatro arquivos JSON sem modificar o código-fonte:

• persona.json: Define o cenário, o papel e o prompt inicial.
• interruption_config.json: Especifica uma matriz de estratégia mapeando intenções de interrupção do usuário para ações do agente.
• session_config.json: Configura pesquisas pós-sessão.
• model_config.json: Roteia a geração e a Conversão de Texto em Fala (TTS) para provedores específicos.

Componentes Técnicos Principais:

1. VAD e Rastreamento de Áudio no Lado do Cliente: O frontend utiliza WebRTC com um nó VAD no lado do cliente para interromper imediatamente a reprodução local ao detectar um "barge-in". Ele rastreia a reprodução ao nível de bytes para registrar o "texto cortado" (o que o bot vocalizou antes da interrupção) e o "texto restante" (o que pretendia dizer), transmitindo esse contexto preciso ao servidor.
2. Classificação de Intenção e Gerenciador de Troca de Turno: Após a interrupção, o servidor transcreve a fala do usuário e classifica sua intenção em quatro categorias fundamentadas na análise de conversação: Competitiva (buscando a vez), Cooperativa (adicionando informação), Mudança de Tópico e Backchannel.
3. Injeção Probabilística de Estratégia: Pesquisadores definem uma matriz de estratégia em interruption_config.json mapeando essas intenções para quatro ações: Ceder, Retomar/Manter, Conectar ou Sobrepor, com pesos de probabilidade associados. O Gerenciador de Troca de Turno amostra uma ação dessa distribuição e a injeta como um token de controle (por exemplo, [STRATEGY=RESUME]) no prompt do sistema do LLM. Isso força o LLM a gerar uma resposta condicionada a uma ação pré-comprometida, em vez de escolher uma estratégia zero-shot.
4. Ciclo de Vida Automatizado: As sessões terminam com base em limites de turnos ou intenções verbais de saída. O sistema dispara automaticamente uma pesquisa pós-sessão e exporta logs estruturados (transcrições, logs de eventos com dados de intenção/estratégia e respostas da pesquisa) nos formatos JSON ou CSV.

Estudo Piloto com Usuários e Resultados
Os autores conduziram um estudo piloto com cinco participantes interagindo com oito personas distintas mapeadas para o Circunplexo Interpessoal (variando em Agência e Comunhão). Cada participante experimentou três condições por persona:

• Estilo A (Linha de Base): Sempre Ceder.
• Estilo B (Probabilístico): Pesos de estratégia ajustados via JSON.
• Estilo C (Autônomo): O LLM seleciona a estratégia zero-shot.

Principais Descobertas:

• Preferências Dependentes da Persona: Personas de alta agência (por exemplo, Sargento Instrutor) mostraram melhoria na Naturalidade de Reação com estratégias não cedentes (0,60 para Probabilístico vs. 0,20 para Sempre Ceder), com 60% dos participantes preferindo a condição Autônoma. Por outro lado, personas de baixa agência e alta comunhão (por exemplo, Assistente de IA) favoreceram a política Sempre Ceder (70% de preferência).
• Comportamentos Emergentes: A abordagem probabilística permitiu recuperações coerentes de barge-in que a linha de base Sempre Ceder descartaria. Por exemplo, um Sargento Instrutor interrompido no meio de uma frase retomou com sucesso a frase ("...novamente!") quando o sistema amostrou uma ação de "Retomar", mantendo a consistência do personagem.
• Feedback Qualitativo: Os participantes notaram que estratégias não cedentes pareciam mais "humanas" para papéis autoritários, enquanto estratégias cedentes eram preferidas para papéis de serviço.

Principais Contribuições

1. Plataforma de Código Aberto: Uma plataforma web plug-and-play para avaliação de personas full-duplex que elimina o gargalo de engenharia de construir ambientes de diálogo em tempo real personalizados.
2. Troca de Turno Configurável: Um mecanismo baseado em JSON que eleva políticas de interrupção condicionadas à persona a objetos configuráveis de primeira classe, permitindo que pesquisadores definam comportamentos de troca de turno probabilísticos sem alterações no código.
3. Fluxo de Trabalho End-to-End: Um sistema integrado que suporta implantação ao vivo, pesquisas comparativas A/B automatizadas e exportação de dados estruturados para análise de comportamentos sociolinguísticos complexos.

Significado e Limitações
O artigo afirma que o PersonaKit fornece um framework extensível e end-to-end para estudar como estratégias de troca de turno afetam a percepção do usuário e a consistência da persona em agentes falados de próxima geração. Ele demonstra que políticas de interrupção preferidas variam significativamente com base no papel da persona dentro do Circunplexo Interpessoal.

Os autores mantêm uma postura modesta em relação às suas descobertas. Eles reconhecem que o estudo piloto (N=5) é descritivo e não inferencial, exigindo amostras maiores para alegações robustas sobre mapeamentos circunplexo-para-estratégia. Eles também notam limitações em sua classificação de intenção zero-shot (que pode rotular erroneamente back-channels ambíguos) e a exclusão de pistas prosódicas de alta granularidade (tom, olhar) em favor da configurabilidade. O sistema é apresentado como um campo de testes para pesquisas futuras, e não como uma solução comercial finalizada.