SparkMe: Adaptive Semi-Structured Interviewing for Qualitative Insight Discovery

Título: SparkMe: Entrevistas Semiestruturadas Adaptativas para Descoberta de Insights Qualitativos

1. O Problema

A coleta de dados qualitativos em escala é fundamental para decisões de produtos e políticas, mas enfrenta um gargalo prático: a escassez de tempo e disponibilidade de especialistas humanos para conduzir entrevistas semiestruturadas.

• Limitação das Pesquisas: Inquéritos estruturados são escaláveis, mas limitam as respostas a categorias pré-definidas, gerando dados superficiais.
• Limitação das Entrevistas Humanas: Entrevistas semiestruturadas permitem adaptação e descoberta de temas emergentes, mas são lentas e caras de executar em larga escala.
• Limitação das Soluções Atuais com LLMs: Sistemas recentes que utilizam Grandes Modelos de Linguagem (LLMs) para automatizar entrevistas geralmente dependem apenas de prompt engineering. Eles carecem de um mecanismo principista para equilibrar dois objetivos concorrentes:
  1. Cobertura Sistemática: Garantir que todos os tópicos pré-definidos no guia de entrevista sejam abordados.
  2. Exploração Adaptativa (Emergência): Aprofundar-se em temas não previstos que surgem organicamente nas respostas do participante.
     Os sistemas atuais não conseguem otimizar explicitamente essa troca-off (trade-off), resultando em entrevistas que ou são muito rígidas ou perdem o foco sem gerar insights valiosos.

2. Metodologia e Formulação

Os autores formulam a entrevista semiestruturada adaptativa como um problema de otimização sobre o comportamento do entrevistador.

A. Função de Utilidade (Objective Function)
O objetivo é maximizar uma função de utilidade $U$ que pondera três componentes:
$$U(Q, R, S) = \alpha C(R|Q, S) - \beta L(Q) + \gamma E(R|Q)$$
Onde:

• $C$ (Cobertura Pré-definida): A fração de subtópicos do guia de entrevista que foram explorados em profundidade.
• $E$ (Cobertura Emergente): A descoberta e cobertura de "subtemas emergentes" (conteúdo relevante introduzido pelo participante, mas não listado no guia original).
• $L$ (Custo): O ônus para o entrevistado, medido pelo número de turnos ou complexidade das perguntas (a ser minimizado).
• $\alpha, \beta, \gamma$: Pesos ajustáveis pelos pesquisadores para priorizar cobertura, emergência ou eficiência.

B. Arquitetura do Sistema: SparkMe
Para resolver este problema de otimização, o SparkMe utiliza uma arquitetura de multi-agentes inspirada na teoria dos processos duplos de cognição (pensamento rápido vs. planejamento deliberativo):

1. Agente Entrevistador (Interviewer Agent - IA): Opera em nível de turno. Conduz a conversa, faz perguntas e mantém o fluxo natural. Escolhe entre três ações: sondar profundidade, explorar emergência ou transitar para o próximo tópico.
2. Gerenciador de Agenda (Agenda Manager - AM): Opera sincronamente com o IA. Mantém uma "Agenda de Entrevista" compartilhada, rastreando o estado de cobertura de cada subtópico, resumindo notas e avaliando se um tópico está "completo" (usando o critério STAR: Situação, Tarefa, Ação, Resultado).
3. Planejador de Exploração (Exploration Planner - EP): Opera assincronamente a cada $k$ turnos. É o componente inovador que realiza planejamento deliberativo:
   • Simulação de Rollouts: O EP simula múltiplos futuros possíveis da conversa (rollouts) usando o LLM para prever respostas hipotéticas do entrevistado.
   • Estimativa de Utilidade: Calcula o ganho esperado de utilidade ($\Delta U$) para diferentes trajetórias de perguntas, considerando a cobertura futura e a probabilidade de descobrir temas emergentes.
   • Seleção de Direção: Recomenda ao IA qual direção seguir (ex: aprofundar um tema emergente identificado) para maximizar a utilidade global, em vez de apenas seguir o roteiro.

3. Contribuições Principais

1. Formulação de Otimização: Definição de uma função de utilidade customizável que formaliza o trade-off entre cobertura de roteiro, descoberta de emergência e custo da entrevista.
2. Sistema SparkMe: Introdução de um entrevistador multi-agente que utiliza planejamento deliberativo com simulação de conversas para navegar adaptativamente nesse espaço de otimização.
3. Validação Robusta: Avaliação através de:
   • Um benchmark automatizado com agentes de usuário simulados (LLMs).
   • Um estudo com usuários reais envolvendo 70 participantes de 7 profissões diferentes.

4. Resultados

A. Avaliação Automatizada (Agentes de Usuário)

• Cobertura e Utilidade: O SparkMe superou consistentemente as melhores linhas de base (como StorySage, MimiTalk, Interview-GPT e LLM-Roleplay).
  • Alcançou a maior cobertura de subtópicos pré-definidos (0.977) em menos turnos (38 turnos vs. 72 das outras).
  • Obteve a maior pontuação de utilidade global (1.017), demonstrando equilíbrio entre cobertura e descoberta.
• Descoberta Emergente: Apenas o SparkMe (graças ao EP) conseguiu identificar e cobrir subtemas emergentes. As outras linhas de base não geraram nenhum tema emergente coberto.
• Qualidade da Conversa: O SparkMe manteve alta coerência local, qualidade de transição e responsividade contingente, sem aumentar a complexidade cognitiva das perguntas (nível de leitura acessível).

B. Estudo com Usuários Humanos (70 Participantes)

• Qualidade do Conteúdo: Os participantes avaliaram o SparkMe como superior ao MimiTalk (a melhor linha de base) em cobertura (4.37 vs 3.14), profundidade (4.06 vs 3.09) e correção (4.23 vs 3.46).
• Experiência de Interação: O SparkMe foi avaliado como altamente adaptativo e confortável, mantendo um fluxo conversacional natural apesar da complexidade interna do planejamento.
• Validação de Insights Emergentes: Especialistas do mesmo setor validaram que o SparkMe gerou insights novos e relevantes (ex: normas sociais informais sobre IA, papéis específicos de IA, políticas institucionais) que não foram capturados pelos sistemas baseados apenas em roteiro.

5. Significado e Impacto

• Avanço Metodológico: O SparkMe move a automação de entrevistas qualitativas de uma abordagem baseada puramente em prompts para uma abordagem baseada em otimização e planejamento. Isso permite que pesquisadores definam explicitamente o que valorizam (cobertura vs. descoberta) através dos pesos da função de utilidade.
• Escalabilidade com Profundidade: Demonstra que é possível automatizar entrevistas em larga escala sem sacrificar a profundidade ou a capacidade de descobrir o inesperado, algo crucial para áreas como design de produtos, políticas públicas e pesquisa social.
• Reprodutibilidade: O código, conjuntos de dados e protocolos de avaliação foram lançados como open-source, permitindo que a comunidade científica adapte o sistema para novos domínios.
• Futuro: O trabalho sugere que a função de utilidade proposta pode servir como sinal de treinamento para LLMs especializados em entrevistas, potencialmente substituindo a necessidade de simulação pesada em tempo de execução em futuras iterações.

Em resumo, o SparkMe resolve o dilema fundamental da entrevista qualitativa automatizada: como ser sistemático o suficiente para cobrir o necessário, mas flexível o suficiente para descobrir o novo, tudo isso de forma eficiente.