Resumo Técnico: Gestão de Roteiros Assistida por IA para Elicitação de Requisitos

Declaração do Problema

As entrevistas de elicitação de requisitos são críticas para compreender as necessidades das partes interessadas (stakeholders), mas impõem uma alta carga cognitiva aos entrevistadores, que devem simultaneamente ouvir, interpretar informações de domínio, decidir quando investigar e gerenciar a cobertura de tópicos em tempo real. Pesquisas anteriores exploraram o suporte de IA para tarefas isoladas, como a geração de roteiros de entrevista ou perguntas de acompanhamento, mas não abordaram a gesto de roteiro integrada — a assistência contínua necessária para rastrear a cobertura de tópicos e guiar decisões de investigação durante uma entrevista ao vivo. Além disso, há uma falta de evidências em nível de resultado sobre como os fluxos de trabalho assistidos por IA alteram as trajetórias das entrevistas e a qualidade dos artefatos de requisitos resultantes (ex: modelos de objetivos). Os métodos de treinamento atuais preparam os entrevistadores antes da entrevista, mas oferecem pouca assistência assim que a sessão começa.

Metodologia

Os autores propõem e avaliam um fluxo de trabalho de elicitação assistido por IA consistindo em duas fases:

1. Geração de Roteiro Offline: Um LLM (gpt-5-mini) gera um roteiro de entrevista fundamentado em objetivos de negócio derivados de divulgações corporativas públicas (arquivos SEC 10-K). O processo filtra tópicos com base na familiaridade do entrevistador e aplica regras de design (ex: perguntas abertas, aberturas livres de contexto) para criar um roteiro estruturado.
2. Gestão de Roteiro Online: Durante uma entrevista via Zoom, um bot automatizado transcreve a conversa em tempo real. O sistema realiza duas tarefas paralelas:
   • Rastreamento de Tópicos: Um processo de segundo plano agrega turnos de fala (janela deslizante de 4 turnos) para classificar e marcar tópicos roteirizados como "abordados" apenas quando discutidos substantivamente.
   • Geração de Acompanhamento Sob Demanda: Quando acionado pelo entrevistador, o sistema analisa os últimos 4 turnos para gerar três sugestões de perguntas de acompanhamento, restritas a serem abertas, não indutivas e focadas nas necessidades do usuário, em vez da implementação técnica.

Desenho Experimental

O estudo utiliza um desenho quase-experimental entre sujeitos comparando duas condições:

• Condição Assistida por IA (Sem Treinamento): 21 díades entrevistador–stakeholder onde os entrevistadores (estudantes de pós-graduação com experiência na indústria) usaram o fluxo de trabalho de IA, mas não receberam treinamento formal de elicitação.
• Condição Apenas Treinamento (Sem IA): 22 díades entrevistador–stakeholder onde os entrevistadores (estudantes de pós-graduação em um curso de engenharia de requisitos) receberam treinamento de sala de aula padrão sobre melhores práticas de elicitação, mas conduziram entrevistas usando roteiros preparados manualmente sem suporte de IA.

Nota: O estudo inicialmente inscreveu 48 díades (24 por condição), mas 5 díades (3 assistidas por IA, 2 apenas treinamento) foram excluídas por não conclusão, resultando na amostra final de 21 díades assistidas por IA e 22 apenas treinamento.

Métricas de Avaliação

O estudo avalia três facetas:

1. Qualidade do Roteiro: Medida via uma rubrica de 9 regras derivada da literatura de elicitação (ex: alinhamento de objetivos, abertura de perguntas, ordenação de tópicos).
2. Qualidade da Interação: Medida pelo volume de interação (turnos, perguntas cobertas) e foco da interação (razão de acompanhamentos por tópico e por pergunta não de acompanhamento).
3. Refinamento de Requisitos: Medido pela extração de modelos de objetivos a partir das transcrições. As métricas incluem amplitude (número de nós/arestas) e profundidade (proporção de nós de "sumidouro" de baixo nível que representam operações concretas do sistema).

Principais Resultados

1. Qualidade do Roteiro (RQ1)

Os roteiros gerados por IA superaram significativamente os roteiros escritos por humanos em qualidade geral (92,8 vs. 74,8 de 100).

• Pontos Fortes: Os roteiros de IA destacaram-se no alinhamento de objetivos (97,2%), no uso de frases abertas e em garantir múltiplas perguntas por tópico.
• Fraqueza: Os roteiros escritos por humanos tiveram melhor desempenho na ordenação de tópicos (90,9% vs. 78,4%), sugerindo que a IA tem dificuldade com o fluxo lógico de tópicos em comparação com humanos treinados.

2. Qualidade da Interação (RQ2)

A condição assistida por IA produziu uma trajetória de entrevista distinta:

• Volume: As entrevistas assistidas por IA tiveram significativamente mais turnos do entrevistador (54,5 vs. 32,1) e mais perguntas de acompanhamento (33,7 vs. 16,3).
• Foco: As entrevistas assistidas por IA cobriram menos tópicos distintos (9,6 vs. 14,5), mas alcançaram maior cobertura de seus próprios roteiros (86% vs. 69%).
• Profundidade de Investigação: O número de acompanhamentos por tópico foi significativamente maior na condição de IA (3,43 vs. 1,15), indicando uma elaboração mais profunda sobre menos tópicos.
• Percepção do Usuário: Os participantes classificaram o rastreamento de tópicos como a funcionalidade mais útil (86% de concordância), enquanto as sugestões de acompanhamento sob demanda foram menos frequentemente adotadas literalmente (20%), embora tenham servido para estimular a geração de acompanhamentos originais.

3. Refinamento de Requisitos (RQ3)

Os modelos de objetivos extraídos das entrevistas assistidas por IA mostraram:

• Amplitude: Um aumento marginal no total de nós do grafo (47,5 vs. 38,6), que os autores atribuem à maior duração das entrevistas assistidas por IA, em vez de uma maior eficiência de extração por turno.
• Profundidade: Uma proporção significativamente maior de objetivos de baixo nível (sumidouro) (0,653 vs. 0,598). Isso indica que o fluxo de trabalho assistido por IA gerou requisitos que foram mais concretamente refinados em operações do sistema.

Significância e Alegações

O artigo posiciona o fluxo de trabalho assistido por IA não como um substituto para os entrevistadores humanos, mas como um andaime (scaffold) que altera a trajetória da entrevista em direção a uma elaboração focada.

• Mudança da Cobertura para a Profundidade: O estudo demonstra que a assistência de IA permite que os entrevistadores cubram menos tópicos, mas investiguem-nos mais profundamente, resultando em uma fração maior de requisitos de baixo nível e acionáveis.
• Andaime para Novatos: O fluxo de trabalho permite que engenheiros não treinados produzam roteiros de alta qualidade e conduzam entrevistas focadas, embora não necessariamente os ensine quando desviar do roteiro ou como ordenar os tópicos logicamente.
• Implicação Prática: Profissionais devem considerar o equilíbrio entre amplitude e profundidade de tópicos. Para entrevistas exploratórias iniciais, uma cobertura mais ampla pode ser preferível; para refinar necessidades específicas, um roteiro focado apoiado pelo rastreamento de IA pode gerar requisitos de sistema mais concretos.
• Limitações: Os autores alegam modestamente que a contribuição específica da "geração de acompanhamento" permanece incerta devido às baixas taxas de adoção literal; o valor principal parece advir da integração da geração de roteiro offline com o rastreamento de tópicos online. O estudo reconhece ameaças à validade em relação ao uso de objetivos de negócio simulados, aos modelos específicos de LLM utilizados e ao potencial efeito de novidade ao usar IA em um ambiente de pesquisa.

Em conclusão, o artigo fornece evidências de que fluxos de trabalho assistidos por IA podem produzir artefatos de requisitos diferentes e, em algumas métricas, superiores aos abordagens tradicionais baseadas apenas em treinamento, especificamente ao deslocar o foco da entrevista da cobertura ampla para o refinamento profundo de requisitos de baixo nível.