Resumo Técnico: LENS – Descoberta de Requisitos Latentes baseada em LLM a partir de Conversas com Stakeholders

Declaração do Problema

As entrevistas com stakeholders são uma fonte primária para a elicitação de requisitos, contudo, uma parte significativa dos requisitos relevantes permanece implícita. Os stakeholders frequentemente descrevem fluxos de trabalho, desafios operacionais e ineficiências sem articular explicitamente as capacidades de software necessárias para endereçá-los. Embora pesquisas recentes tenham explorado o uso de Modelos de Linguagem de Grande Escala (LLMs) para extrair requisitos de dados conversacionais, as abordagens existentes focam primordialmente na identificação de requisitos explicitamente declarados. Esta limitação negligencia os requisitos latentes: oportunidades plausíveis de automação de software que se tornam aparentes apenas quando as declarações dos stakeholders são interpretadas no contexto das ferramentas organizacionais, fluxos de trabalho e infraestrutura existentes. O desafio reside em automatizar a inferência desses requisitos latentes, mantendo a rastreabilidade até a conversa original e garantindo que os requisitos gerados sejam acionáveis.

Metodologia: A Abordagem LENS

Os autores propõem o LENS (LLM-Enabled Needs Discovery from Stakeholder Interviews), um framework de duas etapas projetado para analisar transcrições de entrevistas com stakeholders para extrair tanto requisitos explícitos quanto latentes.

Fluxo de Trabalho Central

1. Etapa 1: Extração de Requisitos Explícitos:

   • O LLM analisa as transcrições das entrevistas para identificar requisitos expressamente declarados pelos stakeholders.
   • Ele os extrai como histórias de usuário estruturadas, vinculadas a trechos específicos da transcrição e carimbos de tempo (timestamps) para garantir a rastreabilidade.
   • O processo utiliza few-shot prompting com regras específicas para distinguir entre requisitos reais e meras descrições de processos manuais atuais ou automação existente.

2. Etapa 2: Inferência de Requisitos Latentes:

   • O LLM analisa as mesmas transcrições juntamente com o contexto organizacional, especificamente descrições de ferramentas de software disponíveis, infraestrutura e capacidades de automação.
   • Ao raciocinar sobre as descrições de pontos de dor (pain points) e ineficiências dos stakeholders à luz dessas ferramentas, o LLM infere requisitos latentes.
   • Para cada requisito inferido, o LENS gera uma razão (rationale) estruturada explicando:
     • O problema ou ineficiência subjacente.
     • Como o requisito aborda o problema utilizando ferramentas organizacionais específicas.
     • O impacto esperado nas práticas organizacionais (ex: economia de tempo).

Implementação Técnica

• Modelo: O estudo utilizou o Claude Sonnet 4.5, escolhido por suas fortes capacidades de raciocínio e ampla janela de contexto.
• Engenharia de Prompt: O sistema emprega prompts contendo:
  • Definições de papel (extrator vs. inferidor).
  • Treze critérios de Qualidade de História de Usuário (QUS) para garantir clareza, completude e consistência.
  • Regras específicas para distinguir intenção explícita de ruído conversacional.
  • Exemplos de few-shot para guiar a geração.
  • Formatos de saída estruturados (JSON) para integração subsequente.
• Fundamentação de Contexto (Context Grounding): A Etapa 2 insere explicitamente uma lista de ferramentas organizacionais e suas capacidades para fundamentar a inferência na viabilidade técnica.

Avaliação Empírica

Os autores conduziram uma avaliação preliminar em um ambiente industrial com a eSentire, uma empresa global de cibersegurança.

• Dataset: Doze transcrições de entrevistas semiestruturadas de um Centro de Operações de Segurança (SOC), cobrindo avaliações de desempenho de analistas e fluxos de trabalho de relatórios. As transcrições tinham média de ~60 minutos, contendo ~8.900 palavras e 154 turnos de fala.
• Métricas de Avaliação:
  • RQ1 (Precisão da Extração Explícita): Medida via Precisão, Recall e F1-score contra um conjunto de verdade fundamental (ground-truth) construído por um pesquisador e validado por especialistas do domínio.
  • RQ2 (Utilidade dos Requisitos Latentes): Avaliada por dois especialistas de domínio independentes da eSentire. Eles avaliaram os requisitos com base em ganho de tempo (comparando execução automatizada vs. manual), novidade e viabilidade.

Resultados Principais

• Requisitos Explícitos (RQ1):
  • Com uma configuração de temperatura de 0.7, o LENS obteve o melhor desempenho:
    • Precisão: 73%
    • Recall: 100%
    • F1-Score: 84,4%
  • Os falsos positivos foram causados principalmente pelo LLM ao interpretar erroneamente menções de trabalho manual (sem intenção de automação), discussões de automação existente ou linguagem de busca de confirmação (ex: "certo?") como novos requisitos.
• Requisitos Latentes (RQ2):
  • Utilidade: Em média, 75% dos requisitos latentes inferidos foram classificados pelos especialistas como proporcionando Ganho de Tempo Moderado ou Alto (ou seja, automação útil ou potencial de economia de tempo).
  • Novidade: Os especialistas observaram que os requisitos inferidos frequentemente forneciam insights e oportunidades que os stakeholders não haviam considerado inicialmente.
  • Desafios de Viabilidade: Aproximadamente 49% do feedback dos especialistas destacou a falta de detalhes técnicos concretos nas razões (rationales). Outros problemas incluíram dependências de fontes de dados/APIs específicas não totalmente descritas e, ocasionalmente, desalinhamento com as capacidades reais das ferramentas propostas.

Principais Contribuições

1. Framework LENS: Uma abordagem inovadora que estende as capacidades de LLM além da extração de requisitos explícitos para a inferência de requisitos latentes através do raciocínio sobre o contexto organizacional (ferramentas e infraestrutura).
2. Saída Estruturada: A geração de tanto requisitos explícitos quanto latentes como histórias de usuário rastreáveis com razões estruturadas, vinculando-as a carimbos de tempo específicos da transcrição.
3. Avaliação Industrial Preliminar: Uma avaliação realista do desempenho de LLM em um domínio de cibersegurança, demonstrando alta precisão na extração (84,4% de F1) e valor percebido significativo na inferência latente (75% de potencial de economia de tempo).

Significância e Alegações

O artigo posiciona o LENS não como uma ferramenta para produzir funcionalidades prontas para implementação imediata, mas como um mecanismo para estimular discussões adicionais com stakeholders e a elicitação iterativa de requisitos.

• Artefatos de Estágio Inicial: Os autores alegam que os requisitos latentes inferidos servem como valiosos "artefatos de elicitação de estágio inicial". Eles ajudam a reformular conversas em torno da mitigação de ineficiências e da realização do potencial de automação não explorado que os stakeholders podem não ter articulado.
• Humano no Ciclo (Human-in-the-Loop): O estudo enfatiza que a revisão por especialistas continua sendo crítica. O acordo moderado entre avaliadores e o feedback sobre viabilidade sugerem que os requisitos latentes gerados por LLM devem ser tratados como pontos de partida para ideias, e não como especificações finalizadas.
• Necessidade de Contexto: Os resultados destacam que a qualidade e a viabilidade dos requisitos inferidos são altamente dependentes de descrições ricas das ferramentas e da infraestrutura da organização. Sem essa fundamentação, as sugestões do LLM podem parecer plausíveis, mas permanecerem desalinhadas com as restrições do sistema.

Os autores concluem que, embora seus achados sejam preliminares (limitados a uma organização e um domínio), eles fornecem evidências iniciais de que os LLMs podem apoiar eficazmente tanto a extração de necessidades explícitas quanto a descoberta de oportunidades latentes na engenharia de requisitos.