💻 computer science

ReqElicitGym: An Evaluation Environment for Interview Competence in Conversational Requirements Elicitation

O artigo apresenta o ReqElicitGym, um ambiente de avaliação interativo e automatizado que utiliza um novo conjunto de dados e agentes simulados para medir a competência de LLMs em elicitação de requisitos conversacionais, revelando que os modelos atuais têm dificuldades significativas em identificar requisitos implícitos, especialmente os relacionados ao estilo.

Autores originais: Dongming Jin, Zhi Jin, Zheng Fang, Linyu Li, XiaoTian Yang, Yuanpeng He, Xiaohong Chen

Publicado 2026-02-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Dongming Jin, Zhi Jin, Zheng Fang, Linyu Li, XiaoTian Yang, Yuanpeng He, Xiaohong Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer construir uma casa. Você chega até um arquiteto e diz apenas: "Quero uma casa bonita".

O arquiteto (que, neste caso, é uma Inteligência Artificial) poderia começar a desenhar algo, mas provavelmente erraria feio. Ele não sabe se você quer 3 ou 10 quartos, se prefere janelas grandes ou pequenas, ou se quer um jardim com piscina. O segredo de um bom projeto não é apenas desenhar, mas fazer as perguntas certas para descobrir o que você não disse, mas que é essencial.

Este artigo, chamado ReqElicitGym, trata exatamente desse problema: como testar se uma Inteligência Artificial (IA) é boa em fazer essas perguntas de "entrevista" para descobrir o que o cliente realmente quer.

Aqui está a explicação do papel, traduzida para uma linguagem simples e cheia de analogias:

1. O Problema: A IA sabe programar, mas não sabe "ouvir"

Hoje, as IAs são ótimas em escrever código (como um pedreiro muito rápido). Mas, para construir o software certo, primeiro precisamos saber o que construir.
O problema é que os clientes (usuários) muitas vezes não sabem explicar tudo o que precisam. Eles deixam coisas implícitas.

Exemplo: O cliente diz "Quero um site de vendas".
O que falta (Implícito): "Quero que o carrinho de compras tenha um botão de 'comprar agora' em vermelho, e que o frete seja calculado pelo CEP."

As IAs atuais são ótimas em escrever o código, mas péssimas em fazer a entrevista para descobrir esses detalhes escondidos.

2. A Solução: O "Ginásio" de Treino (ReqElicitGym)

Antes, para testar se uma IA era boa em entrevistas, os pesquisadores precisavam de pessoas reais (humanos) para fingir ser clientes. Isso era caro, demorado e cada humano agia de um jeito diferente, o que tornava o teste injusto.

Os autores criaram o ReqElicitGym, que é como um simulador de voo para entrevistadores de IA.

O que é: Um ambiente automático onde a IA (o entrevistador) conversa com um "Cliente Robô" (chamado de Oracle User).
Como funciona: O "Cliente Robô" foi treinado para responder exatamente como um humano real responderia, mas sem as emoções ou variações de humor. Ele só revela os segredos (requisitos implícitos) se a IA fizer a pergunta correta.
O Juiz: Existe um "Juiz Robô" (Task Evaluator) que escuta a conversa e dá a nota. Ele verifica: "A IA fez a pergunta certa? Ela descobriu o segredo? Ela foi eficiente?"

3. O Teste: A "Prova de Fogo"

Os pesquisadores pegaram 7 das IAs mais famosas do mundo (como GPT, Claude, Gemini, etc.) e as colocaram para conversar com esse "Cliente Robô" em 101 cenários diferentes (como criar um site de e-commerce, um painel de controle, um app de entretenimento).

Eles queriam saber:

Quanto a IA consegue descobrir? (Ela descobre 10% ou 90% do que o cliente esqueceu de dizer?)
Como ela pergunta? (Ela faz perguntas diretas ou fica "chutando"?)
Ela é boa em tudo? (Ela descobre funcionalidades, mas esquece da cor do site?)

4. Os Resultados Surpreendentes (O Veredito)

Os resultados foram um pouco decepcionantes, mas muito importantes:

A IA é "cega" para detalhes sutis: Mesmo as IAs mais inteligentes conseguiram descobrir menos da metade do que era necessário. Elas são ótimas em perguntar "O que você quer que o sistema faça?" (funcionalidade), mas ignoram completamente coisas como "Qual a cor do fundo?" ou "Como deve ser o layout?". É como se o arquiteto desenhasse a estrutura da casa, mas esquecesse de perguntar se você gosta de azul ou verde nas paredes.
Elas preferem "investigar" a "esclarecer": As IAs tendem a fazer perguntas genéricas de investigação ("Me conte mais sobre isso") em vez de perguntas específicas de esclarecimento ("Você quer o botão vermelho ou azul?").
O "Pensamento Passo a Passo" ajuda, mas não resolve tudo: Quando se pede para a IA pensar antes de falar (uma técnica chamada Chain of Thought), ela faz perguntas mais rápidas e eficientes, mas não necessariamente descobre mais segredos. Ela fica mais ágil, mas não mais perspicaz.

5. Por que isso importa?

Imagine que você contrata um assistente de IA para criar um aplicativo. Se essa IA não for boa em fazer a entrevista inicial, ela vai construir um aplicativo que funciona tecnicamente, mas que não é o que você queria.

O ReqElicitGym é como um "tira-teima" que nos mostra que, antes de deixarmos a IA construir o mundo digital sozinha, precisamos ensiná-la a ser um bom ouvinte e um bom perguntador.

Resumo em uma frase:

O papel criou um "simulador de treino" para mostrar que, embora as IAs sejam gênios em escrever código, elas ainda são péssimas em fazer a entrevista necessária para descobrir o que o cliente realmente precisa, especialmente nos detalhes que o cliente esquece de mencionar.

1. Problema Investigado

Com o avanço rápido das capacidades de codificação dos Modelos de Linguagem Grandes (LLMs), o gargalo no desenvolvimento de software automatizado está migrando da geração de código correto para a elicitação precisa e completa dos requisitos do usuário.

O Desafio: Muitas falhas de software originam-se de mal-entendidos ou omissões durante a fase de elicitação de requisitos, e não na implementação.
A Lacuna: Embora existam estudos sobre a geração de requisitos, a competência de entrevista dos LLMs em cenários de elicitação conversacional (multi-turno) permanece subexplorada.
Limitações das Avaliações Atuais:
1. Escassez de Cenários: Avaliações existentes cobrem poucos casos de uso, dificultando comparações sistemáticas.
2. Dependência de Usuários Reais: Muitas avaliações dependem de participantes humanos (estudantes ou stakeholders), o que é custoso, não reprodutível e introduz variabilidade comportamental.
3. Falta de Métricas Objetivas: A ausência de métricas que rastreiem o processo (o que foi elicitado em cada turno) impede avaliações quantitativas e reprodutíveis.

2. Metodologia: O Ambiente ReqElicitGym

Os autores propõem o ReqElicitGym, um ambiente de avaliação interativo e automático projetado para medir a competência de entrevista de agentes conversacionais. O sistema é composto por três módulos principais:

A. Conjunto de Dados de Avaliação (Dataset)

Estrutura: Contém 101 cenários de elicitação de requisitos para desenvolvimento de websites, abrangendo 10 tipos de aplicações (ex: e-commerce, dashboards, plataformas de aprendizado).
Componentes de Cada Cenário:
1. Requisito Inicial (Initial Req): Uma descrição incompleta e vaga fornecida pelo usuário.
2. Requisitos Implícitos (Implicit Req): O "gap" de informação crítico que deve ser descoberto (categorizado em: Interação, Conteúdo e Estilo).
3. Requisito Final (Final Req): A especificação completa e correta após a elicitação bem-sucedida.
Construção: Os dados foram gerados a partir de benchmarks existentes, refinados por especialistas e validados para garantir que os requisitos implícitos preencham exatamente a lacuna entre o inicial e o final.

B. Usuário Oráculo (Oracle User)

Função: Simula um stakeholder real de forma controlada e reprodutível, eliminando a necessidade de participantes humanos.
Implementação: Utiliza um LLM (GPT-5.1) com prompts controlados.
Princípios de Design:
- Baseado em Verdade: Revela apenas os requisitos implícitos anotados no dataset.
- Passivo: Não oferece informações proativamente; responde apenas às perguntas do entrevistador.
- Consciência de Contexto: Mantém consistência ao longo da conversa.
Validação: Comparado com 33 entrevistas reais (555 turnos), alcançou um acordo substancial (Cohen's $\kappa$ = 0.73) com o comportamento de usuários reais.

C. Avaliador de Tarefas (Task Evaluator)

Função: Analisa automaticamente o diálogo turno a turno para julgar a eficácia do entrevistador.
Capacidades:
- Classifica a estratégia do entrevistador (Clarificar, Investigar/Probing, ou Encerrar).
- Determina se uma pergunta eliciou um requisito implícito específico.
- Calcula métricas quantitativas ao final da interação.
Validação: Validado contra julgamentos de especialistas humanos, alcançando um acordo de $\kappa$ = 0.72 para a detecção de requisitos.

3. Contribuições Principais

ReqElicitGym: O primeiro ambiente de avaliação automatizado e reprodutível focado especificamente na competência de entrevista em elicitação de requisitos.
Novo Dataset: Um conjunto de dados com 101 cenários estruturados explicitamente modelando a lacuna entre requisitos iniciais, implícitos e finais.
Mecanismo de Avaliação Automática: Substitui a dependência de usuários reais e avaliação subjetiva por um "Usuário Oráculo" e um "Avaliador de Tarefas" baseados em LLM, validados estatisticamente.
Estudo Empírico Abrangente: Uma análise sistemática de 7 LLMs representativos (incluindo GPT-5.2, Claude Opus, DeepSeek, Kimi, etc.) sob configurações com e sem Chain-of-Thought (CoT).

4. Resultados do Estudo Empírico

Os autores avaliaram 7 LLMs e chegaram às seguintes conclusões:

Competência Limitada: Os LLMs atuais têm dificuldade significativa em uncover (descobrir) requisitos implícitos. O melhor modelo atingiu apenas 32% de taxa de elicitação de requisitos implícitos (IRE), indicando que a maioria das informações críticas permanece oculta.
Ineficiência Estratégica:
- Os modelos tendem a favorecer excessivamente perguntas de investigação (probing) em detrimento de perguntas de clarificação.
- Perguntas de clarificação são raras e menos eficazes.
- O uso de Chain-of-Thought (CoT) melhora a eficiência das perguntas (TKQR) e reduz o número de turnos, mas não aumenta consistentemente a cobertura total de requisitos (IRE).
Viés por Tipo de Requisito:
- Os modelos são moderadamente capazes de elicitar requisitos de Interação e Conteúdo.
- Há uma falha estrutural grave na elicitação de requisitos de Estilo (preferências visuais, cores, layout), com taxas de sucesso próximas de zero.
Dependência do Domínio: A competência varia drasticamente dependendo do tipo de aplicação. Sistemas estruturados (como Dashboards) são mais fáceis de elicitar do que plataformas complexas ou de e-commerce.

5. Significado e Implicações

Mudança de Paradigma: O trabalho destaca que a fluência conversacional dos LLMs não se traduz automaticamente em capacidade de raciocínio sistemático necessária para a engenharia de requisitos.
Ferramenta de Desenvolvimento: O ReqElicitGym fornece uma base padrão para pesquisadores e desenvolvedores testarem e melhorarem agentes de elicitação de requisitos, permitindo comparações justas e quantitativas.
Direções Futuras: Os resultados sugerem que o futuro da elicitação automatizada deve migrar de conversas livres para:
1. Entrevistas Guiadas por Ontologia: Usar estruturas de conhecimento para garantir que todas as dimensões de requisitos sejam cobertas.
2. Otimização por Aprendizado por Reforço (RL): Treinar agentes para aprender não apenas o que perguntar, mas quando e como (escolha de estratégia e critério de parada).

Em resumo, o artigo estabelece uma nova linha de base crítica para a avaliação de LLMs na fase pré-codificação do desenvolvimento de software, revelando que, embora os modelos sejam bons em gerar código, eles ainda carecem de habilidades fundamentais para entender e explorar completamente as necessidades humanas complexas e implícitas.