Resumo Técnico: OntoAgent para Elaboração de Requisitos

Declaração do Problema

Entrevistas de elaboração de requisitos são um pilar da engenharia de requisitos, mas permanecem fortemente dependentes da experiência de analistas humanos. Essa dependência acarreta custos significativos de tempo e treinamento e introduz riscos de viés humano e mal-entendidos na comunicação. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam um caminho para automatizar esse processo, abordagens "livres" existentes — nas quais um LLM atua como entrevistador sem orientação estrutural — sofrem de limitações críticas. Estudos empíricos indicam que esses modelos têm dificuldade em descobrir requisitos implícitos, frequentemente geram perguntas genéricas ou redundantes nas etapas iniciais do diálogo e carecem de interpretabilidade e controlabilidade. Consequentemente, falham em explorar sistematicamente o espaço de requisitos, levando a uma captura incompleta dos requisitos.

Metodologia: OntoAgent

Para abordar essas limitações, os autores propõem o OntoAgent, um agente de entrevista que integra LLMs com uma Ontologia de Experiência estruturada. O princípio central de design é modelar explicitamente o framework cognitivo estruturado que analistas experientes utilizam, desacoplando o que perguntar (orientado pela ontologia) de como perguntar (gerado pelo LLM).

O framework opera em duas etapas inter-relacionadas:

1. Indução da Ontologia de Experiência

O OntoAgent constrói automaticamente uma estrutura hierárquica de árvore de três níveis a partir de textos de requisitos específicos do domínio. Essa ontologia serve como um espaço de questionamento estruturado:

• Aspectos (Nível 1): Abstrações de alto nível dos requisitos do sistema (por exemplo, Interação, Conteúdo, Estilo). Estes são fornecidos por especialistas do domínio para garantir estabilidade.
• Dimensões (Nível 2): Pontos funcionais centrais dentro de um aspecto (por exemplo, Busca, Exibição, Login). Estas são induzidas automaticamente usando um LLM com uma estratégia de expansão conservadora que prioriza a fusão semântica em vez de criar novas dimensões.
• Slots (Nível 3): Detalhes de requisitos granulares e esclarecíveis (por exemplo, opções de filtragem, regras de classificação). Estes são extraídos como tuplas de itens normalizados e perguntas candidatas de esclarecimento.

2. Entrevista Orientada por Ontologia

Durante a entrevista de múltiplas voltas, o OntoAgent executa um loop de decisão envolvendo quatro operações-chave para selecionar dinamicamente o slot de requisito mais relevante, mas ainda insuficientemente explorado:

• ParseUser: Interpreta as respostas das partes interessadas para apoiar decisões de poda tanto no nível de aspecto quanto no de dimensão.
• ScoreOnto: Atribui pontuações de prioridade iniciais aos nós da ontologia com base na descrição inicial dos requisitos para garantir que a entrevista comece com ramificações de alta relevância.
• ReRankOnto: Reavalia e reordena dinamicamente os slots candidatos com base no histórico de diálogo atualizado para se adaptar ao novo contexto.
• GatePrune: Implementa dois mecanismos de poda para reduzir redundância:
  • Nível de Aspecto: Dispara uma pergunta de confirmação macro após $N$ investigações não produzirem novos requisitos; se negativa, o ramo é podado.
  • Nível de Dimensão: Poda imediatamente os slots se uma dimensão for explicitamente rejeitada pela parte interessada.
• QuestionGen: Combina o slot selecionado com o contexto atual do diálogo para gerar uma pergunta de elicitação em linguagem natural e consciente do contexto.

Principais Contribuições

1. Framework OntoAgent: A proposta de um agente de entrevista que modela explicitamente a experiência de entrevista como uma ontologia e a integra com LLMs para facilitar a geração estruturada de perguntas.
2. Ontologia de Experiência: O desenvolvimento de uma árvore hierárquica de três níveis (Aspectos, Dimensões, Slots) que serve como um espaço de questionamento estruturado e interpretável.
3. Mecanismo Orientado por Ontologia: O design de um mecanismo de tomada de decisão composto por quatro operações (ParseUser, ScoreOnto, ReRankOnto, GatePrune) para selecionar dinamicamente slots de requisitos e gerar perguntas conscientes do contexto.
4. Avaliação Abrangente: Avaliações quantitativas e qualitativas extensivas demonstrando a eficácia do framework e sua aplicabilidade prática.

Resultados Experimentais

Os autores avaliaram o OntoAgent em 101 cenários de aplicações web usando o ambiente ReqElicitGym, comparando-o com cinco linhas de base (incluindo Non-CoT, CoT, LLMREI-curto/longo e Prompting Guiado por Erros).

• Eficácia (IRE): O OntoAgent alcançou uma Taxa de Elicitação de Requisitos Implícitos (IRE) de 0,69, representando uma melhoria relativa de 33% sobre a melhor linha de base (Prompting Guiado por Erros em 0,52). Isso demonstra uma capacidade superior de descobrir requisitos implícitos.
• Eficiência (TKQR): O OntoAgent alcançou uma Taxa de Perguntas Chave Descontada por Volta (TKQR) de 0,59, uma melhoria relativa de 21% sobre a melhor linha de base. Isso indica maior eficiência no questionamento e a capacidade de identificar requisitos-chave mais cedo no diálogo.
• Estudos de Ablação: A adição incremental de componentes confirmou que a Ontologia de Experiência fornece o maior ganho de desempenho, enquanto ScoreOnto, ReRankOnto e GatePrune refinam ainda mais o alinhamento, a eficiência e a redução de redundância.
• Robustez: O framework demonstrou forte generalização em seis LLMs base diferentes (incluindo Claude, Gemini, DeepSeek, Kimi, GLM e Qwen), mantendo desempenho competitivo independentemente do modelo subjacente.
• Análise por Tipo: O OntoAgent forneceu cobertura equilibrada entre requisitos de interação, conteúdo e estilo. Notavelmente, superou significativamente as linhas de base na elicitação de requisitos de estilo (IRE 0,55 vs. <0,01 para algumas linhas de base), uma categoria frequentemente negligenciada por abordagens livres.
• Avaliação Humana: Em um estudo com 6 participantes atuando como partes interessadas, o OntoAgent recebeu pontuações Likert significativamente mais altas (p < 0,05) em eficácia de elicitação, eficiência de questionamento e adaptabilidade em comparação com as linhas de base.

Significado e Alegações

O artigo afirma que o OntoAgent conecta com sucesso a lacuna entre as capacidades generativas dos LLMs e os processos cognitivos estruturados de analistas experientes. Ao transformar chats livres de LLM em processos de investigação sistemáticos e interpretáveis, o OntoAgent aborda questões críticas de omissão de requisitos implícitos e questionamento redundante.

Os autores afirmam que seu trabalho demonstra a importância de agentes LLM guiados por ontologia para avançar o desenvolvimento automatizado de requisitos. Eles concluem que modelar explicitamente a experiência de entrevista é essencial para alcançar alta cobertura e eficiência na elicitação, e que sua abordagem oferece uma solução prática e extensível para tarefas reais de elaboração de requisitos além do domínio de aplicações web testado.