Resumo Técnico: Configuração de Requisitos Baseada em Modelo com Pontuação de Incerteza de Três Valores

1. Declaração do Problema

A engenharia de requisitos (ER) é inerentemente dispendiosa e propensa a erros. Embora modelos de domínio formais como o Object-Oriented Method for Requirements Authoring and Management (OOMRAM) forneçam estruturas matemáticas rigorosas para gerenciar a variabilidade em linhas de produtos de software, sua aplicação tradicional sofre de um "gargalo de correspondência exata". Esses formalismos exigem que os analistas naveguem por reticulados complexos usando identificadores de requisitos exatos ou sintaxe rígida, impedindo o uso de descrições de projetos em linguagem natural (visões) para a elicitação.

Por outro lado, os Grandes Modelos de Linguagem (LLMs) oferecem a flexibilidade para interpretar a linguagem natural, mas carecem de garantias de correção formal. Quando aplicados à ER, abordagens puramente baseadas em LLM frequentemente geram requisitos estruturalmente inválidos, inconsistências lógicas (por exemplo, selecionar opções mutuamente exclusivas) e identificadores alucinados. As abordagens neuro-simbólicas existentes frequentemente verificam a lógica ex-post (após a geração) ou dependem de mitigação heurística, falhando em fornecer a imposição determinística necessária para a engenharia de requisitos de alta garantia.

2. Metodologia

O artigo propõe uma arquitetura multiagente neuro-simbólica que operacionaliza o reticulado OOMRAM para unir visões em linguagem natural com restrições estruturais formais. O sistema é projetado para a fase de seleção de características da elicitação de requisitos de linha de produto, onde o objetivo é identificar quais requisitos de um reticulado pré-projetado são mandatados ou compatíveis com a visão de um stakeholder.

2.1. Arquitetura do Sistema

O sistema, implementado usando LangGraph, compreende quatro agentes:

• Navegador (Navigator): Realiza uma travessia de profundidade (depth-first traversal) no reticulado OOMRAM, selecionando o próximo nó discriminante para processamento. Ele utiliza uma estratégia baseada em fronteira para garantir escalabilidade linear e evitar processamento redundante.
• Intérprete (Interpreter - LLM): Atua como uma heurística não determinística. Ele traduz a visão do projeto e o contexto atual em um conjunto proposto de IDs de requisitos filhos (saída em formato JSON). Opera com temperatura 0 para minimizar a estocasticidade.
• Validador (Validator - Simbólico): Uma função Python determinística que impõe restrições estruturais imediatamente após cada proposta do Intérprete. Ele verifica o conjunto de seleção $S$ contra o predicado de consistência global $\Psi(S)$, que inclui quatro invariantes axiomáticos:
  1. Invariante de Núcleo (Core Invariant): Seleção obrigatória de nós de Núcleo se seu pai estiver ativo.
  2. Invariante de Adaptador Único (Single-Adaptor - SA): Exatamente um filho deve ser selecionado para nós SA (lógica XOR).
  3. Invariante de Múltiplos Adaptadores (Multiple-Adaptor - MA): Pelo menos um filho deve ser selecionado para nós MA (lógica OR).
  4. Integridade Estrutural: Sem nós órfãos; todo nó selecionado não-raiz deve ter um pai selecionado.
• Escriba (Scribe): Compila o conjunto final validado em uma especificação formatada.

2.2. O Ciclo de Correção

Se o Validador detectar uma violação, ele rejeita a proposta e retorna uma mensagem de erro detalhada ao Intérprete. O Intérprete então revisa sua proposta usando este feedback. Este ciclo continua até que as restrições sejam satisfeitas ou que um "orçamento de chamadas" (limitado a 150 chamadas de LLM por visão) seja atingido.

2.3. Pontuação de Incerteza de Três Valores

Para abordar a limitação da rotulagem binária "correto/incorreto", os autores introduzem uma estrutura de três valores $\langle T, I, F \rangle$ aplicada à saída do Validador:

• Verdade ($T$ - Truth): A seleção é estruturalmente válida e explicitamente mandatada pela visão (ou uma especificação de padrão ouro).
• Indeterminação ($I$ - Indeterminacy): A seleção é estruturalmente válida, mas não é explicitamente mandatada. Isso representa escolhas discricionárias legítimas (por exemplo, selecionar um protocolo específico de um conjunto de adaptadores válidos).
• Falsidade ($F$ - Falsity): A seleção foi rejeitada pelo Validador devido a uma violação estrutural.

Esta pontuação permite que o sistema quantifique a "liberdade legítima" inerente ao reticulado de requisitos versus erros reais.

3. Principais Contribuições

1. Arquitetura Neuro-Simbólica: Um sistema que transfere a lógica estrutural para uma camada simbólica determinística, tornando os reticulados formais OOMRAM práticos para elicitação em linguagem natural, enquanto garante a conformidade estrutural.
2. Estrutura de Avaliação de Três Valores: Uma métrica inovadora para distinguir entre requisitos mandatados, escolhas discricionárias válidas e erros estruturais, fornecendo uma forma formal de medir a incerteza neural.
3. Validação Empírica: Uma avaliação abrangente em 37 visões de projetos em linguagem natural abrangendo onze famílias de aplicações (ex: Casa Inteligente, Registro de Prontuários, IVI Automotivo).
4. Prova Formal e Comparação de Linha de Base: Uma prova formal de convergência do validador e uma análise comparativa demonstrando a superioridade do sistema sobre LLMs não restringidos e estratégias padrão de NLP4RE (RAG, Self-Consistency, Multi-agent Debate).

4. Resultados

O sistema foi avaliado em uma máquina Apple M1 Pro usando o modelo Llama 3.1 8B, com uma replicação utilizando o modelo de fronteira NVIDIA Nemotron 3 Ultra.

• Conformidade Estrutural (RQ1): O sistema eliminou inconsistências estruturais em 35 de 37 casos (94,6%). Os dois casos restantes continham apenas 6 erros estruturais não resolvidos (0,39% do total de decisões), atribuídos ao atingimento do limite de iteração antes da convergência. Sob o modelo de fronteira (Nemotron 3 Ultra), o sistema alcançou 100% de convergência com 0% de falsidade estrutural.
• Quantificação de Incerteza (RQ2): A análise de três valores revelou que 24,7% de todas as decisões foram Indeterminadas ($I$). Estas foram escolhas estruturalmente válidas, mas não explicitamente mandatadas pela visão, concentradas principalmente em nós de Múltiplos Adaptadores (MA) e Opcionais. Isso confirma que o sistema identifica corretamente onde a intenção do stakeholder está subespecificada.
• Comparação de Linha de Base (RQ3): Sem o validador simbólico, as estratégias de LLM não restringidas resultaram em taxas de falsidade estrutural variando de 62,2% a 94,6%. O sistema neuro-simbólico reduziu isso para 5,4% (Llama 3.1 8B) e 0,0% (Nemotron 3 Ultra). Notavelmente, uma linha de base RAG sofreu uma taxa de falsidade de 94,6% devido ao viés de ancoragem de recuperação, onde o LLM selecionou nós folha sem seus caminhos de pais necessários.
• Escalabilidade (RQ4): O número de chamadas de LLM escala quase linearmente com o tamanho do reticulado ($R^2 = 0,69$), confirmando a eficiência da estratégia de poda baseada em fronteira. No entanto, a latência de tempo de execução é dominada pelo overhead de rede/serviço do modelo, e não pela complexidade do reticulado. O validador simbólico adiciona um overhead negligenciável (<0,4% da latência total).

5. Significância e Alegações

O artigo alega que a transferência da integridade estrutural para uma camada simbólica determinística garante com sucesso a conformidade estrutural, transformando efetivamente saídas neurais inconsistentes em especificações estruturalmente sólidas e verificadas.

• Segurança na Implantação: A arquitetura fornece um padrão de design geral para implantação segura de LLMs em domínios de missão crítica ou sensíveis à qualidade, separando a heurística neural do verificador de restrições simbólicas. Isso garante que o componente LLM possa ser atualizado sem comprometer as garantias formais.
• Feedback Acionável: A classificação de três valores fornece feedback imedivio aos praticantes. Alta indeterminação sinaliza visões subespecificadas que requerem esclarecimento do analista, enquanto a falsidade persistente (embora rara) aponta para mal-entendidos específicos do modelo ou problemas no reticulado.
• Rigor Formal: Diferente de abordagens heurísticas, este sistema oferece uma garantia determinística: para qualquer execução que converja dentro do orçamento de chamadas, a saída final é garantida para satisfazer todas as restrições do reticulado.

Os autores mantêm uma postura modesta, reconhecendo que o sistema não pode detectar alucinações semânticas (seleções estruturalmente válidas, mas irrelevantes) e depende de reticulados OOMRAM pré-projetados. Eles observam que, embora a camada simbólica garanta a correção estrutural, a capacidade do LLM de seguir mensagens de erro e convergir permanece dependente do modelo, como evidenciado pela diferença de desempenho entre os modelos 8B e de fronteira. Trabalhos futuros são propostos para automatizar a extração de reticulados, integrar roteamento semântico para seleção de família e passar da pontuação de três valores nítida para uma visualização de incerteza baseada em probabilidade contínua.