Multi-Agent Specification-based Metamorphic Testing of FMU-Based Simulations

Resumo Técnico: Teste Metamórfico Baseado em Especificação Multi-Agente de Simulações Baseadas em FMU

Declaração do Problema
Na concepção baseada em modelos industriais moderna, o padrão Functional Mock-up Interface (FMI) facilita a troca de modelos de simulação como Functional Mock-up Units (FMUs) entre diversas ferramentas e parceiros. Embora isso possibilite a verificação baseada em simulação, validar esses modelos apresenta um desafio significativo: o "problema do oráculo de teste". As FMUs frequentemente encapsulam binários sem código-fonte, e sua lógica interna é opaca, impedindo testes tradicionais que dependem da inspeção de estados internos. Além disso, saídas esperadas explícitas raramente são definidas, pois os testes são tipicamente realizados manualmente por especialistas do domínio.

O Teste Metamórfico (MT) oferece uma solução ao verificar sistemas que carecem de oráculos explícitos por meio de Relações Metamórficas (MRs) — propriedades que definem como as saídas devem mudar em resposta a transformações específicas de entrada. No entanto, derivar MRs eficazes a partir de especificações funcionais e de interface permanece um processo manual e propenso a erros. Abordagens existentes carecem de um fluxo de trabalho abrangente e automatizado que comece a partir de especificações, gere MRs e execute testes especificamente para ambientes restritos a FMUs. Adicionalmente, embora os Modelos de Linguagem de Grande Escala (LLMs) mostrem promessa na geração de MRs, eles frequentemente exigem validação humana intensiva e lutam com as restrições específicas das interfaces de FMU (por exemplo, variáveis expostas limitadas e dados de séries temporais contínuas).

Metodologia: AgenticMeta
Os autores propõem o AgenticMeta, um fluxo de trabalho multi-agente impulsionado por LLMs projetado para automatizar o teste metamórfico baseado em especificação para simulações baseadas em FMU. O sistema orquestra uma arquitetura "hub-and-spoke" onde um Nó Coordenador gerencia um estado de grafo compartilhado e direciona agentes especializados através de quatro fases iterativas:

1. Fase de Extração:
   • Agente Extrator: Converte especificações funcionais (PDF) em Markdown estruturado e extrai propriedades do sistema. Ele analisa o modelDescription.xml da FMU para identificar entradas, saídas, parâmetros e restrições. A saída é um JSON estruturado contendo condições de teste e definições de variáveis.
2. Fase de Geração e Refinamento de MR:
   • Agente Gerador de MR: Utiliza o conhecimento extraído para propor MRs candidatas. Estas são formatadas em padrões Dado–Quando–Então (GWT):
     • Dado: Condições iniciais para entradas semente.
     • Quando: Transformações metamórficas (por exemplo, "aumentar", "rampa") aplicadas às entradas.
     • Então: Relações de saída esperadas (por exemplo, "Eventualmente Aumenta", "Proporcional a").
   • Agente Refinador de MR: Valida as MRs geradas contra as especificações originais e dados de extração. Verifica correção factual, validade causal e testabilidade. MRs que falham na validação são refinadas com feedback ou descartadas. Esta separação entre geração e refinamento visa melhorar a estabilidade e a precisão.
3. Fase de Geração de Testes:
   • Agente Gerador de Testes: Converte os padrões GWT refinados em sinais de entrada de séries temporais concretos. Aplica algoritmos de amostragem para gerar entradas semente e de acompanhamento, garantindo que as transformações ocorram dentro de janelas de simulação válidas (por exemplo, próximo ao início da simulação).
   • Agente Validador de Testes: Realiza verificações de limites, validação de tipos de dados e garante que os casos de teste aderem a restrições específicas de simulação antes da execução.
4. Fase de Execução e Avaliação:
   • Ferramentas determinísticas executam as entradas de séries temporais geradas contra a FMU usando a biblioteca FMPy.
   • O sistema avalia a consistência da saída em relação às MRs.
   • Análise de Mutação: Para avaliar a qualidade do teste sem acesso ao código interno, o sistema aplica operadores de mutação (Espelho, Cruzamento, Polinomial) às séries temporais de saída registradas dos testes aprovados. A pontuação de mutação é calculada com base na capacidade das MRs de detectar essas falhas injetadas.

Principais Contribuições

• Fluxo de Trabalho Multi-Agente Automatizado: Um pipeline inovador que integra extração de requisitos, geração/refinamento de MR e execução de testes especificamente para simulações dinâmicas baseadas em FMU.
• MRs Estruturadas em GWT: A abordagem especifica MRs usando padrões Dado–Quando–Então, o que facilita o processamento por LLMs e garante transformações de entrada estruturadas e relações de saída.
• Viabilidade de Ponta a Ponta: O sistema automatiza todo o processo, da especificação à análise de mutação, abordando a lacuna na literatura existente onde os LLMs são frequentemente usados apenas para geração de candidatos sem integração completa do fluxo de trabalho.
• Mecanismos de Estabilidade: Ao separar a geração de MR do refinamento e usar um coordenador para gerenciar o estado, a abordagem mitiga a instabilidade e o não determinismo frequentemente associados a pipelines baseados em LLMs.

Resultados Experimentais
A abordagem foi avaliada em uma FMU de sistema de Resfriamento de Óleo Lubrificante (LOC) em 10 sessões independentes.

• Execução: O fluxo de trabalho completou com sucesso todas as fases (extração, geração, execução, análise) em todas as sessões.
• Cobertura: O sistema alcançou uma cobertura de requisitos média de 60,47%, gerando uma média de 15,8 MRs e 55,7 casos de teste por execução.
• Qualidade do Teste: A taxa de aprovação de testes média foi de 74,10%. Os autores observam que as falhas foram frequentemente devidas a problemas de estabilização temporal ou faixas de tolerância, em vez de erros de lógica fundamentais.
• Pontuação de Mutação: A pontuação de mutação média foi de 0,56, indicando que as MRs geradas detectaram com sucesso 56% das mutações de saída injetadas.
• Tempo de Execução: O tempo médio por caso de teste foi de aproximadamente 2,72 segundos para geração e 17,12 segundos para execução. A fase de geração e refinamento de MR foi identificada como o principal gargalo, com média de 43,95 segundos por MR aceita.

Significância e Limitações
O artigo afirma que o AgenticMeta demonstra a viabilidade de automatizar o teste metamórfico para simulações baseadas em FMU, reduzindo significativamente o esforço manual na derivação de oráculos de teste. Os resultados sugerem que o fluxo de trabalho pode gerar sistematicamente MRs significativas e testes executáveis, apoiando a verificação de modelos de simulação dinâmica.

No entanto, os autores modestamente reconhecem várias limitações:

• Restrições de Cobertura: Nem todos os requisitos puderam ser convertidos em MRs válidas, particularmente aqueles que descrevem comportamentos genéricos ou saídas não diretamente controláveis pelas entradas de FMU expostas.
• Dependência de Especificações: A qualidade da saída está diretamente ligada à clareza e completude das especificações funcionais de entrada e do modelDescription.xml.
• Escopo da Análise de Mutação: A pontuação de mutação reflete sensibilidade a desvios de saída, em vez de uma capacidade completa de detecção de falhas contra defeitos de implementação, pois as mutações foram aplicadas às saídas registradas e não ao binário da FMU.
• Generalizabilidade: A avaliação foi conduzida em um único estudo de caso (sistema LOC), e as descobertas podem não generalizar para modelos com lógica de controle ou estruturas de interface drasticamente diferentes.

O artigo conclui que, embora a abordagem seja um passo significativo em direção à verificação automatizada, trabalhos futuros focarão em tornar o Coordenador um agente LLM adaptativo e refinar os operadores de mutação para melhor alinhar com as semânticas das MRs.