Using Large Language Models for Black-Box Testing of FMU-Based Simulations

1. Declaração do Problema

Os sistemas de engenharia modernos dependem fortemente de design baseado em modelos usando Functional Mock-up Units (FMUs) para simulação e co-simulação. As FMUs encapsulam binários de modelos e descrições, mas ocultam equações internas e detalhes do solucionador, tornando o teste de caixa branca tradicional inviável. Consequentemente, a verificação deve depender do teste de caixa preta, que exige a definição de cenários de teste complexos baseados apenas em especificações funcionais e descrições de interface.

• Desafio: Definir manualmente diversos cenários de teste, séries temporais de entrada e comportamentos de saída esperados (oráculos) para sistemas dinâmicos é trabalhoso, propenso a erros e difícil de escalar.
• Lacuna: Os métodos de teste automatizado existentes frequentemente exigem acesso às estruturas internas do modelo (por exemplo, internos do Simulink) ou carecem de mecanismos para gerar objetivos de teste legíveis por humanos e específicos do domínio para FMUs de caixa preta.

2. Metodologia

Os autores propõem um framework Human-in-the-Loop (HITL) que alavanca Large Language Models (LLMs) para automatizar a geração de cenários de teste de caixa preta. A abordagem segue uma hierarquia de abstração de três níveis: Intenção (Objetivos) $\rightarrow$ Modelos (Planos) $\rightarrow$ Séries Temporais Executáveis (Cenários).

A. Visão Geral do Fluxo de Trabalho

1. Entrada: Uma FMU compatível com FMI (especificamente modelDescription.xml) e documentos de especificação funcional.
2. Extração pelo LLM: O LLM extrai restrições de E/S (nomes de variáveis, unidades, faixas) dos metadados.
3. Geração de Cenário (Fases Iterativas):
   • Fase 1: Geração de Objetivos: O LLM gera objetivos de teste de alto nível no formato Given-When-Then (GWT) (sintaxe Gherkin). Esses objetivos descrevem pré-condições qualitativas, perturbações e tendências comportamentais esperadas (por exemplo, "aumento monótono", "estabiliza no ponto de ajuste").
   • Fase 2: Geração de Planos: Objetivos aprovados são convertidos em Planos de Cenário concretos. O LLM define padrões de entrada específicos (constante, degrau, rampa), magnitudes, temporização e oráculos de asserção formais (por exemplo, bounded, crosses_above, settles_to) com limites numéricos derivados das restrições.
   • Fase 3: Instanciação de Cenário: Planos são convertidos em séries temporais executáveis usando Amostragem Hipercúbica Latina (LHS) com uma semente aleatória fixa para garantir geração determinística e deduplicação.
4. Human-in-the-Loop: Um especialista do domínio revisa objetivos e planos em cada estágio para validar viabilidade, segurança e lógica do domínio antes da execução.
5. Execução e Avaliação: A FMU é simulada usando as entradas geradas. Asserções são avaliadas contra as saídas registradas para produzir veredictos de aprovação/reprovação.

B. Mecanismos Técnicos Chave

• Engenharia de Prompt: O sistema utiliza prompting baseado em esquema com esquemas JSON estritos, exemplares few-shot e definições de papel para garantir saídas estruturadas e legíveis por máquina.
• Controle de Temperatura: É empregada uma estratégia de temperatura dividida:
  • Alta Temperatura (0.7) para Geração de Objetivos para maximizar diversidade e criatividade.
  • Baixa Temperatura (0.2) para Geração de Planos para garantir determinismo e precisão em valores numéricos.
• Definição de Oráculo: Em vez de prever valores numéricos exatos (o que é difícil para sistemas dinâmicos), o LLM gera oráculos genéricos descrevendo tendências (por exemplo, "a saída se estabiliza no alvo dentro da tolerância $t$").
• Deduplicação: Um mecanismo de hash é usado para detectar e remover objetivos, planos e cenários duplicados entre execuções para otimizar a eficiência.

3. Contribuições Principais

1. Framework HITL para FMUs: Um fluxo de trabalho inovador integrando LLMs com revisão de especialista do domínio especificamente para teste de caixa preta de modelos de simulação encapsulados.
2. Geração Estruturada de Cenários: Um método para traduzir metadados de FMU não estruturados em objetivos GWT estruturados e planos de séries temporais executáveis usando engenharia de prompt e restrições de esquema.
3. Avaliação de Adequação Baseada em Mutação: Os autores introduzem um método personalizado de análise de mutação para avaliar a qualidade dos cenários gerados. Como o código interno não está disponível, eles mutam a série temporal de saída da FMU (por exemplo, mutações Espelho, Uniforme Aleatória, Cruzamento, Polinomial) para criar "mutantes" e medem quantos são "eliminados" (detectados como falhas) pela suíte de testes gerada.
4. Implementação Prática: Uma cadeia de ferramentas completa demonstrando a geração, execução e registro de cenários de teste para um sistema de Resfriamento de Óleo Lubrificante (LOC).

4. Resultados

A abordagem foi avaliada em uma FMU de sistema de Resfriamento de Óleo Lubrificante (LOC).

• Precisão: Sem revisão humana, os cenários gerados pelo LLM tiveram uma precisão média de 47% devido a alucinações e restrições irreais. Com validação de especialista do domínio, a precisão subiu para quase 100%.
• Capacidade de Detecção de Falhas:
  • Pontuação de Mutação: Os cenários gerados pelo LLM alcançaram uma pontuação de mutação de 0,67 (eliminam 47 dos 70 mutantes).
  • Comparação: Isso é comparável aos cenários criados manualmente, que alcançaram uma pontuação de 0,685 (eliminam 48 mutantes).
  • Conclusão: A abordagem assistida por LLM gera cenários com capacidade de detecção de falhas equivalente ao teste manual.
• Eficiência: O processo de geração ponta a ponta (restrições, objetivos, planos) para um lote de 8–10 cenários levou menos de um minuto por execução.
• Cobertura: A abordagem gerou cenários adicionais e diversos além do que um especialista humano criou manualmente, cobrindo diferentes variações comportamentais.

5. Significado e Trabalho Futuro

• Significado: Este trabalho demonstra que LLMs podem efetivamente preencher a lacuna entre especificações funcionais de alto nível e casos de teste executáveis de baixo nível para modelos de simulação de caixa preta. Reduz significativamente o esforço manual enquanto mantém alta qualidade de teste através da supervisão humana.
• Limitações:
  • Não Determinismo: As saídas do LLM podem variar entre execuções mesmo com sementes fixas, exigindo deduplicação robusta.
  • Alucinações: O modelo ainda pode gerar faixas de parâmetros irreais, necessitando de revisão humana.
  • Confiança no Oráculo: A validade de oráculos qualitativos depende da compreensão do LLM sobre a dinâmica do sistema; limites incorretos podem levar a falsos positivos/negativos.
• Direções Futuras: Estender a abordagem para co-simulação (configurações multi-FMU) e implementar um loop de aprendizado ativo onde o LLM se re-prompta com base em falhas de simulação para refinar futuros casos de teste.

Em resumo, o artigo apresenta uma metodologia robusta e prática para automatizar o teste de simulações de engenharia complexas, provando que LLMs, quando guiados por prompts estritos e expertise humana, podem servir como assistentes poderosos na verificação e validação de sistemas de caixa preta.