💻 computer science

MIRAGE: Online LLM Simulation for Microservice Dependency Testing

O artigo apresenta o MIRAGE, uma abordagem de simulação online baseada em LLM que, ao responder dinamicamente a solicitações de dependências durante a execução de testes e manter o estado entre requisições, alcança fidelidade superior em comparação com métodos tradicionais de gravação e replay, conforme validado em diversos cenários de microsserviços.

Autores originais: XinRan Zhang

Publicado 2026-04-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: XinRan Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o diretor de uma peça de teatro complexa, como uma ópera moderna com dezenas de personagens. Para ensaiar, você precisa que cada ator saiba exatamente o que fazer quando o outro entra em cena. O problema? Alguns desses "atores" (os serviços dependentes) são caros de contratar, difíceis de conseguir no horário ou simplesmente não estão disponíveis para o ensaio.

A solução tradicional seria criar fantasias estáticas: você pega um roteiro antigo, grava o que o ator fez na última peça e, quando chega a hora do ensaio, alguém apenas repete esse roteiro gravado. Se o ator improvisar ou se a cena mudar um pouco, a fantasia falha, o roteiro não faz sentido e a peça quebra.

É aqui que entra o MIRAGE, o novo sistema descrito no artigo.

O Que é o MIRAGE?

O MIRAGE é como ter um ator de improviso genial (uma Inteligência Artificial) que fica no palco o tempo todo. Em vez de usar um roteiro gravado, o MIRAGE "lê" o manual do personagem (o código-fonte do serviço), observa como ele se comportou em peças anteriores (os registros de produção) e, quando o ator principal faz uma pergunta, o MIRAGE responde na hora, pensando e agindo como se fosse o personagem real.

Se a cena mudar, o MIRAGE se adapta. Se o ator principal fizer uma pergunta que nunca foi feita antes, o MIRAGE usa sua lógica para inventar uma resposta que faz sentido, mantendo a história coerente.

Como Funciona na Prática? (A Analogia do "Ator de Improviso")

O Problema dos Métodos Antigos (Gravação e Replay):
Imagine tentar ensaiar uma peça usando apenas um gravador de áudio. Se o ator principal disser algo diferente do que foi gravado, o gravador fica em silêncio ou toca um som errado. No mundo dos testes de software, isso significa que se você testar um cenário novo, o sistema antigo falha porque não tem o "roteiro" pronto para aquela situação específica. O artigo mostra que esses métodos antigos acertam apenas 62% das vezes em cenários novos.
A Solução do MIRAGE (Simulação Online):
O MIRAGE não grava nada antes. Ele está "vivo" durante o teste.
- Ele lê o manual: Se o código do serviço dependente estiver disponível (modo "caixa branca"), o MIRAGE lê tudo sobre como aquele serviço funciona.
- Ele observa o histórico: Se o código não estiver disponível (modo "caixa preta"), ele olha para os registros de como o serviço se comportou no passado.
- Ele mantém a memória: O mais importante é que o MIRAGE lembra do que aconteceu antes. Se na cena 1 você comprou um ingresso, na cena 2 ele sabe que você já tem um ingresso e não deixa você comprar dois iguais. Ele mantém o "estado" da história.

Os Resultados: O "Ator" é Melhor que o "Roteiro"?

Os pesquisadores testaram essa ideia em 110 situações diferentes, usando sistemas reais (como a loja online do Google e uma loja de meias famosa).

Precisão: O MIRAGE acertou 99% das vezes o que o serviço real faria (o código de resposta e a estrutura da mensagem). Os métodos antigos (o "roteiro gravado") acertaram apenas 62% do código e 16% da estrutura.
O Segredo: Quando o MIRAGE tinha acesso ao código original, ele foi perfeito (100%). Mesmo sem o código, apenas olhando para o histórico e para quem está chamando, ele acertou 94% das vezes.
Custo: É barato. Custa menos de um dólar para simular cada dependência em um teste. É como alugar um ator de improviso por alguns centavos, em vez de construir um cenário inteiro com atores reais.

Por Que Isso é Importante?

Pense no desenvolvimento de software como a construção de um prédio. Antes, para testar se a eletricidade funcionava, você precisava instalar geradores reais, cabos e baterias (o que demora e custa caro). Com o MIRAGE, você tem um simulador elétrico inteligente que sabe exatamente como a energia deve fluir, sem precisar instalar nada físico.

Velocidade: Você não precisa esperar horas para configurar servidores e bancos de dados. O MIRAGE começa a responder em segundos.
Flexibilidade: Ele lida com erros, situações estranhas e mudanças de última hora muito melhor do que os métodos antigos.
Confiabilidade: Os testes de integração (que verificam se o sistema todo funciona junto) passam ou falham exatamente da mesma forma que fariam com o sistema real.

Resumo Final

O MIRAGE é como substituir um boneco de papelão (que só faz o que foi desenhado) por um ator de teatro experiente que lê o roteiro, entende o contexto e improvisa respostas perfeitas para qualquer situação.

Isso permite que as equipes de tecnologia testem seus sistemas mais rápido, com mais confiança e sem gastar uma fortuna em infraestrutura, garantindo que, quando a peça for realmente encenada (o software for lançado), tudo funcione perfeitamente.

Título: MIRAGE: Simulação Online com LLM para Teste de Dependência de Microserviços

1. O Problema

O teste de integração de microserviços exige que as dependências a jusante (downstream) estejam disponíveis com configurações, estados de banco de dados e semânticas comportamentais corretas. Quando essas dependências são indisponíveis ou caras para provisionar, os desenvolvedores recorrem à simulação de dependências (mocks).

As abordagens existentes tratam esse problema como uma geração de artefatos estáticos em tempo de compilação:

Gravação e Reprodução (Record-Replay): Captura pares de requisição-resposta do tráfego de produção e os replata.
Mineração de Padrões: Extrai regras de estado de rastreamentos (traces).
Stubs Baseados em Especificação: Gera mocks a partir de definições de API (ex: OpenAPI).

Limitação Fundamental: Todos esses métodos geram um artefato estático antes da execução do teste. Eles falham em cenários não antecipados durante a geração (parâmetros não vistos, condições de erro inesperadas ou dependências de estado entre requisições). O artigo demonstra que essas abordagens tradicionais têm baixa fidelidade em cenários de "caixa preta" ou não vistos, com taxas de precisão de códigos de status de apenas 62% e de forma de resposta de 16%.

2. Metodologia: A Abordagem MIRAGE

Os autores propõem uma mudança de paradigma: Simulação Online com LLM. Em vez de gerar um mock estático, o Modelo de Linguagem (LLM) permanece no loop durante a execução do teste, respondendo diretamente a cada requisição HTTP à medida que chega, mantendo o estado de interação entre requisições.

O Sistema MIRAGE (Microservice Integration Runtime Agent for Generative Emulation):
O sistema opera em três componentes principais:

Construtor de Contexto: Monta o prompt do sistema para o LLM combinando:
- Código-fonte da dependência (se disponível - modo White-box).
- Código-fonte do chamador (caller).
- Resumo de rastreamentos (traces) de produção, agrupados por endpoint e distribuição de códigos de status.
Servidor LLM por Requisição: Um servidor FastAPI que intercepta as requisições HTTP. Cada requisição é enviada ao LLM junto com o histórico de conversão (limitado a 20 trocas para controlar o contexto). O LLM retorna um objeto JSON contendo o status, o corpo e cabeçalhos.
Contexto de Cenário: Antes de cada teste, o contexto do fluxo (sequência de chamadas) é injetado no LLM para que ele antecipe fluxos multi-etapa, sem vazar os resultados esperados (oráculos).

Modos de Operação:

White-box: O LLM tem acesso ao código-fonte da dependência, do chamador e aos traces.
Black-box: O LLM tem acesso apenas ao código do chamador e aos traces (simulando dependências de terceiros).

3. Contribuições Principais

Simulação Online como Primitiva de Teste: É o primeiro estudo empírico que formula a simulação onde o LLM responde diretamente a cada requisição mantendo estado cruzado como uma abordagem de tempo de execução para testes de dependência.
Validação Empírica em Três Benchmarks: Avaliação em 110 cenários de teste cobrindo 14 pares chamador-dependência em três sistemas (Google Online Boutique, Weaveworks Sock Shop e um sistema customizado "Demo").
Caracterização do Envelope Operacional: Análise detalhada de quais sinais (código-fonte, traces, código do chamador) são necessários para alta fidelidade e o impacto de restrições de representação intermediária (IR).

4. Resultados Chave

Fidelidade (Precisão):

Modo White-box: O MIRAGE alcançou 99% de fidelidade de código de status (109/110 cenários) e 99% de fidelidade de forma de resposta (estrutura JSON).
Modo Black-box: Mantém 94% de fidelidade de status, mas a fidelidade da forma da resposta cai para 75% (o modelo acerta o erro, mas falha na estrutura exata do JSON sem ver o código-fonte).
Comparação com Baselines:
- Record-Replay: 62% de status / 16% de forma de resposta.
- Pattern-Mining: 61% (no benchmark Demo).
- IR Restrita (Intermediária): 55% em serviços complexos (falha em rastrear estado implícito), mas 86% em APIs simples.

Análise de Sinais (Ablação):

O código-fonte da dependência é o sinal dominante. Sozinho, ele garante 100% de fidelidade.
Sem o código-fonte, o modelo ainda infere corretamente códigos de erro (94%), mas perde a precisão na estrutura da resposta.
Traces e código do chamador sozinhos permitem inferir decisões, mas não reconstruir formas de resposta complexas.

Consistência e Custo:

Estabilidade: Resultados consistentes entre três famílias de LLMs (Claude Opus, Sonnet, Kimi) com variação inferior a 3%.
Custo: Entre $0,16 e$ 0,82 por dependência.
Latência: ~~3 segundos por chamada LLM. Embora mais lento que serviços reais (~~50ms), o tempo de configuração de infraestrutura (Docker, DB) para testes reais (2-5 min) torna o MIRAGE competitivo ou superior em pipelines de CI/CD onde o provisionamento é o gargalo.
Testes End-to-End: Em 8 cenários de teste de integração do sistema "Demo", o MIRAGE produziu os mesmos resultados de Pass/Fail que as dependências reais (100% de equivalência).

5. Significado e Conclusão

O MIRAGE demonstra que a simulação de dependências não precisa ser estática. Ao manter o LLM no loop de tempo de execução, é possível lidar com estados implícitos, lógica de negócios complexa e cenários de erro não vistos anteriormente, superando drasticamente as técnicas tradicionais de gravação e reprodução.

Implicações Práticas:

Para testes de integração onde a estrutura da resposta importa, o modo White-box (com código-fonte) é ideal.
Para dependências de terceiros (Black-box), o MIRAGE ainda oferece alta precisão na lógica de controle de fluxo (códigos de status), sendo suficiente para validar a correção do fluxo de integração, embora com limitações na validação de valores exatos de dados.
A abordagem é particularmente valiosa para equipes que não possuem ambientes de staging provisionados, eliminando a sobrecarga de infraestrutura (Docker/DB) e reduzindo o tempo de feedback no desenvolvimento.

O trabalho sugere que, para serviços com estado latente e acoplamento temporal, a simulação online supera a geração de representações intermediárias estruturadas (IR), que tendem a falhar ao tentar formalizar comportamentos contínuos e complexos.