Resumo Técnico: Avaliação de Cache Semântico Temporal e Otimização de Fluxos de Trabalho em Pipelines de Execução de Planos Agênticas

Declaração do Problema

Os fluxos de trabalho de operações de ativos industriais são altamente sensíveis à latência, frequentemente exigindo a coordenação de fontes de dados heterogêneas, incluindo telemetria de sensores, ordens de serviço, modos de falha e ferramentas de previsão. O benchmark AssetOpsBench (AOB) formaliza este domínio usando um paradigma de Planejar-Executar, onde um LLM planejador decompõe consultas do usuário em chamadas de ferramentas via o Protocolo de Contexto do Modelo (MCP), e um executor invoca essas ferramentas.

Esta estrutura de dois estágios introduz latência substancial de relógio de parede devido à sobrecarga repetida em:

1. Descoberta de Ferramentas: Inicialização de servidores e busca de assinaturas de ferramentas para cada consulta.
2. Planejamento por LLM: Conversão de consultas e catálogos em planos estruturados.
3. Execução MCP: Invocação sequencial de ferramentas.
4. Resumo: Síntese das saídas.

Embora técnicas padrão de cache de LLM (reutilização de cache KV, cache semântico baseado em embeddings) existam, elas falham neste contexto industrial. O cache de contexto depende de prefixos de prompt idênticos, o que é raro em consultas operacionais parafraseadas. O cache semântico assume que a validade da saída depende exclusivamente do prompt de entrada, ignorando que as saídas industriais dependem de estados externos variáveis no tempo (por exemplo, status do ativo, leituras de sensores, janelas de tempo). Consequentemente, a similaridade semântica pura frequentemente leva a respostas desatualizadas ou incorretas quando parâmetros (ID do ativo, janela de tempo) mudam, mesmo que a estrutura linguística permaneça similar.

Metodologia

Os autores propõem duas camadas de otimização complementares para pipelines AOB: um Cache Semântico Temporal e Otimizações de Fluxo de Trabalho MCP.

1. Cache Semântico Temporal

Esta camada estende o cache semântico padrão para lidar com a sensibilidade temporal e a dependência de parâmetros das consultas industriais.

• Classificação Temporal: Antes da recuperação semântica, um classificador leve baseado em regex roteia consultas para quatro categorias:
  • Volátil: Solicitações de estado ao vivo (contorna o cache).
  • Estática: Sem dependência temporal (correspondência semântica padrão).
  • Relativa: Expressões como "ontem" resolvidas em janelas concretas no momento da inserção.
  • Ancorada: Janelas de tempo fixas correspondidas contra janelas compatíveis.
• Recuperação em Dois Estágios:
  1. Recuperação de Candidatos: Usa busca de Vizinho Mais Próximo Aproximado (ANN) em embeddings de consulta (Qwen3).
  2. Julgamento: Um juiz baseado em reranker avalia candidatos tanto para alinhamento semântico quanto para compatibilidade de janela. Isso evita retornar respostas em cache de diferentes períodos de tempo ou contextos de ativos.
• Estratégia de Resolução: Frases de tempo relativas são resolvidas para carimbos de tempo concretos no momento da inserção. O juiz verifica se a janela em cache é compatível com a janela resolvida da nova consulta.

2. Otimizações de Fluxo de Trabalho MCP

Estas otimizações reduzem a sobrecarga de orquestração independentemente do estado do cache.

• Cache de Descoberta de Ferramentas Baseado em Disco: Em vez de inicializar subprocessos e chamar list_tools() para cada consulta, o catálogo de ferramentas é persistido em um arquivo JSON local. A chave de cache é invalidada apenas em mudanças no código-fonte do servidor ou configuração.
• Execução Paralela Consciente de Dependências: O plano gerado é tratado como um Grafo Acíclico Direcionado (DAG). As etapas são agrupadas em camadas de dependência topológica. Etapas independentes dentro de uma camada executam concorrentemente usando um pool de servidores persistente (mantendo sessões stdio), enquanto barreiras de dependência preservam a ordenação. Falhas em um servidor não interrompem etapas irmãos em outros servidores.

Contribuições Principais

1. Cache Semântico Temporal para Agentes Industriais: A introdução de um classificador temporal pré-recuperação e um juiz consciente de janelas para abordar a sensibilidade a parâmetros e tempo, indo além da similaridade semântica pura.
2. Otimizações de Fluxo de Trabalho MCP: Uma combinação de cache na fase de descoberta, execução paralela em camadas DAG e pools de servidores persistentes para reduzir custos de orquestração por consulta.
3. Configuração de Avaliação Refinada: Um harness pareado de base versus otimizado com um conjunto de testes de nível de paráfrase usando verdade fundamental baseada em parent_id para rotulagem de acerto/erro de cache, permitindo estudos de ablação sistemáticos em uma única máquina.
4. Análise Crítica da Validade do Cache: Uma demonstração empírica de que a similaridade semântica pura é um proxy insustentável para a validade da resposta em consultas industriais ricas em parâmetros, limitando as pontuações F1 de decisão de acerto devido a falsos positivos de "colisão de parâmetros".

Resultados

Os experimentos foram conduzidos no benchmark AOB (152 consultas) usando uma máquina Apple série M.

• Ganhos de Fluxo de Trabalho MCP (Isolados): Em 18 consultas de IoT, as otimizações MCP sozinhas resultaram em um aceleração de ponta a ponta de 1,67×.
  • Custo de descoberta reduzido em 296× (de ~2,1s para ~0,007s).
  • Tempo de execução reduzido em 1,99× via paralelização.
  • Tempos de planejamento e resumo permaneceram largely inalterados, confirmando que as otimizações visam a orquestração, não a inferência do LLM.
• Pipeline Combinado: Em 80 consultas de nível de paráfrase, o pipeline completo alcançou uma aceleração mediana de 3,48× (latência reduzida de 34,10s para 9,80s).
  • Acertos de Cache: Alcançaram uma aceleração de 31,87× (latência mediana próxima de zero) para 45% das consultas.
  • Erros de Cache: O caminho de erro permaneceu 3,30s mais rápido que a linha de base não otimizada, provando que as otimizações MCP fornecem benefícios aditivos mesmo quando o cache falha.
• Qualidade da Decisão de Cache: O classificador temporal mais juiz alcançou um F1 de 0,64 nas decisões de acerto/erro.
  • Precisão: 0,75
  • Revocação: 0,56
  • Especificidade: 0,72

Significado e Limitações

O artigo argumenta que, embora as otimizações propostas reduzam significativamente a latência, a contribuição principal é uma análise crítica do cache como escolha de avaliação.

• Análise de Modo de Falha: O estudo expõe uma limitação estrutural: a similaridade semântica pura não consegue distinguir entre consultas que diferem apenas em parâmetros operacionais (por exemplo, "Resfriador 6" vs. "Resfriador 9") mas compartilham o mesmo quadro linguístico. Mesmo com um limiar estrito de reranker ($\tau_{judge} = 0,92$), ocorrem falsos positivos de "colisão de parâmetros", limitando a pontuação F1 próxima a 0,64. Isso sugere que, para consultas industriais ricas em parâmetros, o cache semântico sozinho não é um proxy seguro para a validade da resposta sem extensões conscientes de parâmetros.
• Aditividade: As duas camadas são independentes e aditivas; as otimizações de fluxo de trabalho garantem que o "caminho de erro" seja sempre mais rápido que a linha de base, impedindo que o cache introduza sobrecarga.
• Alegações Modestas: Os autores reconhecem que o classificador temporal atual lida com uma gramática fixa de frases relativas, perdendo algumas expressões de data naturais. Eles também observam que a avaliação foi limitada a uma única máquina sem persistência, e o conjunto de testes de nível de paráfrase foi enviesado para pais quentes, resultando em uma taxa de acerto observada mais alta (45%) do que provavelmente alcançável no corpus completo e não filtrado (estimado em 15–30%).

O trabalho conclui que, embora acelerações significativas sejam alcançáveis, o trabalho futuro deve focar em cache consciente de parâmetros (extração de parâmetros estruturados para correspondência exata) para resolver os modos de falha estruturais identificados em benchmarks de agentes industriais.