Technische Samenvatting: Evaluatie van Temporele Semantische Caching en Workflow-optimalisatie in Agentische Plan-Uitvoeringspijplijnen

Probleemstelling

Workflowprocessen voor industriële activa zijn zeer gevoelig voor latentie en vereisen vaak de coördinatie van heterogene gegevensbronnen, waaronder sensortelemetrie, werkorders, foutmodi en prognosehulpmiddelen. De AssetOpsBench (AOB)-benchmark formaliseert dit domein met behulp van een Plan-Uitvoering-paradigma, waarbij een planner-LLM gebruikersvragen via het Model Context Protocol (MCP) ontleedt tot tooloproepen en een uitvoerder deze tools aanroept.

Deze tweestapsstructuur introduceert aanzienlijke wandkloklatentie door herhaalde overhead bij:

1. Toolontdekking: Het opstarten van servers en het ophalen van toolsignaturen voor elke vraag.
2. LLM-planning: Het omzetten van vragen en catalogi in gestructureerde plannen.
3. MCP-uitvoering: Het sequentieel aanroepen van tools.
4. Samenvatting: Het synthetiseren van outputs.

Hoewel standaard LLM-cachingtechnieken bestaan (KV-cache-hergebruik, op embedding gebaseerde semantische caching), werken deze niet in deze industriële context. Contextcaching vertrouwt op identieke promptvoorvoegsels, wat zeldzaam is bij parafraseerde operationele vragen. Semantische caching gaat ervan uit dat de geldigheid van een output uitsluitend afhangt van de inputprompt, en negeert dat industriële outputs afhankelijk zijn van externe, tijdsvariërende toestanden (bijvoorbeeld assetstatus, sensorwaarden, tijdvensters). Gevolg is dat pure semantische gelijkenis vaak leidt tot verouderde of onjuiste antwoorden wanneer parameters (asset-ID, tijdvenster) veranderen, zelfs als de linguïstische structuur vergelijkbaar blijft.

Methodologie

De auteurs stellen twee complementaire optimalisatielagen voor AOB-pijplijnen voor: een Temporele Semantische Cache en MCP-Workflowoptimalisaties.

1. Temporele Semantische Cache

Deze laag breidt standaard semantische caching uit om de tijdsgevoeligheid en parameterafhankelijkheid van industriële vragen te hanteren.

• Temporele classificatie: Voordat er semantisch wordt opgezocht, routeert een lichtgewicht, op regex gebaseerde classifier vragen naar vier categorieën:
  • Volatile: Verzoeken om live status (omzeilt de cache).
  • Static: Geen temporele afhankelijkheid (standaard semantische match).
  • Relative: Uitdrukkingen zoals "gisteren" die bij invoeging worden omgezet in concrete vensters.
  • Anchored: Vaste tijdvensters die worden vergeleken met compatibele vensters.
• Tweestapsopzoeking:
  1. Candidaatopzoeking: Gebruikt Approximate Nearest Neighbor (ANN)-zoekopdracht op query-embeddings (Qwen3).
  2. Beoordeling: Een op reranker gebaseerde judge evalueert kandidaten op zowel semantische uitlijning als venstercompatibiliteit. Dit voorkomt het teruggeven van gecachete antwoorden uit verschillende tijdsperiodes of assetcontexten.
• Oplossingsstrategie: Relatieve tijdsuitdrukkingen worden bij invoeging omgezet naar concrete tijdstippen. De judge controleert of het gecachete venster compatibel is met het opgeloste venster van de nieuwe vraag.

2. MCP-Workflowoptimalisaties

Deze optimalisaties verminderen de orchestratie-overhead ongeacht de cachestatus.

• Schijf-gebaseerde toolontdekkingscaching: In plaats van voor elke vraag subprocessen op te starten en list_tools() aan te roepen, wordt de toolcatalogus gepersisteerd in een lokaal JSON-bestand. De cachekey wordt alleen ongeldig verklaard bij wijzigingen in de broncode of configuratie van de server.
• Afhankelijkheidsbewuste parallelle uitvoering: Het gegenereerde plan wordt behandeld als een Directed Acyclic Graph (DAG). Stappen worden gegroepeerd in topologische afhankelijkheidslagen. Onafhankelijke stappen binnen een laag worden gelijktijdig uitgevoerd met behulp van een persistent serverpool (waarbij stdio-sessies worden onderhouden), terwijl afhankelijkheidsbarrières de volgorde behouden. Fouten in één server stoppen niet broederstappen op andere servers.

Belangrijkste Bijdragen

1. Temporele Semantische Caching voor Industriële Agenten: De introductie van een pre-retrieval temporele classifier en een vensterbewuste judge om parameter- en tijdsgevoeligheid aan te pakken, verdergaand dan pure semantische gelijkenis.
2. MCP-Workflowoptimalisaties: Een combinatie van caching in de ontdekkingsfase, DAG-gelaagde parallelle uitvoering en persistente serverpools om de orchestratiekosten per vraag te verlagen.
3. Verfijnde Evaluatieopzet: Een gekoppeld basislijn-tegen-geoptimaliseerd raamwerk met een testset op parafrase-niveau die gebruikmaakt van parent_id-gebaseerde grondwaarheid voor het labelen van cachehits/misses, wat systematische ablatiestudies op één machine mogelijk maakt.
4. Kritische Analyse van Cachinggeldigheid: Een empirische demonstratie dat pure semantische gelijkenis een onhoudbare proxy is voor de geldigheid van antwoorden in parameterrijke industriële vragen, wat de F1-scores voor hit-beslissingen beperkt door "parameter-collision"-false positives.

Resultaten

Experimenten werden uitgevoerd op de AOB-benchmark (152 vragen) met een Apple M-series machine.

• MCP-Workflowwinsten (Geïsoleerd): Op 18 IoT-vragen leverden MCP-optimalisaties alleen een 1,67× end-to-end versnelling op.
  • Ontdekkingskosten verlaagd met 296× (van ~2,1s naar ~0,007s).
  • Uitvoeringstijd verlaagd met 1,99× door parallelisatie.
  • Planning- en samenvattingstijden bleven grotendeels onveranderd, wat bevestigt dat de optimalisaties gericht zijn op orchestratie en niet op LLM-inferentie.
• Gecombineerde Pijplijn: Op 80 vragen op parafrase-niveau bereikte de volledige pijplijn een 3,48× mediaan versnelling (latentie verlaagd van 34,10s naar 9,80s).
  • Cachehits: Bereikte een 31,87× versnelling (mediaan latentie dicht bij nul) voor 45% van de vragen.
  • Cache misses: Het miss-pad bleef 3,30s sneller dan de niet-geoptimaliseerde basislijn, wat bewijst dat MCP-optimalisaties additieve voordelen bieden zelfs wanneer de cache een miss geeft.
• Kwaliteit van Cachebeslissing: De temporele classifier-plus-judge bereikte een F1 van 0,64 voor hit/miss-beslissingen.
  • Precisie: 0,75
  • Recall: 0,56
  • Specificiteit: 0,72

Betekenis en Beperkingen

Het artikel betoogt dat hoewel de voorgestelde optimalisaties de latentie aanzienlijk verminderen, de belangrijkste bijdrage een kritische analyse van caching als evaluatiekeuze is.

• Analyse van Falingsmodi: De studie blootlegt een structurele beperking: pure semantische gelijkenis kan geen onderscheid maken tussen vragen die alleen verschillen in operationele parameters (bijvoorbeeld "Koelmachine 6" versus "Koelmachine 9"), maar dezelfde linguïstische kaders delen. Zelfs met een strenge reranker-drempel ($\tau_{judge} = 0,92$) treden "parameter-collision"-false positives op, wat de F1-score beperkt tot ongeveer 0,64. Dit suggereert dat voor parameterrijke industriële vragen semantische caching alleen geen veilige proxy is voor antwoordinvaliditeit zonder parameterbewuste uitbreidingen.
• Additiviteit: De twee lagen zijn onafhankelijk en additief; de workflowoptimalisaties zorgen ervoor dat het "miss-pad" altijd sneller is dan de basislijn, waardoor wordt voorkomen dat de cache overhead introduceert.
• Bescheiden Claims: De auteurs erkennen dat de huidige temporele classifier een vaste grammatica van relatieve uitdrukkingen hanteert en sommige natuurlijke datumuitdrukkingen mist. Zij merken ook op dat de evaluatie beperkt was tot één machine zonder persistentie, en dat de testset op parafrase-niveau vertekend was ten opzichte van warme ouders, wat resulteerde in een hogere waargenomen hitrate (45%) dan waarschijnlijk haalbaar is op de volledige, ongefilterde corpus (geschat op 15–30%).

Het werk concludeert dat hoewel aanzienlijke versnellingen haalbaar zijn, toekomstig werk zich moet richten op parameterbewuste caching (het extraheren van gestructureerde parameters voor exacte matching) om de structurele falingsmodi die zijn geïdentificeerd in industriële agent-benchmarks op te lossen.