Technische Samenvatting: Neural Router: Semantische Inhoudsmatching voor Agentic AI

1. Probleemstelling

Terwijl autonome AI-agenten opereren binnen het computing-continuüm (cloud, edge, IoT), moeten ze informatie ontdekken en consumeren uit diverse bronnen met variërende dataformaten, vocabulaires en modaliteiten. Traditionele inhoudsgebaseerde publish/subscribe (pub/sub) systemen vertrouwen op trefwoordmatching of attributegestuurde filters, die falen om de "semantische kloof" te overbruggen wanneer uitgevers en abonnees verschillende terminologieën of modaliteiten gebruiken (bijvoorbeeld ruwe sensoractivaties versus beschrijvingen van activiteiten in natuurlijke taal). Hoewel op embedding gebaseerde semantische matching een tussenvoorstel biedt, mist het het abductieve redeneren dat vereist is wanneer modaliteiten niet overeenkomen.

Het artikel behandelt het ontwerp van een matching-engine voor een pub/sub-broker die Large Language Models (LLM's) gebruikt om te evalueren of een stuk inhoud voldoet aan een beschrijving van interesse in natuurlijke taal. De kernuitdaging is het integreren van LLM's in de matching-lus terwijl de afwegingen tussen semantische nauwkeurigheid, latentie en rekenkosten worden beheerd, met name gezien de beperkingen van contextvensters en het niet-deterministische karakter van LLM-inferentie.

2. Methodologie en Architectuur

De auteurs stellen de Neural Router voor, een inhoudsgebaseerde pub/sub-broker waarbij de LLM dient als primaire matching-engine. Het systeem wordt geframed als een offline multi-label retrieval-probleem en maakt gebruik van een tweeledige architectuur:

• Offline Abonnementenpad:

  • Embedding & Clustering: Vrije tekstabonnementbeschrijvingen worden ge-embed (met Sentence-BERT) en via $k$-means geclusterd in semantisch coherente groepen.
  • Compressie: Binnen elke cluster gebruikt een CoverAndMerge-algoritme (Algoritme 4) de LLM om abonnementen te identificeren die semantisch worden overgenomen door bredere abonnementen (dekking) of die kunnen worden gecombineerd (samenvoegen). Dit verkleint de token-footprint van de abonnementsset.
  • Toewijzing Backend: Clusters worden toegewezen aan specifieke LLM-backends op basis van een Quality-of-Experience (QoE)-score, een gewogen scalarisatie van nauwkeurigheid, kosten en latentie.

• Online Eventpad:

  • Routing: Inkomende events worden ge-embed en naar kandidaat-clusters gerouteerd op basis van cosinusgelijkenis met clustercentroïden.
  • Batching & Matching: Events worden opgestapeld in batches en verpakt in LLM-prompts naast de gecomprimeerde abonnementsset van de doelcluster. De LLM retourneert de top-$\kappa$ overeenkomende abonnementen voor elk event.

Belangrijke Algoritmen

1. OptimizeSubscriptions: Bereidt de matching-tabel voor door abonnementen te embedden, te clusteren en te comprimeren, en vervolgens backends toe te wijzen.
2. MatchEvents: Routeert events naar clusters, batcht ze en roept de toegewezen LLM aan voor semantische matching.
3. CoverAndMerge: Een iteratief, door LLM-ondersteund proces dat de grootte van de abonnementsset verkleint terwijl het tracht de recall te behouden.

Kostenmodel en Crossover-analyse

Het artikel leidt een kostenmodel af dat twee kritieke crossover-punten voorspelt:

1. Contextvenster-Crossover ($W_{cross}$): Een theoretische drempel waaronder compressie (verkleinen van abonnement-tokens) de batchgrootte van events per LLM-aanroep vergroot, waardoor het totale aantal aanroepen en de latentie afnemen. Boven deze drempel (typisch voor moderne cloud-LLM's met grote contextvensters) weegt de overhead van clustering en meerdere prompts op tegen de besparingen door compressie.
2. Discriminatiecapaciteit-Crossover ($|S|_{cross}$): Een empirische drempel waarbij het aantal abonnementen ($|S|$) de capaciteit van de LLM overschrijdt om nauwkeurige gelijktijdige binaire relevantiebeslissingen te nemen. Voorbij dit punt stort de matchingnauwkeurigheid in, onafhankelijk van de grootte van het contextvenster, vanwege beperkingen in het attentiebudget.

3. Experimentele Opstelling

De evaluatie beslaat drie publieke datasets die verschillende domeinen en semantische moeilijkheidsgraden vertegenwoordigen:

• CardiffNLP (D1): Tweets van sociale media (19 onderwerpen, lage semantische kloof).
• EUR-Lex (D2): EU-wetgevingsdocumenten (201 onderwerpen, gematigde semantische kloof, lange context).
• CASAS (D3): Logs van slimme huissensoren (19 activiteiten, hoge modale kloof die abductief redeneren vereist).

Backends: Zes LLM's werden geëvalueerd:

• Open-weight: Qwen 2.5 (1.5B, 7B, 32B) en Mistral 7B.
• Gesloten-API: Claude 3 Haiku en Claude 3 Sonnet.

Baselines: Zeven baselines omvatten trefwoordmatching (BM25, TF-IDF), embeddinggelijkenis (Sentence-BERT, GloVe, Word2Vec), paarsgewijze neurale scoring (Cross-Encoder) en zero-shot classificatie (DistilBART-MNLI).

Configuraties: Zeven ablatieconfiguraties (A0–A6) testten de impact van clustering, compressie, hereniging en filtering.

4. Belangrijkste Resultaten

Kosten-Nauwkeurigheid-Afwegingen

• Contextvenster-Crossover: Op datasets met grote contextvensters (cloud-API's, $W \ge 128K$) domineert de configuratie Raw LLM (A0). Clustering en compressie (A1, A3, A4) verhogen het aantal LLM-aanroepen zonder de nauwkeurigheid te verbeteren, aangezien het contextvenster niet de bindende beperking is.
• Edge-regime: In beperkte omgevingen ($W \approx 4K$) verkleint compressie (A4) het aantal aanroepen. Het artikel observeert echter een instorting bij lege voorspellingen: naarmate de abonnementsset groeit door duplicatie, versmalt het vocabulaire van de LLM en geeft het steeds vaker lege matches terug, waardoor de nauwkeurigheid ondanks compressie significant daalt.

Discriminatiecapaciteit

• Modelafhankelijkheid: De nauwkeurigheid daalt wanneer $|S|$ een model-specifieke drempel overschrijdt ($|S|_{cross}$). Deze drempel is geen globale scalar maar hangt af van de gezamenlijke factor van het aantal parameters en de trainingsgeneratie.
• Vondsten op D2 ($|S|=201$):
  • Kleinere modellen (Qwen 1.5B, 7B) stortten in tot bijna nul nauwkeurigheid.
  • Grotere modellen (Qwen 32B) en nieuwere generaties (Mistral 7B) toonden een gedeeltelijk herstel, maar bleven onder de paarsgewijze baselines.
  • Alleen het frontier-model met gesloten API (Claude Sonnet) presteerde significant beter dan de paarsgewijze baselines.
• Conclusie: De selectie van de backend (modelkeuze) is de primaire hefboom voor prestaties; het afstemmen van de pijplijn (clustering/compressie) is secundair.

QoE-backendtoewijzing

• Een op QoE gebaseerd toewijzingskader werd getest tegen een Round-Robin-baseline.
• Op een 7B/32B-gradiënt bereikte Round-Robin 83% van de sluiting van het nauwkeurigheidskloof van de grotere tier bij 0,7x de latentie.
• De QoE-geoptimaliseerde aanpak presteerde niet consequent beter dan Round-Robin vanwege kalibratieruis; het kleine kalibratievoorbeeld (10%) was onvoldoende om op cluster-niveau betrouwbaar onderscheid te maken tussen backendprestaties. Scheiding werd alleen waargenomen onder specifieke "kosten-eerst" gewichtspresetten.

5. Betekenis en Claims

Het artikel claimt de volgende bijdragen en betekenis:

• Eerste LLM-in-the-Loop Pub/Sub: Het is het eerste systeem dat een LLM direct in de inhoudsmatching-lus van een pub/sub-broker plaatst, verdergaand dan het gebruik van LLM's uitsluitend voor orchestration of het genereren van meldingen na matching.
• Twee-Crossover Karakterisering: Het artikel biedt een principieel kader om te begrijpen wanneer LLM-gebaseerde matching haalbaar is. Het identificeert dat discriminatiecapaciteit (het vermogen om te redeneren over veel gelijktijdige opties) vaak een strakkere beperking is dan de grootte van het contextvenster.
• Praktische Richtlijnen:
  • Voor grote contextvensters is eenvoudige ruwe matching (A0) superieur aan complexe pijplijnen.
  • Voor hoge abonnementscardinaliteit is modelselectie kritischer dan configuratieafstemming.
  • Compressiepijplijnen zijn alleen voordelig in regimes met beperkte contextvensters en zijn afhankelijk van het vermogen van de LLM om samengevoegde, samengestelde beschrijvingen te verwerken zonder in te storten.
• Modale Overbrugging: Het systeem overbrugt succesvol de modale kloof (bijvoorbeeld sensordata naar natuurlijke taal) waar op embedding gebaseerde filters per constructie falen.

De auteurs blijven bescheiden wat betreft toekomstig werk, met de opmerking dat de huidige evaluatie offline, single-broker en single-tenant is. Zij schuiven kwesties van online operatie, gedistribueerde federatie en multimodale extensies bewust uit naar toekomstige studies. Zij erkennen ook dat benchmarkresultaten bovengrenzen kunnen zijn vanwege potentiële datacontaminatie (memorisatie van publieke datasets door LLM's).