Technische Samenvatting: Classifier-Gated Multi-Tier LLM Routing voor Gereguleerde Industrieën

Probleemstelling

De inzet van Large Language Models (LLM's) in gereguleerde industrieën (bijv. financiële dienstverlening, gezondheidszorg) staat voor een kritieke afweging tussen capaciteit, kostenefficiëntie en naleving van regelgeving. Huidige serving-architecturen slagen er niet in om drie specifieke beperkingen tegelijkertijd aan te pakken:

1. Dataresistentie en Compliance: Regelgeving zoals GDPR, SEBI, RBI en India's DPDPA verplicht dat Persoonlijke Identificeerbare Informatie (PII) de jurisdictionele grenzen niet overschrijdt. Single-model deployments kunnen dit niet afdwingen omdat data het model-endpoint binnenkomt voordat er een routing-beslissing wordt genomen.
2. Inefficiëntie van Single-Model Serving: Het routeren van alle queries naar één groot model verbruikt de volledige GPU-capaciteit, ongeacht de complexiteit van de query. Dit creëert infrastructurele congestie en negeert het feit dat de meeste queries in gereguleerde sectoren eenvoudige opzoekopdrachten zijn die slechts kleine modellen vereisen.
3. Beperkingen van Bestaande Routing-methoden:
   • Mixture-of-Experts (MoE): Hoewel MoE tokens routeert tussen expert-lagen, blijven alle experts in het geheugen geladen en vindt de routing plaats nadat de data het endpoint heeft bereikt. Dit voorkomt geografische handhaving van dataresistentie.
   • Eerdere Routing-methoden (FrugalGPT, RouteLLM, Hybrid LLM): Deze benaderingen richten zich op kosten of kwaliteit, maar missen geïntegreerde PII-detectie en geografische routing. Ze handhaven compliance niet door ontwerp, omdat ze vaak toestaan dat gevoelige data cross-regionale infrastructuur doorkruist voordat een beslissing wordt genomen.

Methodologie

Het paper stelt ComplianceGate voor, een classifier-gated routing-architectuur die compliance afdwingt en kosten optimaliseert op de pre-inference laag. Het systeem werkt binnen een privaat netwerk en bestaat uit twee primaire componenten:

1. Encoder Classifier

Een bidirectionele transformer encoder (12 lagen, 768 hidden dimensies, ~134M parameters) bevindt zich vóór de decoder-inference.

• Training: Pre-trained op 2 miljard tokens van Engelse tekst en gefinetuned op 50.000 domeinspecifieke voorbeelden.
• Functie: Het evalueert de ruwe query-tekst op complexiteit (simpel, medium, complex) en gevoeligheid (aanwezigheid van PII vs. niet-gevoelig).
• Output: Een waarschijnlijkheidsverdeling over zes labels (het kruisproduct van 3 complexiteitsniveaus en 2 sensitiviteitsdimensies) met een betrouwbaarheidsscore.
• Prestaties: De inference-tijd is minder dan 10ms (specifiek 7ms in experimenten).

2. Routing Logica en Fallback

De routing-laag interpreteert de output van de classifier om een deterministische beslissing te nemen voordat er enige LLM-berekening begint:

• Geografische Handhaving: Queries die PII bevatten, worden gerouteerd naar lokale endpoints (binnen de jurisdictie). Niet-gevoelige queries worden gerouteerd naar cross-regionale infrastructuur.
• Model Tier Selectie:
  • Simpele queries $\rightarrow$ Kleine, snelle dense modellen (bijv. Nova Lite, Gemma 4B).
  • Medium queries $\rightarrow$ Middelgrote modellen (bijv. Gemma 27B, Ministral 14B).
  • Complexe queries $\rightarrow$ Grote, capabele modellen (bijv. Qwen3-480B).
• Confidence-Based Fallback: Als de betrouwbaarheid van de classifier onder een configureerbare drempelwaarde valt (standaard 80%), wordt het systeem standaard ingesteld op het meest restrictieve label (complex_pii). Dit zorgt ervoor dat bij onzekerheid queries naar lokale, volledige capaciteit modellen worden gerouteerd, wat dataresistentie-schendingen structureel voorkomt.

3. Deployment Architectuur

Het systeem is gecontaineriseerd en wordt uitgerold via infrastructure-as-code. Elke model tier opereert op onafhankelijke infrastructuur met geen gedeeld geheugen of failure domains, waardoor onafhankelijke schaling en upgrades mogelijk zijn zonder de andere tiers te beïnvloeden.

Belangrijkste Bijdragen

1. Compliance-by-Design: De architectuur maakt dataresistentie-schendingen structureel onmogelijk door PII te detecteren en naar lokale endpoints te routeren voordat enige LLM-berekening plaatsvindt.
2. Multi-Tier Kostenoptimalisatie: In tegenstelling tot binaire routing of MoE, ondersteunt dit systeem meerdere model tiers. Het routeert simpele queries naar modellen die 6–8× minder kosten dan frontier modellen, wat de serving-kosten aanzienlijk vermindert in verhouding tot de werkelijke verkeerscomplexiteit.
3. Prestaties en Veerkracht: Door de overhead van het verwerken van simpele verzoeken via massieve modellen te vermijden, vermindert het systeem de latentie en verhoogt het de throughput. Onafhankelijke tiers zorgen ervoor dat fouten in één model niet cascaderen naar het gehele systeem.
   4.Formeel Kostenmodel: Het paper leidt een wiskundig model af voor fractionele besparingen ($S$), waarbij aantoont dat besparingen worden gemaximaliseerd wanneer de query-distributies scheef zijn richting simpele verzoeken (typisch voor de financiële sector).

Experimentele Resultaten

Het systeem werd geëvalueerd op 600 queries met Amazon Bedrock (us-east-2) met een baseline van Qwen3-480B-A35B (MoE) versus de gated routing configuratie.

• Nauwkeurigheid: De encoder classifier behaalde 99,2% nauwkeurigheid met bijna perfecte PII-recall.
• Latentie Reductie:
  • Simpele Queries: 2–4× sneller (490–840ms vs. ~1850ms baseline).
  • Medium Queries: 1.7–3.3× sneller (1140–2250ms vs. ~3750ms baseline).
  • Complexe Queries: Geen verschil (zelfde model gebruikt).
  • Mediaan Latentie: 39% reductie in totaal.
• Throughput: Gated routing behaalde 122–200 tokens/seconde voor simpele/medium queries, vergeleken met 50–64 tokens/seconde voor de MoE baseline.
• Voorspelbaarheid (Variantie):
  • De MoE baseline vertoonde een hoge latentie-variantie (Max/Min ratio tot 34,5×).
  • Gated routing reduceerde de variantie tot 1,1–2,0×, wat SLA-garanties haalbaar maakt.
• Kostenbesparing:
  • 33% besparing onder een gelijke query-distributie (33% simpel/medium/complex).
  • 52% besparing onder een scheve distributie die typisch is voor de financiële sector (60% simpel, 25% medium, 15% complex).
  • 74% besparing geprojecteerd onder zeer scheve distributies (70% simpel).

Betekenis en Claims

Het paper claimt dat ComplianceGate een productie-klaar alternatief biedt voor single-model en MoE deployments voor gereguleerde industrieën. De betekenis ligt in de architecturale verschuiving van "post-hoc" beleidshandhaving naar pre-inference structurele handhaving.

• Structureel Voordeel: In tegen tegenstelling tot MoE, dat geen geografische routing kan afdwingen zodra data het model binnenkomt, dwingt deze architectuur jurisdictionele grenzen af op de routing-laag.
• Schaalbaarheid: Het maakt onafhankelijke schaling van model tiers mogelijk, terwijl MoE de gehele cluster moet schalen.
• Praktische Bruikbaarheid: Met een verwaarloosbare routing-overhead (<0,1% van de totale kosten) en een hoge classificatie-nauwkeurigheid, demonstreert het systeem dat een getrainde encoder tegelijkertijd strikte compliance-mandaten (dataresistentie) en agressieve kostenefficiëntie-doelen kan vervullen zonder de responskwaliteit voor complexe queries op te offeren.

De auteurs concluderen dat de waarde van dit werk niet ligt in de specifieke gekozen modellen, maar in het routing-framework dat het mogelijk maakt om het juiste model te matchen aan de juiste query op basis van meetbare complexiteit en sensitiviteit per query, per jurisdictie, en per beperking.