🤖 machine learning

ComplianceGate: Classifier-Gated Multi-Tier LLM Routing for Inference in Regulated Industries

Das Papier schlägt ComplianceGate vor, eine klassifikator-gesteuerte Multi-Tier-Routing-Architektur, die durch das Vorab-Screening von Abfragen auf Komplexität und personenbezogene Daten (PII) die Einhaltung der Datenresidenz sowie Kosteneffizienz in regulierten Branchen erzwingt, indem sie diese dynamisch vor der eigentlichen Inferenz an angemessen dimensionierte Modelle in konformen geografischen Regionen weiterleitet.

Ursprüngliche Autoren: Abhishek Dey

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Abhishek Dey

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten eine riesige, hochsichere Bank. Jeden Tag kommen tausende Menschen an den Schalter und bitten um Hilfe. Einige Fragen sind einfach, wie „Wie sind Ihre Öffnungszeiten?“ oder „Wie hoch ist der aktuelle Wechselkurs?“. Andere sind komplex, wie „Entwerfen Sie eine neue Anlagestrategie für ein multinationales Unternehmen“ oder „Analysieren Sie diesen Rechtsvertrag auf versteckte Risiken“.

Auf die alte Art und Weise (der „Single Model“- oder „MoE“-Ansatz, der im Paper beschrieben wird) würden Sie jeden einzelnen Menschen dazu zwingen, in einer Schlange vor Ihrem einen, superteuren, superintelligenten „Chef-Experten“ zu warten, der in einem Glasturm sitzt.

Das Problem: Selbst wenn jemand nur fragt: „Wann schließen Sie?“, muss der Chef-Experte seine Arbeit unterbrechen, seine volle Rüstung anlegen (480 GB an Daten in den Speicher laden) und die Frage beantworten. Das ist langsam, teuer und verschwenderisch.
Das Compliance-Risiko: Schlimmer noch: Stellen Sie sich vor, ein Kunde flüstert ein Geheimnis (wie seine Sozialversicherungsnummer) dem Chef-Experten zu. Wenn dieser Experte in einem anderen Land ansässig ist, ist dieses Geheimnis nun illegal über eine Grenze geschleust worden, was gegen das Gesetz verstößt.

Die Lösung des Papers: „ComplianceGate“

Der Autor, Abhishek Dey, schlägt ein neues System namens ComplianceGate vor. Anstatt eines riesigen Experten stellen Sie sich einen smarten, superschnellen Sicherheitswachmann vor, der an der Vordertür steht.

So funktioniert es, Schritt für Schritt:

1. Der smarte Sicherheitswachmann (Der Klassifizierer)

Bevor überhaupt jemand den Hauptschalter erreicht, sieht ein hochtrainierter „Sicherheitswachmann“ (ein KI-Encoder) sich die Frage an. Dieser Wachmann ist unglaublich schnell (er benötigt nur 7 Millisekunden) und hat zwei Aufgaben:

Ist es ein Geheimnis? Enthält die Frage sensible personenbezogene Daten (PII)?
Wie schwierig ist es? Ist dies eine einfache Frage oder ein komplexes Rätsel?

2. Der Verkehrsleiter (Das Routing)

Basierend auf der Einschätzung des Wachmanns wird die Frage sofort an den richtigen Ort geleitet:

Szenario A: Die einfache Frage (z. B. „Wie sind die Öffnungszeiten?“)
- Alter Weg: Wird an den Chef-Experten gesendet.
- Neuer Weg: Der Wachmann sagt: „Das ist einfach!“ und leitet den Kunden zu einem kleinen, schnellen Kiosk in der Nähe. Der Kiosk beantwortet die Frage sofort. Es ist günstig und benötigt sehr wenig Energie.
- Analogie: Wie die Nutzung eines Verkaufsautomaten für eine Limonade, anstatt einen Sommelier zu rufen, um einen Wein auszusuchen.
Szenario B: Die geheime Frage (z. B. „Prüfen Sie mein Bankguthaben mit der SSN 123...“)
- Alter Weg: Wird an den Chef-Experten gesendet, der sich möglicherweise in einem anderen Land befindet.
- Neuer Weg: Der Wachmann erkennt das Geheimnis sofort. Bevor irgendeine Verarbeitung stattfindet, sagt der Wachmann: „Stopp! Diese Daten dürfen das Gebäude nicht verlassen.“ Die Frage wird an einen lokalen, sicheren Tresorraum innerhalb desselben Landes geleitet.
- Analogie: Wie ein Türsteher in einem VIP-Club, der die ID eines VIPs sieht und ihn sofort in einen privaten Raum innerhalb des Gebäudes begleitet, um sicherzustellen, dass er niemals nach draußen gelangt, wo er gesehen werden könnte.
Szenario C: Die schwere Frage (z. B. „Entwerfen Sie ein neues Finanzsystem“)
- Alter Weg: Wird an den Chef-Experten gesendet.
- Neuer Weg: Der Wachmann sagt: „Das ist schwierig.“ Der Kunde wird zum Chef-Experten (dem großen Modell) geschickt, um die bestmögliche Antwort zu erhalten.

3. Das „Sicherheitsnetz“ (Confidence-Based Fallback)

Was ist, wenn sich der Sicherheitswachmann unsicher ist? Vielleicht ist die Frage knifflig.

Die Regel: Wenn der Wachmann sich nicht zu 100 % sicher ist, geht er kein Risiko ein. Er leitet den Kunden automatisch an die sicherste, teuerste Option (den lokalen Tresorraum oder den Chef-Experten) weiter.
Warum? Es ist besser, ein wenig Geld für eine sichere Antwort zu verschwenden, als versehentlich ein Geheimnis preiszugeben. Das Paper behauptet, dass dies so selten vorkommt (99,2 % Genauigkeit), dass es die Kosten kaum beeinflusst.

Die Ergebnisse: Warum das wichtig ist

Das Paper hat dieses System mit 600 realen Fragen getestet und dabei Folgendes herausgefunden:

Es ist viel schneller: Einfache Fragen wurden 2- bis 4-mal schneller beantwortet, da sie nicht darauf warten mussten, dass der riesige Experte erst „aufwacht“.
Es ist viel günstiger: Durch das Leiten einfacher Fragen an kleine, günstige Maschinen konnte das System die Kosten um 33 % bis 52 % senken.
Es ist sicherer: Sensible Daten haben niemals ihre lokale Gerichtsbarkeit verlassen. Das System hat es „strukturell unmöglich“ gemacht, dass Geheimnisse versehentlich Grenzen überschreiten.
Es ist berechenbar: Das alte System war wie eine chaotische Autobahn, auf der ein Auto manchmal 1 Sekunde und manchmal 20 Sekunden brauchte. Das neue System ist wie eine dedizierte Spur; einfache Fragen dauern immer etwa gleich lang.

Zusammenfassend

Das Paper argumentt, dass wir keinen „Vorschlaghammer brauchen, um eine Nuss zu knacken“. Anstatt jede Frage durch ein einziges riesiges, teures und potenziell riskantes KI-Modell zu jagen, sollten wir zuerst einen smarten Filter verwenden. Dieser Filter leitet einfache Fragen an kleine, schnelle Helfer weiter, hält Geheimnisse strikt lokal und ruft nur die schweren Geschütze hinzu, wenn es absolut notwendig ist.

Dieser Ansatz macht KI in regulierten Branchen (wie dem Bankenwesen oder dem Gesundheitswesen) schneller, günstiger und durch Design rechtlich konform.

Technisches Resümee: Klassifikator-gesteuertes Multi-Tier-LLM-Routing für regulierte Branchen

Problemstellung

Die Bereitstellung von Large Language Models (LLMs) in regulierten Branchen (z. B. Finanzdienstleistungen, Gesundheitswesen) steht vor einem kritischen Kompromiss zwischen Leistungsfähigkeit, Kosteneffizienz und regulatorischer Compliance. Aktuelle Serving-Architekturen versäumen es, drei spezifische Einschränkungen gleichzeitig zu adressieren:

Datenresidenz und Compliance: Vorschriften wie die DSGVO, SEBI, RBI und Indiens DPDPA schreiben vor, dass personenbezogene Daten (PII) die jeweiligen Jurisdiktionen nicht überschreiten dürfen. Einzelmodell-Deployments können dies nicht erzwingen, da die Daten das Modell-Endpoint erreichen, bevor eine Routing-Entscheidung getroffen wird.
Ineffizienz des Single-Model-Servings: Das Routing aller Abfragen an ein einziges großes Modell verbraucht die volle GPU-Kapazität, unabhängig von der Komplexität der Abfrage. Dies führt zu Infrastruktur-Konflikten und ignoriert die Tatsache, dass die meisten Abfragen in regulierten Sektoren einfache Lookups sind, die nur kleine Modelle erfordern.
Limitierungen bestehender Routing-Ansätze:
- Mixture-of-Experts (MoE): Während MoE Tokens zwischen Expert-Layern routet, bleiben alle Experten im Speicher geladen, und das Routing erfolgt erst, nachdem die Daten am Endpoint angekommen sind. Dies verhindert eine geografische Durchsetzung der Datenresidenz.
- Frühere Routing-Methoden (FrugalGPT, RouteLLM, Hybrid LLM): Diese Ansätze konzentrieren sich auf Kosten oder Qualität, lassen aber eine integrierte PII-Erkennung und geografisches Routing vermissen. Sie erzwingen Compliance nicht durch Design und erlauben es oft, dass sensible Daten die grenzüberschreitende Infrastruktur durchqueren, bevor eine Entscheidung getroffen wird.

Methodik

Das Paper schlägt ComplianceGate vor, eine klassifikator-gesteuerte Routing-Architektur, die Compliance erzwingt und die Kosten bereits auf der Pre-Inference-Ebene optimiert. Das System operiert innerhalb eines privaten Netzwerks und besteht aus zwei primären Komponenten:

1. Encoder-Klassifikator

Ein bidirektionaler Transformer-Encoder (12 Layer, 768 Hidden Dimensions, ~134 Mio. Parameter) sitzt vor der Decoder-Inferenz.

Training: Vor-trainiert auf 2 Milliarden Tokens englischer Texte und feinjustiert auf 50.000 domänenspezifischen Beispielen.
Funktion: Er evaluiert den Roh-Text der Abfrage hinsichtlich Komplexität (einfach, mittel, komplex) und Sensitivität (Vorhandensein von PII vs. nicht-sensitiv).
Output: Eine Wahrscheinlichkeitsverteilung über sechs Labels (das Kreuzprodukt aus 3 Komplexitätsstufen und 2 Sensitivitätsdimensionen) mit einem Konfidenzwert.
Performance: Die Inferenzzeit liegt unter 10 ms (speziell 7 ms in Experimenten).

2. Routing-Logik und Fallback

Die Routing-Schicht interpretiert den Output des Klassifikators, um eine deterministische Entscheidung zu treffen, bevor eine LLM-Berechnung beginnt:

Geografische Durchsetzung: Abfragen, die PII enthalten, werden an lokale Endpoints (innerhalb der Jurisdiktion) geroutet. Nicht-sensitive Abfragen werden an die grenzüberschreitende Infrastruktur geroutet.
Modell-Tier-Auswahl:
- Einfache Abfragen $\rightarrow$ Kleine, schnelle Dense-Modelle (z. B. Nova Lite, Gemma 4B).
- Mittlere Abfragen $\rightarrow$ Mittelgroße Modelle (z. B. Gemma 27B, Ministral 14B).
- Komplexe Abfragen $\rightarrow$ Große, leistungsfähige Modelle (z. B. Qwen3-480B).
Konfidenzbasierter Fallback: Wenn die Konfidenz des Klassifikators unter einen konfigurierbaren Schwellenwert fällt (Standard 80 %), wechselt das System standardmäßig auf das restriktivste Label (complex_pii). Dies stellt sicher, dass bei Unsicherheit die Abfragen an lokale Modelle mit voller Kapazität geroutet werden, wodurch Verstöße gegen die Datenresidenz strukturell verhindert werden.

3. Deployment-Architektur

Das System ist containerisiert und wird via Infrastructure-as-Code bereitgestellt. Jedes Modell-Tier operiert auf unabhängiger Infrastruktur mit keinem gemeinsamen Speicher oder Fehlerdomänen, was eine unabhängige Skalierung und Upgrades ermöglicht, ohne andere Tiers zu beeinflussen.

Zentrale Beiträge

Compliance-by-Design: Die Architektur macht Verstöße gegen die Datenresidenz strukturell unmöglich, indem sie PII erkennt und die Abfragen vor jeder LLM-Berechnung an lokale Endpoints routet.
Multi-Tier-Kostenoptimierung: Im Gegensatz zu binärem Routing oder MoE unterstützt dieses System mehrere Modell-Tiers. Es routet einfache Abfragen an Modelle, die 6–8× weniger kosten als Frontier-Modelle, was die Serving-Kosten proportional zur tatsächlichen Komplexität des Traffics signifikant senkt.
Performance und Resilienz: Durch die Vermeidung des Overheads, einfache Anfragen durch massive Modelle zu prozessieren, reduziert das System die Latenz und erhöht den Durchsatz. Unabhängige Tiers stellen sicher, dass Ausfälle in einem Modell nicht auf das gesamte System übergreifen.
Formales Kostenmodell: Das Paper leitet ein mathematisches Modell für fraktionale Einsparungen ( $S$ ) ab und zeigt, dass die Einsparungen maximiert werden, wenn die Abfrageverteilungen zu einfachen Anfragen neigen (typisch für Finanzdienstleistungen).

Experimentelle Ergebnisse

Das System wurde auf 600 Abfragen mittels Amazon Bedrock (us-east-2) gegen eine Baseline von Qwen3-480B-A35B (MoE) sowie gegen die gated Routing-Konfiguration evaluiert.

Genauigkeit: Der Encoder-Klassifikator erreichte eine Genauigkeit von 99,2 % mit nahezu perfektem PII-Recall.
Latenzreduktion:
- Einfache Abfragen: 2–4× schneller (490–840 ms vs. ~1850 ms Baseline).
- Mittlere Abfragen: 1,7–3,3× schneller (1140–2250 ms vs. ~3750 ms Baseline).
- Komplexe Abfragen: Kein Unterschied (gleiches Modell verwendet).
- Mediane Latenz: 39 % Reduktion insgesamt.
Durchsatz: Gated Routing erreichte 122–200 Tokens/Sekunde für einfache/mittlere Abfragen, verglichen mit 50–64 Tokens/Sekunde für die MoE-Baseline.
Vorhersehbarkeit (Varianz):
- Die MoE-Baseline zeigte eine hohe Latenzvarianz (Max/Min-Verhältnis bis zu 34,5×).
- Gated Routing reduzierte die Varianz auf 1,1–2,0×, was SLA-Garantien ermöglicht.
Kosteneinsparungen:
- 33 % Einsparung bei einer gleichmäßigen Abfrageverteilung (33 % einfach/mittel/komplex).
- 52 % Einsparung unter einer verzerrten Verteilung, wie sie typisch für Finanzdienstleistungen ist (60 % einfach, 25 % mittel, 15 % komplex).
- 74 % projektierte Einsparung unter hochgradig verzerrten Verteilungen (70 % einfach).

Bedeutung und Ansprüche

Das Paper behauptet, dass ComplianceGate eine produktionsreife Alternative zu Single-Model- und MoE-Deployments für regulierte Branchen bietet. Die Bedeutung liegt im architektonischen Wechsel von der "Post-hoc"-Policy-Durchsetzung hin zur strukturellen Pre-Inference-Durchsetzung.

Struktureller Vorteil: Im Gegensatz zu MoE, das die geografische Routierung nicht erzwingen kann, sobald die Daten das Modell erreichen, erzwingt diese Architektur die Jurisdiktionsgrenzen auf der Routing-Ebene.
Skalierbarkeit: Es ermöglicht die unabhängige Skalierung von Modell-Tiers, während MoE die Skalierung des gesamten Clusters erfordert.
Praktikabilität: Mit vernachlässigbarem Routing-Overhead (< 0,1 % der Gesamtkosten) und hoher Klassifizierungsgenauigkeit demonstriert das System, dass ein trainierter Encoder gleichzeitig strikte Compliance-Mandate (Datenresidenz) und aggressive Kosteneffizienzziele erfüllen kann, ohne die Antwortqualität für komplexe Abfragen zu opfern.

Die Autoren kommen zu dem Schluss, dass der Wert dieser Arbeit nicht in den spezifisch gewählten Modellen liegt, sondern im Routing-Framework, das es ermöglicht, das richtige Modell basierend auf messbarer Komplexität und Sensitivität pro Abfrage, pro Jurisdiktion und pro Constraint zuzuordnen.