Resumen Técnico: Enrutamiento de LLM de Múltiples Niveles con Puerta de Clasificación para Industrias Reguladas

Declaración del Problema

El despliegue de Modelos de Lenguaje de Gran Escala (LLM) en industrias reguladas (por ejemplo, servicios financieros, salud) enfrenta un compromiso crítico entre capacidad, eficiencia de costos y cumplimiento normativo. Las arquitecturas de servicio actuales no logran abordar tres restricciones específicas simultáneamente:

1. Residencia de Datos y Cumplimiento: Regulaciones como el GDPR, SEBI, RBI y la DPDPA de la India exigen que la Información de Identificación Personal (PII) no cruce fronteras jurisdiccionales. Los despliegues de un solo modelo no pueden aplicar esto porque los datos entran al endpoint del modelo antes de que se tome cualquier decisión de enrutamiento.
2. Ineficiencia del Servicio de Modelo Único: Enrutar todas las consultas a un solo modelo grande consume la capacidad total de la GPU independientemente de la complejidad de la consulta. Esto crea contención de infraestructura e ignora la realidad de que la mayoría de las consultas en sectores regulados son búsquedas sencillas que solo requieren modelos pequeños.
3. Limitaciones de los Métodos de Enrutamiento Existentes:
   • Mezcla de Expertos (MoE): Aunque MoE enruta tokens entre capas de expertos, todos los expertos permanecen cargados en memoria, y el enrutamiento ocurre después de que los datos han llegado al endpoint. Esto impide la aplicación geográfica de la residencia de datos.
   • Métodos de Enrutamiento Previos (FrugalGPT, RouteLLM, Hybrid LLM): Estos enfoques se centran en el costo o la calidad, pero carecen de detección integrada de PII y enrutamiento geográfico. No imponen el cumplimiento por diseño, permitiendo a menudo que los datos sensibles atraviesen la infraestructura transregional antes de tomar una decisión.

Metodología

El artículo propone ComplianceGate, una arquitectura de enrutamiento con puerta de clasificación que garantiza el cumplimiento y optimiza el costo en la capa de pre-inferencia. El sistema opera dentro de una red privada y consta de dos componentes principales:

1. Clasificador de Codificador

Un codificador de transformador bidireccional (12 capas, 768 dimensiones ocultas, ~134M de parámetros) se sitúa antes de cualquier inferencia de decodificador.

• Entrenamiento: Pre-entrenado en 2 mil millones de tokens de texto en inglés y ajustado finamente con 50,000 ejemplos específicos del dominio.
• Función: Evalúa el texto de la consulta bruta para determinar la complejidad (simple, media, compleja) y la sensibilidad (presencia de PII frente a no sensible).
• Salida: Una distribución de probabilidad sobre seis etiquetas (el producto cruzado de 3 niveles de complejidad y 2 dimensiones de sensibilidad) con un puntaje de confianza.
• Rendimiento: El tiempo de inferencia es inferior a 10ms (específicamente 7ms en experimentos).

2. Lógica de Enrutamiento y Fallback

La capa de enrutamiento interpreta la salida del clasificador para tomar una decisión determinista antes de que comience cualquier computación de LLM:

• Aplicación Geográfica: Las consultas que contienen PII se enrutan a endpoints locales (dentro de la jurisdicción). Las consultas no sensibles se enrutan a la infraestructura transregional.
• Selección de Nivel de Modelo:
  • Consultas simples $\rightarrow$ Modelos densos pequeños y rápidos (ej. Nova Lite, Gemma 4B).
  • Consultas medias $\rightarrow$ Modelos de tamaño medio (ej. Gemma 27B, Ministral 14B).
  • Consultas complejas $\rightarrow$ Modelos grandes y capaces (ej. Qwen3-480B).
• Fallback Basado en Confianza: Si la confianza del clasificador cae por debajo de un umbral configurable (predeterminado 80%), el sistema cambia por defecto a la etiqueta más restrictiva (complex_pii). Esto asegura que, ante la incertidumbre, las consultas se enruten a modelos locales de capacidad completa, evitando estructuralmente las violaciones de residencia de datos.

3. Arquitectura de Despliegue

El sistema está contenedorizado y se despliega mediante infraestructura como código. Cada nivel de modelo opera en infraestructura independiente sin memoria compartida ni dominios de falla, lo que permite el escalado y las actualizaciones independientes sin afectar a otros niveles.

Principales Contribuciones

1. Cumplimiento por Diseño: La arquitectura hace que las violaciones de residencia de datos sean estructuralmente imposibles al detectar PII y enrutar a endpoints locales antes de que ocurra cualquier computación de LLM.
2. Optimización de Costos Multi-Nivel: A diferencia del enrutamiento binario o MoE, este sistema admite múltiples niveles de modelos. Enruta consultas simples a modelos que cuestan de 6 a 8 veces menos que los modelos de frontera, reduciendo significativamente los costos de servicio en proporción a la complejidad real del tráfico.
3. Desempeño y Resiliencia: Al evitar la sobrecarga de procesar solicitudes simples a través de modelos masivos, el sistema reduce la latencia y aumenta el rendimiento (throughput). Los niveles independientes aseguran que los fallos en un modelo no se propaguen a todo el sistema.
4. Modelo de Costo Formal: El artículo deriva un modelo matemático para los ahorros fraccionales ($S$), demostrando que los ahorros se maximizan cuando las distribuciones de consultas se inclinan hacia solicitudes simples (típico en servicios financieros).

Resultados Experimentales

El sistema fue evaluado con 600 consultas utilizando Amazon Bedrock (us-east-2) contra una línea base de Qwen3-480B-A35B (MoE) frente a la configuración de enrutamiento con puerta.

• Precisión: El codificador de clasificación logró una precisión del 99.2% con una recuperación de PII casi perfecta.
• Reducción de Latencia:
  • Consultas Simples: 2–4× más rápidas (490–840ms frente a ~1850ms de la línea base).
  • Consultas Medias: 1.7–3.3× más rápidas (1140–2250ms frente a ~3750ms de la línea base).
  • Consultas Complejas: Sin diferencia (se usa el mismo modelo).
  • Latencia Mediana: Reducción del 39% en total.
• Throughput: El enrutamiento con puerta logró 122–200 tokens/segundo para consultas simples/medias, comparado con los 50–64 tokens/segundo de la línea base de MoE.
• Predictibilidad (Varianza):
  • La línea base de MoE mostró una alta varianza de latencia (relación Máx/Mín de hasta 34.5×).
  • El enrutamiento con puerta redujo la varianza a 1.1–2.0×, haciendo que las garantías de SLA sean factibles.
• Ahorro de Costos:
  • 33% de ahorro bajo una distribución de consultas igual (33% simple/media/compleja).
  • 52% de ahorro bajo una distribución sesgada típica de servicios financieros (60% simple, 25% media, 15% compleja).
  • 74% de ahorro proyectado bajo distribuciones altamente sesgadas (70% simple).

Significación y Reivindicaciones

El artículo afirma que ComplianceGate proporciona una alternativa lista para producción frente a los despliegues de modelo único y MoE para industrias reguladas. Su significación radica en el cambio arquitectónico de la aplicación de políticas "post-hoc" a la aplicación estructural pre-inferencia.

• Ventaja Estructural: A diferencia de MoE, que no puede imponer el enrutamiento geográfico una vez que los datos entran al modelo, esta arquitectura impone los límites jurisdiccionales en la capa de enrutamiento.
• Escalabilidad: Permite el escalado independiente de los niveles de modelos, mientras que MoE requiere escalar todo el clúster.
• Practicidad: Con una sobrecarga de enrutamiento insignificante (<0.1% del costo total) y una alta precisión de clasificación, el sistema demuestra que un codificador entrenado puede satisfacer simultáneamente estrictos mandatos de cumplimiento (residencia de datos) y objetivos agresivos de eficiencia de costos sin sacrificar la calidad de respuesta para consultas complejas.

Los autores concluyen que el valor de este trabajo no reside en los modelos específicos elegidos, sino en el marco de enrutamiento que permite emparejar el modelo adecuado con la consulta adecuada basándose en la complejidad y sensibilidad medible por consulta, por jurisdicción y por restricción.