Think Before You Grid-Search: Floor-First Triage for LLM Serving

Resumen Técnico: Triaje de Prioridad de Suelo para el Servicio de LLM

Planteamiento del Problema
Los equipos de producción que optimizan el servicio de Modelos de Lenguaje de Gran Escala (LLM) se enfrentan a un vasto espacio de configuración que involucra diseños de paralelismo (TP, EP, DP), batching, cuantización y trabajo a nivel de kernel. La respuesta operativa predominante ante el incumplimiento de los objetivos de latencia es realizar benchmarks de numerosas configuraciones y desplegar profilers pesados (por ejemplo, Nsight Systems) de forma indiscriminada. Este enfoque suele degenerar en una búsqueda de cuadrícula (grid search) ineficiente, donde las cifras de rendimiento medidas son ambiguas: un TPOT (Tiempo por Token de Salida) lento podría derivarse de límites fundamentales de ancho de banda, brechas de implementación, comunicación expuesta, sobrecarga del host o kernels de bajo rendimiento. El artículo argumenta que la comunidad de ingeniería carece de un procedimiento de decisión sistemático para determinar cuándo es necesario el profiling y dónde buscar primero, lo que conduce a decisiones de despliegue impredecibles (por ejemplo, estrategias de paralelismo conflictivas para modelos DeepSeek en el mismo hardware) basadas en la tradición en lugar de una contabilidad explícita de recursos.

Metodología: Triaje de Prioridad de Suelo (Floor-First Triage)
El artículo propone "Floor First", un flujo de trabajo de triaje basado en residuos que trata la estimación analítica como la capa primaria de profiling. La metodología consta de cuatro etapas distintas:

1. Construcción del Suelo Analítico: Antes de cualquier benchmark, el sistema computa un "suelo de dos lados" para una configuración dada. Este modelo trata cada paso de decodificación como un vector de recursos de cinco dimensiones: bytes de HBM, FLOPs, bytes de red, mensajes de red y capacidad de KV.

   • Suelo Optimista ($t_{opt}$): Calculado como el máximo de los tiempos de recursos independientes ($max(t_{HBM}, t_{compute}, t_{network})$), asumiendo un solapamiento perfecto.
   • Suelo Pesimista ($t_{sum}$): Calculado como la suma de todos los tiempos de recursos ($t_{HBM} + t_{compute} + t_{network}$), asumiendo la ausencia de solapamiento.
   • Intervalo de Diagnóstico: La posición de una medición de benchmark dentro del intervalo $[t_{opt}, t_{sum}]$ sirve como un diagnóstico de costo cero para el solapamiento del sistema. Si la medición está cerca de $t_{opt}$, el solapamiento es bueno; si está cerca de $t_{sum}$, el cuello de botella es el esquema de programación/solapamiento; si está por encima de $t_{sum}$, el tiempo se está filtrando hacia costos no modelados (brechas del host, stragglers).

2. Disciplina de Benchmark: Los benchmarks deben realizarse bajo reglas estrictas: generación de carga de bucle abierto (para evitar el sesgo de auto-estrangulamiento), distribuciones de longitud realistas, operación en estado estacionario y reporte de percentiles de cola (P99).

3. Reconciliación y Triaje: El tiempo medido se compara con el suelo.

   • Residuo Pequeño (< 1.3× suelo): La investigación se detiene. El sistema está cerca del límite teórico para ese eje; una mayor optimización requiere cambiar la arquitectura (por ejemplo, atención dispersa, cuantización) en lugar de ajustar kernels.
   • Residuo Grande: Se escala el profiling. Nsight Systems se utiliza únicamente para responder tres preguntas específicas: ¿Existen brechas entre kernels? ¿Está la comunicación expuesta? ¿Qué clase de kernel excede su presupuesto analítico? Nsight Compute se reserva estrictamente para clases de kernel que exceden su presupuesto después de excluir otras causas.

4. Orden de Pared (Wall Ordering): En lugar de comparar la latencia de un solo batch, los despliegues se evalúan mediante el "orden de pared": determinar qué restricción de recurso (capacidad de KV, ancho de banda de KV, ancho de banda de pesos o cómputo) se bloquea primero a medida que aumenta la carga. La capacidad se trata como una dimensión de recurso de primera clase, no como una verificación de memoria post-hoc.

Contribuciones Clave

1. Flujo de Trabajo de Triaje Basado en Residuos: Un ciclo de decisión que separa la definición de objetivos, la construcción del suelo y la escalada del profiler, con reglas de parada explícitas que dirigen los esfuerzos de optimización hacia el trabajo de pipeline (diseño/programación) o el trabajo de kernel.
2. Modelo de Suelo de Dos Lados: Un modelo analítico que proporciona límites optimistas y pesimistas, utilizando la brecha entre ellos para diagnosticar la eficiencia del solapamiento sin ejecutar un profiler.
3. Orden de Pared como Resultado: Un método para comparar alternativas de despliegue basándose en qué pared de recurso se bloquea primero conforme crece la concurrencia, revelando que un diseño con peor latencia de un solo batch puede dominar la frontera de buen rendimiento (goodput) si tiene una pared de capacidad más alta.
4. Disciplina de Métricas: Una sistematización de las métricas de utilización (MFU vs. MBU) basada en la "identidad de cresta" ($MFU/MBU = I_{work}/I_{ridge}$), asegurando que se reporte la métrica correcta para el recurso que bloquea.
5. Artefacto y Habilidad de Agente: Un artefacto de Python sin dependencias (floor.py) y una habilidad legible para agentes (SKILL.md) que imponen esta disciplina en los bucles de optimización agénticos, evitando que los agentes recurran reflexivamente a los profilers.

Resultados del Caso de Estudio
El artículo aplica esta metodología a un modelo MoE de estilo DeepSeek-V3.2 de 671B en 16 GPUs NVIDIA H20.

• Caracterización de Hardware: Se identifica que la GPU H20 tiene un punto de cresta de ~74 FLOP/byte (frente a ~590 para H100), lo que la convierte en una pieza extrema "orientada a decodificación" donde la región limitada por memoria es 8× más ancha.
• Juicio de Diseño (Layout):
  • TP16: Con un tamaño de batch de 64 y contexto de 8K, TP16 está limitado por la capacidad de KV a ~70 solicitudes concurrentes. El término de ancho de banda de KV es significativo, y la pared de cómputo es inalcanzable dentro de la región factible.
  • EP16 + DP Attention: Este diseño intercambia un tráfico de pesos ligeramente peor por una pared de capacidad de ~644 solicitudes (un orden de magnitud más alta). Aunque TP16 tiene una latencia de flujo único menor (2.4× más rápida en B=1), EP16+DP domina la frontera de buen rendimiento de alta concurrencia.
  • Atención Dispersa (DSA): Elimina la pared de ancho de banda de KV pero no la pared de capacidad, ya que el KV completo debe permanecer direccionable.
• Resolución de Desacuerdos: El estudio explica por qué diferentes equipos desplegaron diseños opuestos (TP vs. DP) en el mismo hardware: la elección óptima es una función computable del punto de operación (concurrencia). La alta concurrencia favorece a DP; la baja concurrencia favorece a TP.

Significancia y Reivindicaciones
El artículo sostiene que los desacuerdos de producción en el servicio de LLM son a menudo predecibles a partir de una pequeña cuenta de recursos (cinco números por GPU más las dimensiones del modelo) en lugar de requerir experimentación extensiva. Al hacer esta cuenta sistemática, el flujo de trabajo proporciona un procedimiento de triaje general que:

• Evita el esfuerzo de profiling desperdiciado cuando las mediciones están cerca del suelo analítico.
• Identifica el eje de optimización correcto (pipeline vs. kernel) antes de emplear herramientas costosas.
• Explica las elecciones de despliegue a través del "orden de pared" en lugar de benchmarks puntuales.
• Ofrece un método robusto para hardware con características extremas (como el H20) donde las heurísticas estándar fallan.

Los autores señalan modestamente que el borrador actual depende de suelos analíticos y constantes calibradas, y que se requiere una campaña de medición planificada (Sección 8) para validar empíricamente los umbrales de residuo y las reglas de escalada. El método se presenta como un procedimiento de decisión para la ingeniería, no como un reemplazo para simuladores o profilers, que siguen siendo esenciales para los residuos que sobreviven a la verificación del suelo.