Resumen Técnico: Contratos de Núcleo de Entrenamiento-Inferencia

Planteamiento del Problema

Los modernos flujos de trabajo de post-entrenamiento para Modelos de Lenguaje de Gran Escala (LLMs) tratan la política $\pi_\theta$ como un único objeto matemático. Sin embargo, en precisión finita, $\pi_\theta$ es evaluada por dos programas distintos: un núcleo de entrenamiento ($K_{train}$) optimizado para la diferenciabilidad (usando acumuladores de alta precisión, formas fijas y atención de referencia) y un núcleo de inferencia ($K_{inf}$) optimizado para el rendimiento (usando operadores de baja precisión, cachés de clave-valor paginados y teselas de atención dinámica).

El artículo identifica una "brecha de especificación" crítica: estos dos núcleos computan funciones mensurablemente diferentes de los mismos pesos $\theta$. Esta divergencia no es uniforme; se concentra en segmentos específicos (por ejemplo, entradas de contexto largo, prompts de seguridad crítica) que los benchmarks agregados suelen subrepresentar. La confluencia de $K_{train}$ y $K_{inf}$ conduce a varios modos de falla:

1. Sesgo de política fuera de distribución (off-policy) en RL: Los flujos de trabajo de aprendizaje por refuerzo (por ejemplo, PPO, GRPO) muestrean ejecuciones (rollouts) desde $K_{inf}$ pero computan gradientes usando $K_{train}$. El estimador estándar asume que la razón de importancia $w = \pi^{K_{train}}_\theta / \pi^{K_{inf}}_\theta$ es 1, introduciendo un sesgo que se manifiesta como colapso de KL, manipulación de recompensa (reward hacking) o degradación repentina del rendimiento.
2. Deriva de Despliegue (Deployment Drift): Los modelos ajustados en BF16 pueden derivar significativamente cuando se convierten a FP8 o INT4 durante la inferencia, particularmente en prompts de seguridad poco comunes o salidas estructuradas.
3. No reproducibilidad: Flotas de servicio heterogéneas (diferentes hardware/construcciones de núcleos) producen salidas divergentes para la misma solicitud, lo que hace que las pruebas A/B y las auditorías de seguridad sean no reproducibles.

Actualmente, no existe una especificación legible por máquina que defina qué nivel de divergencia entre $K_{train}$ y $K_{inf}$ es tolerable, en qué segmentos de datos, y qué acciones deben tomarse cuando se exceden los límites.

Metodología: El Contrato de Núcleo

Los autores proponen un objeto de especificación formal llamado el Contrato de Núcleo (Kernel Contract), denotado como $C = (N, S, R, \Pi)$. Este contrato viaja con el checkpoint del modelo y la construcción del núcleo a través del flujo de CI/CD.

1. La Estructura del Contrato

El contrato consiste en cuatro familias de cláusulas y una política de escalada:

• Numéricas ($N$): Restricciones sobre desacuerdos numéricos brutos, tales como la deriva de logits ($\Delta_{logit}$), la divergencia KL, la distancia de Variación Total (TV) y la razón de importancia $w$ para RL.
• Estadísticas ($S$): Restricciones sobre resultados de comportamiento, incluyendo el acuerdo de top-$k$ tokens, la deriva de calibración ($\Delta_{ECE}$), deltas de recompensa y la capacidad de parseo de salida estructurada.
• De Tiempo de Ejecución ($R$): Restricciones operativas sobre latencia, rendimiento (throughput), uso de memoria (incluyendo el caché KV) y tasas de error.
• De Observabilidad ($O$): Requisitos para campos de traza, huellas digitales de núcleo (kernel fingerprints) y firmas de reproducción para asegurar que las violaciones sean atribuibles.
• Política de Escalada ($\Pi$): Un mapeo de niveles de severidad de violación ($L1$: informativo, $L2$: con impacto en la calidad, $L3$: crítico para la seguridad) a acciones de enrutamiento (registrar, proteger, fallback/rollback).

Las cláusulas se definen con umbrales ($\tau$), tasas de excedencia permitidas ($\rho$) y segmentos de datos específicos ($\Sigma$) a los que se aplican.

2. Límites Teóricos (La Cadena)

El artículo deriva una cadena de límites de tipo Lipschitz que conectan errores numéricos de bajo nivel con errores de recompensa de alto nivel:

1. De Logit a Distribución: Un límite en la deriva de logits ($\|\varepsilon\|_\infty$) se propaga a un límite en la distancia de Variación Total ($\Delta_{TV}$) y la divergencia KL, escalado por la temperatura $T$.
2. De Distribución a Recompensa: Para una función de recompensa acotada $r$, la diferencia de recompensa esperada está acotada por $2R \cdot \Delta_{TV}$.
3. Aplicación a RL: Bajo supuestos de superposición de soporte y ventaja acotada, el artículo demuestra que un límite por token en la razón de importancia $w$ (o equivalentemente, la distancia TV entre las políticas $K_{train}$ y $K_{inf}$) acota el sesgo del estimador estándar de gradiente de política. Esto reinterpreta el parámetro de recorte $\epsilon$ de PPO no solo como una región de confianza para las actualizaciones de política, sino como un presupuesto para el par de núcleos de entrenamiento-inferencia.

3. Flujo de Ejecución (Enforcement Pipeline)

El marco propone un flujo de promoción de cuatro etapas para hacer cumplir el contrato:

1. CI Offline: Evalúa cláusulas numéricas estrictas contra conjuntos de datos fijos.
2. Sombra (Shadow): Refleja el tráfico en vivo al candidato para detectar regresiones dependientes de la carga de trabajo.
3. Canario (Canary): Dirige una pequeña fracción del tráfico en vivo al candidato con la política de escalada activa.
4. Promoción Total: Ocurre solo después de una estabilidad sostenida en el cumplimiento durante una ventana de tiempo.
   Un bucle de enrutamiento en línea monitorea continuamente la salud del contrato ($h_t$) y cambia el tráfico a núcleos protegidos o seguros basados en los niveles de violación en tiempo real.

Contribuciones Clave

El artículo realiza tres contribuciones primarias:

1. Conceptual: Identifica la unidad correcta de especificación en los flujos de trabajo modernos de LLM no como el checkpoint o el motor por sí solo, sino como el par $(K_{train}, K_{inf})$ junto con los segmentos de datos específicos donde deben coincidir.
2. Técnica: Proporciona una cadena de límites que permite a los ingenieros especificar restricciones al nivel numérico medible (logits) e heredar garantías al nivel de comportamiento (recompensas).
3. Aplicada: Demuestra que las heurísticas estándar de estabilidad de RL (como el recorte de PPO) pueden interpretarse formalmente como cláusulas de contrato que acotan la divergencia de los núcleos, y describe un DSL mínimo en YAML para implementar estos artefactos.

Resultados y Validación

El artículo establece explícitamente que no reporta validación empírica a escala de producción y no afirma que la divergencia de los núcleos sea la única causa de los modos de falla discutidos. En su lugar, presenta un artículo de marco de trabajo y vocabulario.

Los "resultados" son derivaciones teóricas y un protocolo experimental propuesto (Sección 8) para la validación futura:

• Teórico: Pruebas que muestran que los límites de la deriva de logits implican límites de la deriva de recompensa y que el desajuste de núcleos introduce un sesgo calculable en los gradientes de política.
• Experimentos Propuestos: Los autores esbozan cinco experimentos falsificables (E1–E5) para probar el marco, incluyendo el mapeo de baselines de deriva numérica, la prueba de sensibilidad de hardware, la validación del límite de sesgo de RL, la exploración de la destilación consciente del contrato y la simulación de enrutamiento de autocuración bajo inyección de fallos.

Significado y Alcance

El artículo posiciona este trabajo como una capa de especificación fundacional que une varias literaturas paralelas: post-entrenamiento de RL, servicio de alto rendimiento, verificación formal y contratos de software.

• Modestia: Los autores son explícitos al señalar que este es un "artículo de marco y vocabulario". No pretenden haber resuelto el problema de la divergencia de núcleos empíricamente, sino haber proporcionado el "índice faltante" sobre $\pi_\theta$ y el vocabulario para discutirlo.
• Direcciones Futuras: El artículo describe cuatro direcciones de investigación: contratos dinámicos (umbrales sensibles al contexto), destilación consciente del contrato (entrenar modelos para satisfacer contratos), verificación formal de subconjuntos de cláusulas y enrutamiento de autocuración.
• Limitaciones: El marco añade carga de ingeniería (computación, almacenamiento, observabilidad) y conlleva riesgos de la ley de Goodhart (optimizar cláusulas proxy). Reconoce que las herramientas actuales de verificación formal aún no pueden escalar a transformadores de producción completa, dependiendo en su lugar de límites laxos y pruebas empíricas.

En resumen, el artículo argumenta que tratar los núcleos de entrenamiento e inferencia como entidades distintas y sujetas a contrato es necesario para pasar del "conocimiento popular" sobre la fragilidad de la implementación a prácticas de ingeniería auditables y reproducibles en el despliegue de LLMs.