Résumé Technique : Contrats de Noyaux Entraînement-Inférence

Énoncé du Problème

Les pipelines de post-entraînement modernes pour les modèles de langage étendus (LLM) traitent la politique $\pi_\theta$ comme un objet mathématique unique. Cependant, en précision finie, $\pi_\theta$ est évaluée par deux programmes distincts : un noyau d'entraînement ($K_{train}$) optimisé pour la différentiabilité (utilisant des accumulateurs de haute précision, des formes fixes et une attention de référence) et un noyau d'inférence ($K_{inf}$) optimisé pour le débit (utilisant des opérateurs de basse précision, des caches clé-valeur paginés et une attention par tuiles dynamiques).

Le papier identifie un « écart de spécification » critique : ces deux noyaux calculent des fonctions mesurablement différentes de la même série de poids $\theta$. Cette divergence n'est pas uniforme ; elle se concentre sur des tranches spécifiques (par exemple, les entrées à contexte long, les prompts critiques pour la sécurité) que les benchmarks agrégés sous-représentent souvent. La confusion entre $K_{train}$ et $K_{inf}$ conduit à plusieurs modes de défaillance :

1. Biais hors-politique dans l'apprentissage par renforcement (RL) : Les pipelines de RL (par exemple, PPO, GRPO) échantillonnent des rollouts à partir de $K_{inf}$ mais calculent les gradients en utilisant $K_{train}$. L'estimateur standard suppose que le rapport d'importance $w = \pi^{K_{train}}_\theta / \pi^{K_{inf}}_\theta$ est égal à 1, introduisant un biais qui se manifeste par un effondrement de la divergence KL, un détournement de récompense (reward hacking) ou une dégradation soudaine des performances.
2. Dérive de déploiement : Les modèles affinés en BF16 peuvent dériver significativement lorsqu'ils sont convertis en FP8 ou INT4 lors de l'inférence, particulièrement sur des prompts de sécurité rares ou des sorties structurées.
3. Non-reproductibilité : Des flottes de serveurs hétérogènes (différents matériels/constructions de noyaux) produisent des sorties divergentes pour la même requête, rendant les tests A/B et les audits de sécurité non reproductibles.

Actuellement, aucune spécification lisible par machine n'existe pour définir quel niveau de divergence entre $K_{train}$ et $K_{inf}$ est tolérable, sur quelles tranches de données, et quelles actions doivent être entreprises lorsque les limites sont dépassées.

Méthodologie : Le Contrat de Noyau

Les auteurs proposent un objet de spécification formelle appelé le Contrat de Noyau, dénoté $C = (N, S, R, \Pi)$. Ce contrat accompagne le checkpoint du modèle et la construction du noyau à travers le pipeline CI/CD.

1. La Structure du Contrat

Le contrat se compose de quatre familles de clauses et d'une politique d'escalade :

• Numérique ($N$) : Contraintes sur les désaccords numériques bruts, tels que la dérive des logits ($\Delta_{logit}$), la divergence KL, la distance de variation totale (TV) et le rapport d'importance $w$ pour le RL.
• Statistique ($S$) : Contraintes sur les résultats comportementaux, incluant l'accord top-$k$, la dérive de calibration ($\Delta_{ECE}$), les deltas de récompense et la capacité de parsing des sorties structurées.
• Temps d'exécution ($R$) : Contraintes opérationnelles sur la latence, le débit, l'utilisation de la mémoire (incluant le cache KV) et les taux d'échec.
• Observabilité ($O$) : Exigences pour les champs de trace, les empreintes de noyaux (kernel fingerprints) et les signatures de rejeu afin de garantir que les violations soient attribuables.
• Politique d'Escalade ($\Pi$) : Une mise en correspondance des niveaux de sévérité de violation ($L1$ : informatif, $L2$ : impactant la qualité, $L3$ : critique pour la sécurité) vers des actions de routage (journalisation, garde, repli/rollback).

Les clauses sont définies avec des seuils ($\tau$), des taux de dépassement autorisés ($\rho$), et des tranches de données spécifiques ($\Sigma$) auxquelles elles s'appliquent.

2. Bornes Théoriques (La Chaîne)

Le papier dérive une chaîne de bornes de type Lipschitz reliant les erreurs numériques de bas niveau aux erreurs de récompense de haut niveau :

1. Du Logit à la Distribution : Une borne sur la dérive des logits ($\|\varepsilon\|_\infty$) se propage à une borne sur la distance de variation totale ($\Delta_{TV}$) et la divergence KL, mise à l'échelle par la température $T$.
2. De la Distribution à la Récompense : Pour une fonction de récompense bornée $r$, la différence de récompense attendue est bornée par $2R \cdot \Delta_{TV}$.
3. Application au RL : Sous les hypothèses de recouvrement de support et de gradient borné, le papier prouve qu'une borne par jeton sur le rapport d'importance $w$ (ou équivalemment, la distance TV entre les politiques $K_{train}$ et $K_{inf}$) borne le biais de l'estimateur standard de gradient de politique. Cela réinterprète le paramètre de découpage $\epsilon$ de PPO non seulement comme une zone de confiance pour les mises à jour de politique, mais comme un budget pour la paire de noyaux entraînement-inférence.

3. Pipeline d'Application

Le cadre propose un pipeline de promotion en quatre étapes pour appliquer le contrat :

1. CI Hors-ligne : Évalue les clauses numériques strictes contre des jeux de données fixes.
2. Ombre (Shadow) : Miroir du trafic réel vers le noyau candidat pour détecter les régressions dépendantes de la charge de travail.
3. Canari (Canary) : Route une petite fraction du trafic réel vers le candidat avec la politique d'escalade active.
4. Promotion Totale : Se produit uniquement après une stabilité soutenue sur une fenêtre de conformité.
   Une boucle de routage en ligne surveille continuellement la santé du contrat ($h_t$) et bascule le trafic vers des noyaux gardés ou sûrs en fonction des niveaux de violation en temps réel.

Contributions Clés

Le papier apporte trois contributions principales :

1. Conceptuelle : Il identifie l'unité de spécification correcte dans les pipelines de LLM modernes non pas comme le checkpoint ou le moteur seul, mais comme la paire $(K_{train}, K_{inf})$ accompagnée des tranches de données spécifiques où ils doivent concorder.
2. Technique : Il fournit une chaîne de bornes permettant aux ingénieurs de spécifier des contraintes au niveau numérique mesurable (logits) et d'hériter de garanties au niveau comportemental (récompenses).
3. Appliquée : Il démontre que les heuristiques de stabilité standard du RL (comme le découpage PPO) peuvent être formellement interprétées comme des clauses de contrat bornant la divergence des noyaux, et il esquisse un DSL YAML minimal pour implémenter ces artefacts.

Résultats et Validation

Le papier stipule explicitement qu'il ne rapporte pas de validation empirique à l'échelle de la production et ne prétend pas que la divergence des noyaux est la seule cause des modes de défaillance discutés. Au lieu de cela, il présente un cadre et un vocabulaire.

Les « résultats » sont des dérivations théoriques et un protocole expérimental proposé (Section 8) pour une validation future :

• Théorique : Preuves montrant que les dérives de logits impliquent des dérives de récompense et que le décalage de noyau introduit un biais calculable dans les gradients de politique.
• Expériences Proposées : Les auteurs décrivent cinq expériences falsifiables (E1–E5) pour tester le cadre, incluant la cartographie des baselines de dérive numérique, le test de la sensibilité matérielle, la validation de la borne de biais du RL, l'exploration de la distillation sensible au contrat, et la simulation du routage auto-réparateur sous injection de fautes.

Signification et Portée

Le papier se positionne comme une couche de spécification fondamentale qui fait le pont entre plusieurs littératures parallèles : le post-entraînement par RL, le service à haut débit, la vérification formelle et les contrats logiciels.

• Modestie : Les auteurs sont explicites sur le fait qu'il s'agit d'un papier de « cadre et de vocabulaire ». Ils ne prétendent pas avoir résolu le problème de la divergence des noyaux empiriquement, mais avoir fourni « l'indice manquant » sur $\pi_\theta$ et le vocabulaire pour en discuter.
• Directions Futures : Le papier esquisse quatre directions de recherche : contrats dynamiques (seuils contextuels), distillation sensible au contrat (entraîner des modèles pour satisfaire les contrats), vérification formelle de sous-ensembles de clauses, et routage auto-réparateur.
• Limites : Le cadre ajoute une charge d'ingénierie (calcul, stockage, observabilité) et comporte des risques de la loi de Goodhart (optimisation de clauses proxies). Il reconnaît que les outils de vérification formelle actuels ne peuvent pas encore passer à l'échelle de l'intégralité des transformers en production, s'appuyant plutôt sur des bornes lâches et des tests empiriques.

En résumé, le papier soutient que traiter les noyaux d'entraînement et d'inférence comme des entités distinctes et liées par un contrat est nécessaire pour passer de la « connaissance empirique » sur la fragilité de l'implémentation à des pratiques d'ingénierie auditables et reproductibles dans le déploiement des LLM.