Résumé Technique : Distillation de Sécurité On-Policy Constitutionnelle (COPSD)

1. Énoncé du Problème

La Distillation On-Policy (OPSD) est devenue un paradigme de post-entraînement efficace pour l'alignement des modèles de fondation, utilisant un enseignant augmenté d'informations privilégiées pour fournir une supervision dense au niveau du jeton (token). Bien qu'efficace dans les tâches de raisonnement vérifiables, des études récentes indiquent que l'OPSD souffre d'un sévère « effondrement distributionnel » dans ces domaines, où les étudiants exploitent des corrélations superficielles pour minimiser les pénalités de divergence.

Cet article identifie que l'alignement de sécurité présente un mode de défaillance distinct et critique pour l'OPSD. Contra contrairement aux tâches de raisonnement où l'effondrement provient de la copie de raccourcis vers des réponses cibles explicites, l'alignement de sécurité repose sur des constitutions de haut niveau (principes) plutôt que sur des réponses explicites. L'étude pilote des auteurs révèle que l'OPSD de sécurité s'effondre en raison d'un effet de « fuite géométrique » :

1. Contraction de l'Enseignant : Le fait de conditionner l'enseignant sur des constitutions de sécurité force la distribution de l'enseignant à se contracter dans une variété de réponses courtes, excessivement conservatrices et à faible entropie.
2. Amplification de la KL Inverse : La divergence KL inverse standard utilisée dans la distillation amplifie cette contraction, pénalisant tout jeton situé en dehors du support étroit de l'enseignant.
3. Fuite Géométrique : Dans un espace sémantique non orthogonal où la « sécurité » et l'« expressivité » sont couplées, la pression de gradient pour éviter les régions non sûres fuit dans la dimension de l'expressivité. Cela résulte en une contraction passive de la longueur des réponses, de la diversité et de l'utilité, même sans que l'étudiant ne copie d'informations privilégiées.

Le défi central est la « taxe de sécurité » : parvenir à un alignement de sécurité robuste nécessite souvent une réduction drastique des capacités de raisonnement général et de l'utilité, un compromis que les méthodes existantes (comme GRPO ou l'OPD standard) ne parviennent pas à gérer efficacement.

2. Méthodologie : Distillation de Sécurité On-Policy Constitutionnelle (COPSD)

Pour traiter l'enchevêtrement géométrique entre sécurité et expressivité, les auteurs proposent la COPSD, un cadre à deux étapes conçu pour recalibrer l'enseignant avant la distillation.

Phase I : Démarrage à Froid par Cross-SFT

La première étape se concentre sur la construction d'un enseignant conditionné par une constitution qui préserve l'empreinte générative du modèle de base tout en respectant les principes de sécurité.

• Construction des Données : Le corpus d'entraînement est un mélange de :
  1. Trajectoires Originales : Requêtes et réponses originales du modèle de base, augmentées de la constitution de sécurité $c_{safe}$. Cela ancre l'enseignant à l'expressivité native du modèle.
  2. Trajectoires de Sécurité Réécrites : Réponses de sécurité de haute qualité générées par des modèles de pointe, filtrées par des juges LLM, réécrites par le modèle de base, et rééchantillonnées pour correspondre à la distribution de longueur de réponse originale.
• Objectif : Ce processus de « Cross-SFT » entraîne l'enseignant à intérioriser les limites de sécurité sans s'effondrer en sorties uniformément courtes ou excessivement prudentes, découplant ainsi efficacement la variété de la sécurité de la variété de l'expressivité.

Phase II : Distillation On-Policy Conditionnée par la Constitution

L'enseignant recalibré est ensuite intégré dans un pipeline de distillation on-policy.

• Rôle de l'Enseignant : L'enseignant génère des signaux de supervision denses au niveau du jeton, conditionnés à la fois sur la requête $x$ et la constitution de sécurité $c_{safe}$.
• Signal de Distillation : La politique de l'étudiant est optimisée pour minimiser la divergence KL inverse au niveau du jeton contre l'enseignant conditionné par la constitution.
• Estimation de l'Avantage : Le cadre prend en charge deux variantes :
  1. Standard au niveau du Jeton : Repose entièrement sur les signaux de distillation denses pour calculer les avantages relatifs au groupe.
  2. Hybride Pondéré par le Résultat : Combine le signal dense au niveau du jeton avec une récompense de résultat externe au niveau de la séquence (par exemple, provenant d'un modèle de récompense) pour imposer des préférences de sécurité globales tout en affinant l'attribution de crédit locale.

3. Contributions Clés

1. Diagnostic de l'Effondrement Spécifique à la Sécurité : L'article formalise l'échec de l'OPSD de sécurité comme une « fuite géométrique » sous les contraintes de sécurité dans un espace sémantique non orthogonal. Il démontre que cet effondrement est distinct du « copier de raccourcis » observé dans les tâches de raisonnement vérifiables ; il provient du fait que la pression de sécurité déborde sur la dimension de l'expressivité en raison du couplage entre la sécurité et les priors linguistiques.
2. Cadre COPSD : Les auteurs proposent une solution en deux étapes qui utilise le Démarrage à Froid par Cross-SFT pour calibrer la distribution de l'enseignant avant la distillation. Cette approche atténue l'enchevêtrement sécurité-expressivité, permettant à l'enseignant de fournir une supervision dense sans forcer l'étudiant dans un régime de faible diversité et de prudence excessive.
3. Validation Empirique : Des expériences approfondies sur 12 benchmarks (couvrant la sécurité, la sécurité situationnelle et le raisonnement général) démontrent que la COPSD atteint un compromis sécurité-utilité supérieur aux autres méthodes de pointe (GRPO, OPD, Safe-RLHF-V).

4. Résultats Expérimentaux

• Sécurité vs Utilité : Sur des benchmarks comme BeaverTails-V et SPA-VL, les variantes de COPSD atteignent des taux de victoire nettement plus élevés contre le modèle de base en termes de sécurité et d'utilité par rapport aux bases de référence. Par exemple, alors que GRPO améliore la sécurité, il entraîne souvent une chute sévère de l'utilité (la « taxe de sécurité »). La version hybride de COPSD maintient une efficacité robuste tout en atteignant des frontières de sécurité plus élevées.
• Préservation des Capacités Générales : La COPSD réduit considérablement la « taxe d'alignement » sur le raisonnement général. Sur MathVista, la COPSD limite la perte de raisonnement à environ 2,1 %, tandis que GRPO subit une chute catastrophique de 17,5 %. Les tâches simples de VQA restent largement inchangées pour toutes les méthodes, mais les tâches de raisonnement complexe bénéficient significativement du mécanisme de découplage de la COPSD.
• Briser le Plafond de l'Enseignant : Contrairement à l'OPD standard, où l'étudiant est limité par les capacités inhérentes de l'enseignant, les étudiants COPSD (entraînés sur l'enseignant Cross-SFT) surpassent considérablement leur enseignant spécifique et les enseignants de l'OPD standard en matière de sécurité et d'efficacité, indiquant un apprentissage de politique adaptatif.
• Dynamique d'Entraînement : L'analyse de la dynamique d'entraînement montre que, tandis que GRPO souffre d'un effondrement continu de l'entropie et que l'OPSD standard déclenche une baisse sévère de la longueur des réponses, la COPSD se stabilise rapidement, maintenant une entropie plus élevée et des longueurs de réponse stables tout au long de l'entraînement.

5. Signification et Revendications

L'article affirme que l'alignement de sécurité nécessite une approche fondamentalement différente de l'alignement du raisonnement vérifiable. La signification de la COPSD réside dans sa capacité à :

• Découpler les Objectifs Compétiteurs : En utilisant le Cross-SFT pour calibrer l'enseignant, la méthode brise le couplage géométrique entre les contraintes de sécurité et le comportement expressif, empêant la « fuite » de la pression de sécurité vers une réduction de l'utilité.
• Permettre une Supervision Dense sans Effondrement : Elle démontre qu'une supervision dense au niveau du jeton est viable pour l'alignement de sécurité si la distribution de l'enseignant est correctement ancrée au style génératif du modèle de base, évitant l'effondrement de distribution qui frappe les méthodes actuelles.
• Atteindre une Amélioration Pareto : Les résultats suggèrent qu'il est possible d'améliorer simultanément la sécurité et de préserver (voire d'améliorer) les capacités de raisonnement général, contestant l'idée que l'alignement de sécurité doit intrinsèquement dégrader l'utilité du modèle.

Les auteurs concluent que la calibration des distributions d'enseignants est une étape nécessaire pour une distillation de sécurité stable et efficace, offrant une voie pour aligner les modèles sur des constitutions de haut niveau sans sacrifier leurs capacités génératives fondamentales.