Résumé Technique : PolyAlign – Alignement Conditionnel sur la Distribution Humaine

Énoncé du Problème

Les méthodes actuelles de post-entraînement pour les grands modèles de langage (LLM), telles que le réglage fin supervisé (SFT) et l'optimisation de préférence (par exemple, DPO), visent généralement à aligner les modèles vers un comportement d'assistant global unique. Bien qu'efficace pour améliorer l'utilité moyenne, cette approche tend à supprimer la variation naturelle des réponses humaines à travers différentes langues, tâches et contextes de dialogue. L'alignement standard tend à faire s'effondrer la diversité des contextes d'interaction en un style d'assistant générique, échouant ainsi à capturer la manière dont les humains varient naturellement leur style de réponse, leur longueur, leur structure de discours et leur usage de la langue en fonction du régime d'interaction spécifique.

Le document identifie la nécessité d'un alignement conditionnel sur la distribution humaine : l'objectif est que les modèles correspondent à la distribution de réponses humaines appropriée au contexte d'interaction actuel, plutôt que d'optimiser un style de réponse universel.

Méthodologie : Le Cadre PolyAlign

Les auteurs proposent PolyAlign, un cadre d'alignement sensible à la distribution qui organise les données d'interaction bilingues en « compartiments » (buckets) définis par des métadonnées (langue, voie d'interaction, famille de réponses et longueur). Le cadre se compose de deux composantes principales :

1. Réglage Fin Supervisé Sensible aux Compartiments (Bucket-SFT)

Le SFT standard souffre souvent d'un déséquilibre de compartiment, où les régimes d'interaction fréquents dominent l'optimisation, causant la négligence par le modèle de schémas de réponse humaine moins fréquents mais distincts.

• Mécanisme : PolyAlign partitionne les données d'entraînement en compartiments $B$. Il assigne un poids spécifique $e_{w_b}$ à chaque instance $i$ dans le compartiment $b$ pour assurer une minimisation du risque macro-compartiment.
• Objectif : La méthode assigne une masse d'optimisation égale à chaque compartiment, quel que soit le nombre d'échantillons à l'intérieur. La fonction de perte est formulée comme suit :
  $$L_{\text{Bucket-SFT}}(\theta) = \frac{1}{|B|} \sum_{b \in B} \frac{1}{n_b} \sum_{i: b_i=b} \ell_i(\theta)$$
• Garantie Théorique : Le Théorème 1 prouve que ce schéma de pondération convertit exactement l'apprentissage supervisé en minimisation du risque macro-compartiment, garantissant que chaque régime d'interaction reçoit une masse d'optimisation égale.

2. Optimisation de Préférence de la Distribution Humaine (HDPO)

Pour affiner davantage l'alignement, PolyAlign introduit un objectif d'optimisation de préférence qui incorpore des informations distributionnelles via un critique.

• Distance de Support de Compartiment : Un critique estime la distance entre le vecteur de caractéristiques d'une réponse candidate $z$ et la région de support empirique humaine $\Lambda_b$ de son compartiment spécifique. Cette distance, $D_b(z)$, est nulle si la réponse se situe dans la région de support humaine et augmente à mesure qu'elle s'en écarte.
• Régularisation : HDPO augmente la perte sigmoïde-DPO standard avec un régularisateur basé sur un critique. Le régularisateur $R_{\text{HDPO}}$ favorise les réponses qui sont à la fois préférées par l'étiqueteur humain et plus proches du support de la distribution humaine cible.
  $$L_{\text{HDPO}}(\theta) = \frac{1}{K} \sum_{i=1}^K w_i \left( L_{\text{DPO}}^{(i)}(\theta) + \lambda_{hd} R_{\text{HDPO}}^{(i)}(\theta) \right)$$
• Alignement : Le Théorème 3 démontre que sous la variante sigmoïde-DPO, le régulariseur HDPO est localement aligné sur la distribution avec l'apprentissage de préférence : si la réponse choisie est distributionnellement plus proche du support humain que la réponse rejetée, les deux objectifs poussent la politique vers l'augmentation de la marge entre elles.

Contributions Clés

1. Formulation : Le document formule l'alignement naturaliste comme la correspondance avec la distribution de réponses humaines appropriée à chaque contexte d'interaction, capturant les variations de style, de longueur et de structure à travers les régimes.
2. Cadre : Présentation de PolyAlign, qui intègre des cibles distributionnelles conditionnelles dans le SFT (via Bucket-SFT) et l'optimisation de préférence (via HDPO).
3. Protocole d'Évaluation : Développement d'une évaluation sur deux axes mesurant l'Utilité de la Tâche (ex: QA-F1, ROUGE-L) et la Naturalité Conditionnelle (ex: Écart de Naturalité par Compartiment, MAUVE Conditionnel, Frontière Naturalité-Utilité).

Résultats Expérimentaux

Le cadre a été évalué sur un corpus bilingue (anglais et chinois) couvrant cinq situations d'interaction (ex: type assistant, QA de longue forme, chat ouvert) en utilisant des modèles ouverts compacts (Qwen2.5-1.5B/3B, Gemma2-2B, Llama-3.2-3B).

• Performance vs Baselines : PolyAlign a systématiquement surpassé le BaseLM, le Chain-of-Thought (CoT), le Full-SFT et le DPO standard.
  • Bucket-SFT : S'est avéré être la composante la plus fiable, améliorant significativement l'alignement distributionnel (réduisant l'Écart de Naturalité par Compartiment) tout en préservant l'utilité de la tâche. Par exemple, sur Qwen2.5-1.5B (anglais), Bucket-SFT a amélioré le score agrégé de 0,371 (Full-SFT) à 0,643 et a réduit le BNG-macro de 5,012 à 0,427.
  • HDPO : A apporté des raffinements supplémentaires, particulièrement dans la Frontière Naturalité-Utilité (NUF) et les métriques de ressemblance humaine, lorsque le signal du critique était fiable.
• Ressemblance Humaine : Les modèles PolyAlign ont démontré des taux de détection d'IA nettement plus faibles (mesurés par Binoculars, Fast-DetectGPT et RADAR) par rapport aux baselines, indiquant une plus grande ressemblance humaine.
• Stabilité : Le conditionnement explicite au support humain (Bucket-SFT) s'est avéré plus stable que l'optimisation de préférence globale (DPO), qui dérive souvent loin des supports de réponses humaines souhaités, particulièrement dans les jeux de données chinois.
• LLM-as-a-Judge : Les évaluations par des juges ont confirmé que Bucket-SFT améliore l'adéquation conditionnelle et la fidélité à la distribution sans sacrifier la justesse de la tâche.

Signification et Revendications

Le document soutient que le post-entraînement doit évoluer de l'optimisation de « comment rendre un modèle meilleur en moyenne » vers « comment faire en sorte qu'un modèle produise le type de réponse approprié pour le type d'interaction approprié ».

• Changement de Paradigme : Ce travail suggère de dépasser l'alignement générique vers un alignement conditionnel, naturaliste et sensible à l'interaction.
• Variation Naturelle : En modélisant explicitement les schémas de réponse humaine spécifiques à l'interaction, PolyAlign génère des réponses plus naturelles et appropriées à la situation que celles produites par le Full-SFT ou le DPO standard.
• Portée Modeste : Les auteurs reconnaissent qu'il s'agit d'une étude initiale focalisée sur l'anglais et le chinois avec des modèles compacts. Ils notent que des travaux futurs sont nécessaires pour étendre cela à des contextes multilingues plus larges, des représentations de compartiments plus riches et des modèles à plus grande échelle. Le document ne prétend pas résoudre tous les problèmes d'alignement, mais démontre que la modélisation explicite des distributions de réponses humaines est une étape nécessaire vers une interaction IA plus naturelle.