HAL: Inducing Human-likeness in LLMs with Alignment

Résumé Technique : HAL : Induire une dimension humaine dans les LLM par l'alignement

Énoncé du Problème
Aligner les grands modèles de langage (LLM) sur des traits comportementaux qualitatifs, spécifiquement la « similitude humaine » dans la conversation, demeure un défi important. Contrairement aux mesures orientées vers des tâches, la similitude humaine est difficile à définir, à mesurer et à optimiser de manière systématique. Les améliorations actuelles de la perception de la similitude humaine sont principalement pilotées par l'échelle des modèles ou par un entraînement supervisé large, plutôt que par un alignement ciblé. De plus, les jugements humains de similitude humaine sont généralement holistiques et implicites, manquant des critères explicites nécessaires pour construire un signal de récompense pour l'apprentissage par renforcement ou l'optimisation de préférences. Par conséquent, il n'existe aucune méthode systématique pour aligner les modèles vers des comportements conversationnels plus humains.

Méthodologie
Le document présente HAL (Human Aligning LLMs), un cadre fondé sur les données qui quantifie la similitude humaine conversationnelle en un signal de récompense scalaire interprétable. La méthodologie se déroule en quatre étapes :

1. Extraction de Traits à partir de Données Contrastives :
   Les auteurs utilisent des transcriptions de dialogues de tests de Turing (spécifiquement issues de Jones et Bergen, 2025) comme données contrastives contenant des paires de conversations humain-humain et humain-IA. Un juge basé sur un LLM (initialement GPT-5 doté de hautes capacités de raisonnement) analyse ces paires pour générer des raisons structurées, de type échelle de Likert, permettant de distinguer l'humain de l'IA. Ces raisons en langage naturel sont intégrées (embedded) et regroupées (clustered) pour identifier des indices récurrents. À travers un processus de résumé, celles-ci sont distillées en un ensemble compact de 32 caractéristiques (HL32Q) qui distinguent de manière fiable le dialogue humain du dialogue IA dans ce contexte.

2. Quantification via la Régression Logistique :
   Pour convertir ces traits qualitatifs en un signal quantitatif, les auteurs entraînent un modèle de régression logistique. Un juge LLM (Juge HL32Q) évalue indépendamment tout dialogue donné par rapport aux 32 traits sur une échelle de Likert de 1 à 5, produisant un vecteur de caractéristiques $A \in \mathbb{R}^{32}$. Le modèle de régression logistique apprend des poids ($W$) et un biais ($b$) pour prédire si un dialogue est humain ($y=1$) ou IA ($y=0$).
   Pour améliorer l'interprétabilité, les auteurs effectuent une réduction de caractéristiques, sélectionnant les 16 meilleurs traits (HL16Q) basés sur la magnitude absolue de leurs poids appris. Cela aboutit à un score unique de Similitude Humaine :
   $$\text{HumanLikeness}(A) = \sum_{i=1}^{16} A_i W_i + b$$
   Ce score sert de signal de récompense pour l'alignement.

3. Optimisation de Préférence (DPO) :
   Le cadre présente l'alignement comme un problème d'apprentissage de préférences. Pour un ensemble de personas synthétisés (principalement dans le domaine de la communication médicale), des dialogues candidats sont générés par divers modèles. Ces dialogues sont scorés à l'aide du Juge HL16Q. Des paires de dialogues sont construites où le dialogue ayant le score HL16Q le plus élevé est étiqueté comme « choisi » (chosen) et le plus faible comme « rejeté » (rejected). Ces paires classées sont utilisées pour affiner des modèles de tailles variables (de 1B à 72B de paramètres) en utilisant l'Optimisation de Préférence Directe (DPO).

4. Évaluation :
   Les auteurs valident leur approche via :

• Tests Hors-Distribution (OOD) : Évaluation du score HL16Q sur un ensemble de données distinct de communication sur le cancer pour assurer la généralisabilité.
• Évaluation Humaine : Un test A/B de type Chatbot Arena où des participants humains jugent quel modèle parmi deux semble plus humain.
• Benchmarks de Capacité : Évaluation des performances sur des benchmarks d'intelligence émotionnelle (EmoBench, EQBench3) pour s'assurer que l'alignement ne dégrade pas d'autres capacités.

Résultats Clés

• Identification des Traits : Le pipeline a identifié avec succès 32 traits distincts, réduits à 16 (HL16Q), qui distinguent efficacement le dialogue humain de l'IA. Le classificateur de régression logistique a atteint une précision de 77,47 % sur le jeu de données du test de Turing avec les 32 traits complets et 77,12 % avec les 16 traits réduits.
• Généralisabilité : Sur un ensemble de données OOD (communication sur le cancer), les conversations humain-humain ont reçu des scores HL16Q significativement plus élevés que les conversations humain-IA (différence moyenne $\Delta = 3,02$, $p < 10^{-17}$), avec un AUC de 0,907, indiquant que les traits capturent des indices transférables de la similitude humaine.
• Performance d'Alignement : Dans les évaluations humaines, le modèle Qwen2.5-14B aligné avec HAL a obtenu un taux de victoire de 61,78 % et un score Elo de 1556,97, surpassant à la fois son homologue de base (53,62 %) et le modèle propriétaire GPT-4o-mini (34,29 %).
• Préservation des Capacités : L'alignement avec HAL n'a pas conduit à une dégradation systématique des benchmarks d'intelligence émotionnelle. Dans plusieurs cas, particulièrement pour les modèles de petite et moyenne taille, les performances sur EQBench3 se sont améliorées après l'alignement.
• Interprétabilité : Le cadre permet l'inspection de changements spécifiques de traits durant l'entraînement. Par exemple, les auteurs ont observé que le trait « Garde des réponses brèves et décontractées » (Q1) a connu le changement de distribution le plus significatif, validant que le modèle apprend des comportements spécifiques et interprétables plutôt que d'optimiser un objectif opaque.

Signification et Revendications
L'article affirme que HAL démontre une voie viable pour aligner les LLM sur des propriétés « douces » et qualitatives qui étaient auparavant hors de portée des objectifs d'alignement standards. En dérivant des traits explicites et interprétables à partir de données contrastives et en les compressant en un signal de récompense transparent, HAL permet :

1. Un Alignement Mesurable : Convertir le concept subjectif de « similitude humaine » en une récompense scalaire quantifiable.
2. Transparence et Diagnostic : Contrairement aux modèles de récompense « boîte noire », le score HL16Q permet aux chercheurs d'inspecter quels traits conversationnels spécifiques sont encouragés et de diagnostiquer les effets indésirables ou le détournement de récompense (reward hacking).
3. Généralisabilité de la Méthode : L'approche offre une méthodologie générale pour induire d'autres traits difficiles à spécifier (ex: la séduction/sycophance, la manipulation) en les déduisant d'exemples contrastifs, à condition qu'ils puissent être rendus mesurables.

Les auteurs notent que bien que la méthode améliore la perception de la similitude humaine, les traits extraits sont spécifiques aux normes conversationnelles des données d'entraînement (tests de Turing) et peuvent nécessiter une adaptation au domaine pour d'autres contextes (ex: dialogue médical). Ils reconnaissent également le coût computationnel de l'utilisation d'un juge LLM pour la construction de la récompense, mais positionnent HAL comme une étape de raffinement ou une méthode de construction de récompense plus riche là où l'interprétabilité est primordiale.