Résumé Technique : HumanLLM : Vers une compréhension et une simulation personnalisées de la nature humaine

Énoncé du Problème

Bien que les modèles de langage à grande échelle (LLM) aient atteint une compétence remarquable dans les tâches objectives telles que le codage, les mathématiques et la synthèse de texte, ils présentent des limites significatives dans la simulation du comportement et de la cognition humains. Les LLM standards sont pré-entraînés sur de vastes corpus web décontextualisés, qui ne parviennent pas à capturer le contexte continu et situé des décisions, des pensations et des comportements d'un individu au fil du temps. Par conséquent, ces modèles peinent à prédire avec précision les motivations, à inférer les états intérieurs ou à prévoir les actions futures dans des scénarios sociaux complexes. Les tentatives existantes pour humaniser les LLM reposent souvent sur des données à échelle limitée issues d'expériences de psychologie contrôlées, de jeux économiques ou de récits fictionnels, qui ne reflètent pas pleinement la complexité, la spontanéité et la dynamique à long terme des expériences humaines authentiques dans le monde réel.

Méthodologie

1. Le Jeu de Données du Génome Cognitif (Cognitive Genome Dataset)

Pour remédier au désalignement des données, les auteurs ont construit le Cognitive Genome Dataset, un corpus à grande échelle dérivé de données utilisateurs réelles provenant de quatre plateformes diverses : Reddit, Twitter, Blogger et Amazon. La construction du jeu de données suit un pipeline rigoureux en trois étapes :

• Filtrage des données : Les données brutes subissent un filtrage basé sur des règles (ex: suppression des bots, des messages courts et des publicités) et une réécriture par modèle utilisant Llama-3.3-70B-Instruct pour éliminer le bruit, les balises HTML et les informations sensibles. Un système de notation par modèle filtre ensuite la qualité et la sécurité, ne conservant que le contenu de haute qualité et non nuisible.
• Synthèse de données : Inspiré par l'équation de Lewin ($B = f(P, E)$), le pipeline synthétise les données en trois composantes :
  • Utilisateur ($P$) : Génère quatre niveaux de profils d'utilisateurs : Persona de l'utilisateur (identité concise), Profil de l'utilisateur (contexte détaillé), Histoires d'utilisateurs (récits d'événages de vie) et résumés du Style d'écriture.
  • Scénario ($E$) : Extrait des triplets structurés comprenant le contexte, les personnages et les intrigues à partir d'enregistments individuels pour capturer le contexte situationnel.
  • QA Sociale ($B$) : Construit des triplets question-réponse axés sur les actions de l'utilisateur, ses états mentaux intérieurs et son raisonnement social (attribution du comportement) basés sur l'utilisateur et le scénario spécifiques.
• Contrôle Qualité des Données : Une évaluation automatisée utilisant Qwen-2.5-72B évalue les données synthétisées selon des métriques incluant l'Hallucination, la Couverture, la Concision, la Pertinence, la Fidélité, la Nouveauté et la Fuite (Leakage). Seuls les échantillons respectant des seuils stricts (score global > 8, autres > 7) sont conservés, aboutissant à un jeu de données final de plus de 5,5 millions de journaux d'utilisateurs.

2. Entraînement du Modèle HumanLLM

Sur la base du Cognitive Genome Dataset, les auteurs définissent six tâches d'apprentissage complémentaires pour couvrir le spectre de l'activité humaine :

1. Génération de Profil : Inférer des profils détaillés à partir de personas minimales.
2. Génération de Scénario : Reconstruire des histoires sociales complètes à partir de personnages et de contextes.
3. Réponse aux Questions Sociales (Social QA) : Prédire les actions, les pensées ou le raisonnement de l'utilisateur étant donné un persona et un scénario.
4. Imitation d'Écriture : Générer de nouveaux textes dans le style d'un utilisateur spécifique.
5. Commentaire Personnalisé : Générer des réponses contextuelles à de nouveaux messages.
6. Sélection d'Articles : Prédire les préférences de l'utilisateur à partir d'un historique d'interactions.

Stratégie d'Entraînement :
Les auteurs affinent plusieurs LLM open-source (incluant Qwen2.5, Qwen3, Phi-3 et Llama-3.1) sur ce jeu de données. Pour atténuer l'oubli catastrophique des capacités générales — un problème courant lors de l'ajustement fin sur des données spécialisées — les auteurs emploient une stratégie de fusion de modèles (model merging). Au lieu d'un entraînement conjoint avec des données d'instruction générales (qui donnait une généralisation sous-optimale), ils effectuent une fusion de poids 1:1 entre le modèle affiné et le modèle de base initialement ajusté pour les instructions. Cette approche combine une intelligence sociale accrue avec des capacités générales robustes.

Contributions Clés

• Cognitive Genome Dataset : Le premier jeu de données à grande échelle et multiplateforme organisé spécifiquement pour la simulation du comportement humain personnalisé, contenant des centaines de milliers d'utilisateurs et des millions de scénarios synthétisés et de paires de QA sociale.
• Modèle de Fondation HumanLLM : Un nouveau modèle de fondation conçu pour la compréhension et la simulation personnalisées de la nature humaine, entraîné via un cadre d'apprentissage multi-tâches sur le Cognitive Genome Dataset.
• Approche de Fusion de Modèles : Une démonstration que la fusion de modèles est plus efficace que l'entraînement conjoint avec des instructions générales pour préserver l'intelligence générale tout en améliorant le raisonnement social.
• Évaluation Complète : Validation étendue à travers des tâches in-domain, des benchmarks de l'intelligence sociale hors-domaine (OOD) et des scénarios d'application en conditions réelles.

Résultats Expérimentaux

Performance In-Domain

Sur cinq tâches clés (Sélection d'Articles, Génération de Profil, Génération de Scénario, QA Sociale et Imitation d'Écriture), les variantes de HumanLLM surpassent systématiquement leurs modèles de base et les modèles de comportement humain existants (Centaur, BE.FM).

• HumanLLM$_{Qwen2.5-7B}$ a obtenu le score moyen le plus élevé (27,38 %), montrant des améliorations significatives par rapport au modèle de base (gain de 308,05 % en performance moyenne).
• Le modèle a démontré des capacités supérieures pour prédire les préférences des utilisateurs, inférer les trajectoires de vie et imiter les styles d'écriture par rapport aux modèles de base et même à GPT-4o dans certains contextes in-domain spécifiques.

Généralisation Hors-Domaine (OOD)

Évalué sur MotiveBench (raisonnement motivationnel) et TomBench (théorie de l'esprit), HumanLLM montre une généralisation accrue :

• HumanLLM$_{Qwen3}$ a obtenu les scores moyens les plus élevés sur ces deux benchmarks parmi les modèles ouverts testés.
• Le modèle présente des gains constants à travers différents backbones de LLM, indiquant que l'approche d'entraînement améliore le raisonnement social au-delà de la distribution d'entraînement originale.
• En revanche, des modèles comme BE.FM montrent une performance instable à travers les benchmarks, suggérant une généralisation limitée lorsqu'ils sont entraînés sur des sources de données plus étroites comme les jeux économiques.

Applications Réelles

Les évaluations qualitatives et quantitatives dans trois scénarios d'application confirment l'utilité de HumanLLM :

1. Génération de Profil : Produit des profils d'utilisateurs plus fidèles, réalistes et complets que les modèles de base, évitant les hallucinations démographiques.
2. Explicateur Humain : Génère des explications du comportement humain qui sont plus contextuellement pertinentes, logiquement cohérentes et alignées avec les réponses de référence.
3. Écriture Personnalisée : Imite avec succès les styles d'utilisateurs et reproduit les détails critiques ainsi que les schémas de raisonnement dans le contenu généré.

Signification et Revendications

L'article pose que HumanLLM représente une étape significative vers des systèmes d'IA centrés sur l'humain. En ancrant les LLM dans des données utilisateurs réelles et à grande échelle plutôt que dans des fragments de texte déconnectés ou des récits fictionnels, le modèle atteint une compréhension plus nuancée de l'interaction entre l'identité individuelle, l'environnement et le comportement.

Les auteurs affirment que HumanLLM sert de générateur de données sociales, d'explicateur humain et de simulateur d'utilisateur supérieur. Cette capacité a des implications profondes pour :

• Faire progresser la recherche en sciences sociales grâce à des simulations sociologiques à grande échelle.
• Développer des compagnons IA personnalisés et des agents de soutien émotionnel.
• Améliorer les systèmes de recommandation avec des simulations d'utilisateurs réalistes.
• Générer de l'intelligence marketing via des simulations de retours clients.

Le travail suggère que l'exploitation de données utilisateurs diverses et réelles est essentielle pour combler le fossé entre les LLM à usage général et l'intelligence spécifique, empathique et sensible au contexte requise pour une interaction humaine authentique.