Résumé technique : Qu'est-ce qui aide les modèles de langage à prédire les croyances humaines : la démographie ou les positions antérieures ?

Problématique

Alors que les grands modèles de langage (LLM) deviennent omniprésents, leur capacité à comprendre et à raisonner sur les croyances humaines a des implications significatives pour la vie privée, la persuasion personnalisée et la stéréotypie. Bien que les croyances forment des réseaux complexes et interreliés façonnés par des dépendances logiques et des processus sociaux, il reste incertain comment les LLM prêts à l'emploi capturent cette structure corrélationnelle. Plus précisément, lors de la prédiction de la position d'un individu sur une nouvelle proposition, on ignore si les informations démographiques (qui ils sont) ou les positions exprimées antérieurement (ce qu'ils croient d'autre) fournissent une valeur prédictive plus élevée, ou si une combinaison des deux est optimale. Les benchmarks existants se concentrent souvent sur des contextes sociopolitiques étroits ou reposent sur le réglage fin (fine-tuning), laissant une lacune dans la compréhension de la manière dont les modèles de base exploitent les informations sociales sans adaptation spécifique à la tâche.

Méthodologie

L'étude évalue les capacités de prédiction de croyances de neuf LLM en poids ouverts (allant de 3B à 14B de paramètres) en utilisant un ensemble de données dérivé de Debate.org (DDO), couvrant la période d'octobre 2007 à septembre 2018.

Construction des données

• Source : Le jeu de données DDO fournit la démographie des utilisateurs, des sujets de débat avec des arguments opposés, et des votes de position des utilisateurs (« agree » ou « disagree »).
• Extraction des croyances : Les votes de position ont été combinés avec les titres des débats pour générer des énoncés de croyance structurés (ex. : « Je suis d'accord avec ce qui suit : [Sujet] »). GPT-4 a été utilisé pour filtrer les titres qui ne pouvaient pas être interprétés comme des croyances humaines cohérentes.
• Prétraitement : Les utilisateurs ayant moins de cinq énoncés de croyance au total ont été exclus. Les données ont été divisées chronologiquement pour chaque utilisateur : les 80 % les plus anciens ont servi de croyances de contexte (entraînement), et les 20 % restants ont servi de croyances de test. Pour éviter la fuite de données (data leakage), les croyances de contexte ayant une similitude cosinus > 0,8 avec les croyances de test (via Sentence-BERT) ont été supprimées.
• Jeu de données final : 119 118 énoncés de croyance uniques provenant de 5 775 utilisateurs uniques.

Conception expérimentale

La tâche a été formulée comme une classification binaire (prédire « agree » ou « disagree ») sous quatre conditions informationnelles distinctes :

1. Aveugle (Blind) : Aucune information sur l'utilisateur (reposant uniquement sur les priors au niveau de la population).
2. Démographie uniquement : Attributs de l'utilisateur (âge, genre, ethnicité, revenu, idéologie politique/religieuse, etc.).
3. Croyances de contexte uniquement : Les positions exprimées antérieurement par l'utilisateur.
4. Combinée : À la fois la démographie et les croyances de contexte.

Implémentation

• Modèles : Neuf modèles en poids ouverts ont été évalués, incluant des variantes de DeepSeek R1 Distill, Gemma 3, Llama 3.1/3.2, Mistral, Phi-4 et Qwen3.
• Prompting : L'étude a utilisé DSPy pour un ingénierie de prompt structurée, incorporant le raisonnement par chaîne de pensée (Chain-of-Thought - CoT) pour générer des étapes intermédiaires avant la prédiction binaire finale.
• Évaluation : La performance a été mesurée via les scores Macro F1. Les résultats ont été agrégés via deux méthodes : la moyenne des scores individuels des modèles et un vote majoritaire (ensemble) à travers tous les modèles.

Résultats clés

L'étude révèle que, bien que les démographies et les croyances antérieures améliorent toutes deux la prédiction par rapport à une ligne de base aveugle, leur utilité relative varie considérablement selon les domaines de croyance. Les résultats classent les domaines de croyance en trois groupes distincts basés sur la condition d'entrée optimale :

1. Groupe 1 (Démographie + Croyances) : Des catégories telles que la Religion, la Politique et la Société performent le mieux lorsque les deux types d'informations sont fournis. Pour ces domaines liés à l'identité, la performance s'améliore généralement selon l'ordre : Aveugle → Démographie → Contexte de croyance → Combiné.
2. Groupe 2 (Croyances de contexte uniquement) : Les domaines idiosyncrasiques comme le Sport, le Divertissement, les Voitures et les Lieux/Voyages atteignent une performance de pointe avec les seules croyances de contexte. Dans ces catégories, l'ajout d'informations démographiques dégrade souvent la performance par rapport à l'utilisation des seules croyances antérieures, bien que les démographies surpassent toujours la ligne de base aveugle.
3. Groupe 3 (Démographie uniquement) : Un ensemble plus restreint de catégories performe le mieux avec la démographie seule, bien que l'ordre des autres conditions varie.

Résultats quantitatifs :

• Performance globale : La condition combinée a produit le score Macro F1 le plus élevé pour 8 des 9 modèles. Le meilleur modèle, Phi-4, a atteint un score de 63,5 % dans la condition combinée.
• Gains relatifs : En moyenne, les démographies ont amélioré la ligne de base aveugle de 6 points de pourcentage, les croyances de contexte de 6,5 points, et la condition combinée de 7,8 points.
• Non-monotonie : L'ajout d'une seconde source d'information n'améliore pas toujours la précision. Dans certains cas (ex. : « Drôle » ou « Musique »), les démographies ont été moins performantes que la ligne de base aveugle, et l'ajout de démographies aux croyances de contexte a réduit la précision dans certains domaines spécifiques.
• Performance de l'ensemble : L'agrégation par vote majoritaire a systématiquement surpassé l'agrégation par moyenne, suggérant que les différents modèles commettent des erreurs complémentaires.

Signification et affirmations

L'article affirme faire progresser la compréhension de la manière dont les LLM prêts à l'emploi raisonnent sur les croyances humaines sans ajustement spécifique à la tâche. Les principales contributions et implications incluent :

• Raisonnement spécifique au domaine : Les conclusions suggèrent que les LLM exploitent différents types d'informations sociales selon la nature de la croyance. Les croyances étroitement couplées à l'identité sociale (Politique, Religion) reposent fortement sur les priors démographiques, tandis que les préférences idiosyncrasiques (Sports, Divertissement) reposent davantage sur l'historique individuel (positions antérieures).
• Systèmes de croyances cohérents : La variation de l'exactitude soutient le concept théorique de systèmes de croyances cohérents. Les LLM performent mieux dans les domaines où les croyances forment des réseaux densément interconnectés et mutuellement renforçants (ex. : Religion, Science) et éprouvent plus de difficultés là où les associations sont plus lâches.
• Limites des modèles actuels : Malgré les améliorations, l'exactitude absolue reste modérée. L'article attribue ce plafond au bruit dans les données des utilisateurs (incohérence entre les positions enregistrées et les vraies croyances), aux écarts temporels dans le jeu de données (2007–2018) et aux biais inhérents aux corpus d'entraînement qui peuvent privilégier les points de vue majoritaires.
• Considérations éthiques : La capacité d'inférer des attitudes à partir d'indices limités comporte des risques concernant la vie privée et la stéréotypie. Les auteurs mettent en garde contre les inférences trop confiantes qui pourraient déformer la réalité des individus, soulignant la nécessité de transparence sur l'incertitude et de contraintes claires sur le déploiement des outils de prédiction de croyances.

L'étude conclut que, bien que les LLM puissent exploiter efficacement les informations sociales pour prédire les croyances, leur performance n'est pas uniforme et est profondément influencée par la cohérence structurelle du domaine de croyance et le type spécifique d'indice social fourni. Des travaux futurs sont nécessaires pour établir des lignes de base humaines et explorer la directionnalité de l'inférence de croyance à travers différents domaines.