When AI Gives Advice: Evaluating AI and Human Responses to Online Advice-Seeking for Well-Being

1. Problématique et Contexte

La recherche d'avis est un comportement humain fondamental qui a été transformé à deux reprises par le numérique : d'abord par les forums et communautés en ligne (sagesse de la foule), et maintenant par les grands modèles de langage (LLM). Bien que les LLM offrent des conseils personnalisés à grande échelle, la qualité de ces conseils pour des scénarios de bien-être quotidien reste mal comprise.

Les questions centrales de l'étude sont :

1. Les LLM de pointe surpassent-ils les conseils humains issus de la foule (crowdsourcing) lorsqu'ils sont évalués par des experts ?
2. Quelle forme de collaboration humain-AI (amplification) produit les meilleurs conseils : partir d'un brouillon humain ou d'un LLM, et utiliser une simple révision par LLM ou une révision guidée par un expert ?

L'étude vise à combler le manque d'évaluations rigoureuses comparant les LLM aux meilleurs conseils humains existants, au-delà des simples métriques de surface (fluidité, empathie) pour se concentrer sur des résultats de bien-être plus profonds (actionnabilité, calibration, bénéfice à long terme).

2. Méthodologie

Les auteurs ont mené deux études principales et une enquête exploratoire auprès d'étudiants.

Étude 1 : Comparaison LLM vs. Conseils Humains (Crowdsourcing)

• Données : Échantillon de 50 posts populaires du subreddit r/getdisciplined (2M+ membres), chacun accompagné de deux commentaires humains : le mieux noté (« Best ») et un commentaire dans le 90e percentile (« Good »).
• Génération de LLM : Pour chaque post, deux réponses ont été générées par des LLM de pointe : GPT-4o et GPT-5.
• Évaluateurs : 161 participants recrutés sur Prolific, ayant des rôles professionnels liés au conseil (enseignants, coachs, thérapeutes, RH). Ils ont agi en tant qu'« experts » en évaluation à l'aveugle.
• Critères d'évaluation :
  • Likert (1-7) : Efficacité, clarté, soutien/respect, personnalisation, sycophancie (tendance à flatter plutôt qu'à conseiller objectivement), et intention de rechercher à nouveau l'avis.
  • Classement : Deux classements forcés (1 à 4) : « Meilleur au global » et « Impact à long terme ».
  • Détection : Identification de la source (Humain vs IA).

Étude 2 : Pipelines de Collaboration Humain-AI

• Design : Facteur 2x2 croisant la source initiale (Seed) et l'amplification.
  • Semences : Commentaire Reddit « Best » (Humain) vs Réponse GPT-4o.
  • Amplification : Révision par LLM seul (LLM-only) vs Révision par LLM guidée par les feedbacks qualitatifs des experts de l'Étude 1 (LLM+Expert).
• Procédure : 49 experts ont évalué les 4 variantes pour 25 posts, en utilisant les mêmes métriques que l'Étude 1.

Enquête Exploratoire

• Participants : 148 étudiants universitaires.
• Objectif : Comprendre les préférences des utilisateurs entre un agent « Coach/Counselor » (structuré) et un agent « Friend/Companion » (chaleureux), en fonction de la confiance en l'IA et du bien-être de base.

3. Résultats Clés

Résultats de l'Étude 1 (Performance Pure)

• Supériorité des LLM : Les réponses des LLM (GPT-4o et GPT-5) ont été classées significativement plus haut que les commentaires humains les mieux notés sur toutes les dimensions (efficacité, chaleur, clarté, personnalisation).
• Le paradoxe du Benchmark : Contre-intuitivement, GPT-4o a surpassé GPT-5 sur presque toutes les dimensions, sauf la sycophancie (où GPT-5 était légèrement moins flatteur). Cela suggère que les gains sur les benchmarks généraux ne se traduisent pas automatiquement par de meilleurs conseils.
• Impact à long terme : L'écart de performance entre les LLM et les humains s'est creusé lorsque les évaluateurs ont été invités à considérer l'« impact à long terme ».
• Détection : Bien que les réponses LLM soient plus facilement identifiées comme étant générées par une IA (surtout GPT-4o), cela n'a pas réduit leur préférence par rapport aux réponses humaines.

Résultats de l'Étude 2 (Collaboration et Amplification)

• Amélioration des conseils humains : L'amplification par LLM (seul ou guidé) a considérablement amélioré la qualité des commentaires humains initiaux, les rapprochant de la qualité des LLM purs.
• Préférences de classement :
  • Pour le « Meilleur au global », les commentaires humains révisés par LLM seul (Human→LLM-only) étaient les plus préférés.
  • Pour l'« Impact à long terme », les réponses GPT-4o révisées par LLM seul (GPT-4o→LLM-only) ont pris la tête.
• Rôle de l'expert : L'ajout de la guidance d'expert (LLM+Expert) n'a pas systématiquement augmenté la qualité perçue, mais a réduit la sycophancie et rendu les réponses moins détectables comme étant de l'IA, en particulier pour les semences humaines.
• Longueur : L'amplification par LLM seul tendait à allonger considérablement les réponses humaines, tandis que la version guidée par l'expert maintenait une longueur plus proche de l'original.

Résultats de l'Enquête (Préférences Utilisateurs)

• Attentes par Persona : Les utilisateurs attendent des qualités différentes selon le rôle :
  • Coach : Orientation vers les objectifs, fiabilité, sécurité.
  • Ami : Chaleur, humour, écoute active, touche humaine.
• Préférences Hétérogènes : La préférence pour un « Ami » augmente avec la confiance en l'IA et le bien-être de base, tandis que les utilisateurs à faible confiance préfèrent les options par défaut. Curieusement, malgré la performance supérieure des LLM dans l'Étude 1, les étudiants préféraient discuter de problèmes personnels avec un « Ami » ou un chatbot commercial plutôt qu'avec un « Coach ».

4. Contributions Principales

1. Preuve empirique de la supériorité des LLM : Fournit des preuves à l'aveugle, basées sur l'expertise, que les LLM de pointe surpassent les meilleurs conseils de foule sur des scénarios de bien-être non cliniques, en particulier pour les bénéfices à long terme.
2. Découplage Benchmark/Qualité : Démontre que les améliorations des benchmarks (GPT-5 vs GPT-4o) ne garantissent pas de meilleurs conseils, et que la formulation des préférences (court terme vs long terme) modifie radicalement les classements.
3. Cartographie des pipelines de collaboration : Identifie que l'amplification simple par LLM améliore efficacement les conseils humains, mais que l'implication d'experts est cruciale pour réduire la sycophancie et masquer la nature artificielle du contenu (réduire l'aversion algorithmique).
4. Tension Persona/Performance : Met en lumière le décalage entre la capacité technique des LLM à fournir des conseils structurés (style Coach) et la préférence des utilisateurs pour des interactions plus chaleureuses et amicales.

5. Signification et Implications

• Pour le développement de modèles : Les développeurs doivent être conscients que l'optimisation pour les benchmarks généraux ou la réduction de la sycophancie seule ne suffit pas. Il faut des objectifs d'entraînement spécifiques pour les scénarios de conseil, en équilibrant l'attrait immédiat et le bien-être à long terme.
• Pour la conception d'interfaces (HCI) : Les systèmes de conseil devraient intégrer des pipelines hybrides. Une approche prometteuse consiste à permettre aux utilisateurs de générer un brouillon humain, de le faire réviser par un LLM (éventuellement guidé par des pairs ou des experts) pour améliorer la structure et l'actionnabilité, tout en préservant la « voix » humaine pour réduire la méfiance.
• Sécurité et Éthique : Bien que les LLM fournissent des conseils de haute qualité, leur omniprésence risque de remplacer les interactions humaines essentielles. Il est crucial de concevoir des systèmes qui encouragent les connexions humaines et d'évaluer les risques de dépendance ou de conseils dangereux sur le long terme.
• Transparence : La détection de l'IA affecte la perception. Les pipelines hybrides (Humain + LLM + Expert) offrent un compromis optimal entre qualité objective et acceptation sociale.

En conclusion, cette étude suggère que l'avenir du conseil en ligne réside non pas dans le remplacement pur et simple des humains par l'IA, mais dans des écosystèmes collaboratifs où l'IA affine et structure les conseils humains, tout en respectant les préférences émotionnelles et les attentes des utilisateurs.