Résumé technique : Les modèles de langage étendus expliquent mieux les experts que les experts eux-mêmes

1. Énoncé du problème

Le défi central abordé dans cette étude est l'externalisation et le transfert des connaissances tacites. La connaissance tacite, définie comme le « savoir-faire » ancré dans l'expérience, est notoirement difficile à articuler, ce qui fait du transfert de cette connaissance des experts vers les novices un goulot d'étranglement significatif au sein des organisations. Ce phénomène est encapsulé dans le paradoxe de Polanyi (« nous en savons plus que nous ne pouvons en dire »), où les experts sont souvent incapables de verbaliser pleinement la logique sous-jacente de leurs comportements et de leurs décisions. Par conséquent, une expertise précieuse est fréquemment perdue lorsque les experts partent, ou elle ne parvient pas à se diffuser efficacement.

Les méthodes traditionnelles pour capturer cette connaissance — telles que les entretiens semi-structurés, l'analyse cognitive des tâches et le mentorat — sont coûteuses, difficiles à mettre à l'échelle et nécessitent souvent un effort humain substantiel pour être structurées. De plus, la connaissance que les experts peuvent articuler est souvent une représentation incomplète de la connaissance qu'ils utilisent réellement. Cette étude examine si les modèles de langage étendus (LLM) peuvent surmonter ce goulot d'étranglement de l'articulation en externalisant la connaissance tacite directement à partir des comportements des experts (conversations), plutôt qu'en s'appuyant sur l'auto-déclaration des experts, et si cette connaissance externalisée peut améliorer la prise de décision en aval et la formation des novices.

2. Méthodologie

La recherche utilise un plan expérimental comprenant deux études dans un contexte de tutorat mathématique, utilisant un ensemble de données de conversations réelles entre des élèves de la première à la cinquième année et des tuteurs (Wang et al., 2024).

Données et configuration

• Ensemble de données : 700 conversations de tutorat mathématique, incluant des erreurs d'élèves et des réponses provenant de tuteurs novices et experts.
• Benchmark : Un benchmark « Meilleur effort humain » dérivé d'une analyse cognitive des tâches (CTA) où des experts ont articulé un modèle de prise de décision en trois étapes. Cela sert de référence pour la connaissance explicitée par les experts.
• Participants : Tuteurs novices recrutés via Prolific (sélectionnés pour n'avoir aucune expérience préalable en tutorat de mathématiques) dans l'étude 2.

Étude 1 : Génération de réponses par LLM

L'objectif était de tester si la connaissance externalisée par un LLM pouvait guider un LLM pour générer des réponses de plus haute qualité aux erreurs des élèves.

• Conditions d'externalisation de la connaissance : Trois stratégies de prompting ont été testées pour extraire la connaissance tacite de l'ensemble de données :
  1. LLM Baseline : Aucune conversation élève-tuteur n'est fournie ; le LLM extrait la connaissance sur la base d'instructions générales.
  2. LLM+Conversation : Le LLM est fourni avec des conversations élève-tuteur (comportements observés) mais sans contraintes structurelles.
  3. LLM+Both (Les deux) : Le LLM est fourni avec les conversations et est tenu de produire une structure en 3 étapes imitant le benchmark humain expert.
• Conditions de comparaison :
  • Meilleur effort humain : Le LLM est guidé par la connaissance explicite et articulée des experts humains.
  • Aucune connaissance tacite : Une ligne de base zero-shot sans connaissance externalisée.
• Évaluation : Les réponses ont été évaluées sur une échelle de 1 à 10 pour les qualités d'utilité, de bienveillance (caring) et de naturel (human-sounding).

Étude 2 : Transfert de connaissances aux novices

L'objectif était de déterminer si la connaissance externalisée par LLM pouvait combler l'écart de performance entre les humains novices et les humains experts.

• Procédure : Les tuteurs novices ont été assignés de manière aléatoire à des conditions où ils étaient formés sur les représentations spécifiques de la connaissance tacite générées dans l'étude 1 (LLM Baseline, LLM+Conversation, LLM+Both, Human Best Effort, ou No Tacit Knowledge).
• Tâche : Les participants ont généré des réponses aux erreurs des élèves.
• Métrique : L'Écart Expert-Novice, défini comme la différence de qualité de réponse entre le novice formé et l'expert humain pour la même conversation.

Tests de robustesse

L'étude comprenait plusieurs analyses de robustesse :

• Sensibilité à la taille de l'échantillon : Variation du nombre de conversations d'entraînement (de 1 à 320) pour vérifier si les LLM apprennent des modèles plutôt que de simplement imiter un style.
• Connaissance alternative : Test de connaissances agnostiques au domaine, hors contexte (écriture) et mécaniquement adaptées au domaine pour isoler la valeur de la substance spécifique au domaine.
• Génération augmentée par récupération (RAG) : Réplication avec l'ensemble complet des données (420 conversations) en utilisant le RAG plutôt que le sous-échantillonnage de la fenêtre de contexte.
• Réplication du modèle : Réévaluation des résultats en utilisant différents LLM (Grok de xAI et Claude d'Anthropic) pour la génération et l'évaluation.

3. Résultats clés

Génération de réponses (Étude 1)

• Supériorité de la connaissance externalisée par LLM : Les LLM guidés par la connaissance tacite externalisée à partir de conversations d'experts (LLM+Conversation) ont généré des réponses qui ont nettement surpassé celles guidées par la connaissance articulée par les experts (Human Best Effort).
• Le goulot d'étranglement de l'articulation : La condition « Human Best Effort » a performé de manière comparable à la condition « LLM Baseline » (sans conversations), suggérant que les experts peinent à articuler toute l'étendue de leur connaissance tacite.
• Structure vs Flexibilité : Imposer une structure rigide en 3 étapes (LLM+Both) a en réalité réduit la qualité des réponses par rapport à l'approche flexible LLM+Conversation. Cela indique que forcer les LLM à imiter les structures d'articulation humaines peut entraver leur capacité à capturer des modèles comportementaux nuancés.
• Dimensions de la qualité : L'approche LLM+Conversation a amélioré les trois dimensions : l'utilité, la bienveillance et le naturel.

Transfert de connaissances (Étude 2)

• Combler l'écart : Les novices formés sur la connaissance LLM+Conversation ont obtenu le plus petit Écart Expert-Novice, surpassant de manière significative ceux formés sur la connaissance Human Best Effort ou LLM Baseline.
• Performance des novices : Les novices dans la condition LLM+Conversation se sont approchés du niveau de performance des experts, particulièrement dans la dimension de la « bienveillance », où l'écart est devenu statistiquement non significatif.
• Inefficacité de l'articulation humaine : Étonnamment, la condition Human Best Effort n'a pas performé mieux que la condition LLM Baseline pour le transfert de connaissances aux novices, renforçant l'idée que l'articulation humaine est un substitut incomplet de la capacité de l'expert.

Mécanisme et robustesse

• Apprentissage vs Mimétisme : Une « courbe d'apprentissage » a été observée où la qualité des réponses augmentait avec le nombre de conversations d'entraînement, plafonnant après un certain seuil. Cela confirme que les LLM extraient des modèles de décision plutôt que de simplement copier un style.
• Spécificité du domaine : La connaissance externalisée par LLM propre au domaine a surpassé les connaissances hors contexte ou mécaniquement adaptées, principalement grâce à l'amélioration de l'utilité (guidance pédagogique).
• Généralisabilité : Les résultats sont restés cohérents à travers différents fournisseurs de LLM (GPT-4o, Grok, Claude) et méthodes de récupération (dans le prompt ou via RAG).

4. Contributions clés

1. Externalisation scalable : Le papier propose et valide une méthode scalable pour externaliser la connaissance tacite en utilisant des LLM qui contournent le goulot d'étranglement de l'articulation humaine.
2. Validation empirique du paradoxe de Polanyi : L'étude fournit une preuve empirique que les LLM peuvent en « savoir plus » sur le processus de décision d'un expert que les experts ne peuvent en « dire » par auto-déclaration.
3. Efficacité de la formation des novices : Elle démontre que la connaissance dérivée des comportements des experts (via les LLM) est plus efficace pour former les novices que la connaissance dérivée des articulations des experts.
4. Identification des conditions : L'étude identifie les conditions critiques pour une externalisation efficace : une exposition suffisante aux données de comportement, des structures de sortie flexibles (éviter les contraintes rigides de type humain) et l'utilisation de LLM capables.

5. Signification et affirmations

Les auteurs affirment que ce travail offre une voie pratique pour les organisations afin de tirer parti des données d'interaction des experts pour atténuer la perte de connaissances et améliorer la formation. En déplaçant l'attention de « demander aux experts ce qu'ils savent » vers « analyser ce que les experts font », les LLM peuvent servir d'outils puissants pour la gestion des connaissances.

Le papier conclut modestement que, bien que les LLM ne ferment pas totalement l'écart expert-novice, ils le réduisent de manière significative, surpassant souvent les méthodes traditionnelles de transfert de connaissances. Les conclusions suggèrent que le « savoir-faire » ancré dans les interactions des experts est une ressource plus riche pour la formation et le soutien à la décision que le « savoir-quoi » que les experts peuvent explicitement documenter. Cela souligne le potentiel des LLM non seulement comme outils génératifs, mais comme moteurs analytiques pour l'apprentissage organisationnel capables de capturer et de transférer la logique implicite de l'expertise.