Auditing LLM-mediated interpretation through source-to-claim documentation

Dans les sciences humaines et sociales, les chercheurs s'appuient depuis longtemps sur une idée simple mais puissante : si vous voulez comprendre comment une conclusion a été établie, vous devez être capable de retracer le chemin allant de la preuve originale à l'affirmation finale. Ce chemin est souvent appelé une « piste d'audit ». Il s'agit d'un registre des décisions prises, des notes prises et des étapes suivies, garantissant qu'un autre chercheur puisse examiner les mêmes matériaux et comprendre comment l'interprétation a été construite. Pendant des décennies, ce processus a été de l'humain à l'humain, où un chercheur lit un texte, surligne un passage et rédige une analyse. Mais un nouvel outil est entré en scène : l'intelligence artificielle générative. Ces systèmes peuvent lire un texte et rédiger instantanément un paragraphe fluide qui le résume ou l'interprète. Le problème est que cette rapidité a un coût caché. L'IA produit une phrase lisse et polie qui dissimule le travail désordonné de transformation qui s'est opéré à l'intérieur de la machine. Le lecteur voit l'affirmation finale, mais ne peut pas voir comment la machine a transformé les mots originaux en cette conclusion spécifique. Pire encore, parce que ces systèmes d'IA sont hébergés sur des serveurs appartenant à des entreprises, les chercheurs ne peuvent pas simplement « relancer » exactement le même calcul plus tard. Le logiciel pourrait changer, ou la même question pourrait obtenir une réponse légèrement différente la fois suivante. Cela crée une lacune dans la piste d'audit, laissant le lien entre la preuve et l'affirmation fragile et difficile à vérifier.

Pour résoudre cela, une équipe de chercheurs de l'Université du Minnesota et du Georgia Institute of Technology a proposé une nouvelle façon de travailler appelée « documentation de la source à l'affirmation ». Au lieu de simplement dire « Nous avons utilisé une IA », ils suggèrent de conserver une chaîne complète et liée de registres qui montre exactement comment une pièce de preuve est devenue une affirmation analytique. Ce cadre ne se contente pas de lister les outils utilisés ; il préserve le parcours spécifique de chaque fragment de texte généré. Les chercheurs ont testé cette idée lors d'une expérience contrôlée où ils ont créé douze phrases simples pour servir de matériel source. Ils ont demandé à deux versions différentes d'un modèle d'IA de réécrire ces phrases et de rédiger de courtes notes interprétatives à leur sujet. Le but n'était pas de voir quelle IA était la plus intelligente, mais de voir si leur nouvelle méthode de documentation pouvait détecter des erreurs qui passeraient autrement inaperçues. Ils ont découvert que l'IA faisait souvent des changements subtils mais significatifs qui semblaient anodins en surface. Par exemple, lorsque la phrase source disait qu'une femme avait « prêté » ses notes à un ami, l'IA réécrivait systématiquement cela par « a donné » ses notes. Dans le monde réel, « prêter » implique que l'objet sera rendu, tandis que « donner » implique une propriété permanente. L'IA a effectué ce remplacement à chaque fois, produisant des phrases fluides et identiques qui semblaient correctes, mais qui avaient en réalité altéré le sens de la preuve originale.

La puissance de la nouvelle méthode est apparue clairement lorsque les chercheurs ont regardé au-delà du texte final. Ils ont introduit une étape où ils demandaient à l'IA de créer une carte structurée du sens de la phrase parallèlement au texte réécrit. Cette carte agissait comme un plan, montrant les relations entre les mots. Lorsque les chercheurs ont comparé le plan à la phrase originale, l'erreur a sauté aux yeux : la carte montrait toujours l'action comme étant un « prêt », même si le paragraphe final disait « donner ». Cela révélait que l'IA avait commis une erreur constante que la prose fluide avait réussi à dissimuler. Les chercheurs ont également constaté que lorsque l'IA rédigeait des notes interprétatives, elle ajoutait parfois des idées qui ne figuraient pas dans le texte original, comme deviner la motivation d'une personne, alors qu'il lui était demandé de citer directement la source. En gardant la phrase originale, la production brute de l'IA, la carte structurée et la revue humaine, tous liés ensemble dans une archive unique, les chercheurs pouvaient voir exactement où le sens avait dévié. Ils ont découvert que vérifier simplement si deux exécutions de l'IA produisaient la même réponse ne suffisait pas, car l'IA pouvait être d'accord avec elle-même tout en étant erronée sur les deux comptes.

L'étude a impliqué huit lecteurs humains qui ont examiné le travail de l'IA. Ces lecteurs ont confirmé que, bien que les phrases réécrites par l'IA ressemblent souvent beaucoup à l'original, elles changeaient fréquemment le sens de manière significative. Dans un cas spécifique impliquant une phrase sur un prêt, les lecteurs ont identifié que le passage de « prêter » à « donner » constituait une distorsion importante dans plus de la moitié des évaluations. Les chercheurs ont également testé si leur méthode pouvait gérer les changements du système d'IA lui-même. Ils ont mené l'expérience avec deux versions différentes du modèle d'IA, séparées par plusieurs mois. Même si les modèles étaient différents, la méthode de documentation leur a permis de retracer l'historique de l'affirmation et de voir comment la preuve a été transformée dans chaque cas. La conclusion clé était que le cadre préservait avec succès le « chemin de la preuve ». Il permettait à un chercheur ultérieur de regarder l'affirmation finale, de remonter le lien vers la production brute de l'IA, puis de consulter la carte structurée pour vérifier si le sens avait été préservé. Ce processus ne demandait pas au chercheur de faire confiance à l'IA ou de croire que le texte final était parfait ; il exigeait simplement qu'il dispose de l'enregistrement complet de la manière dont le texte a été fabriqué.

Cette approche offre une voie pratique pour les chercheurs qui souhaitent utiliser l'IA sans perdre la capacité de vérifier leur travail. Les chercheurs suggèrent que le niveau de documentation doit correspondre à l'importance de l'affirmation. Pour une note privée ou un exercice de classe, un simple enregistrement de la source et de l'instruction (prompt) pourrait suffire. Mais pour un article publié ou un ensemble de données destiné à être utilisé par autrui, la chaîne complète de preuves — incluant la production brute, les vérifications structurées et la revue humaine — doit être conservée. Cela ne signifie pas que chaque phrase nécessite un audit complet, mais cela signifie que lorsqu'une affirmation dépend de l'interprétation d'une IA, le chemin allant des mots originaux à cette affirmation doit rester visible. L'étude a montré que sans cette visibilité, la prose fluide peut facilement masquer des erreurs, et qu'un accord répété entre plusieurs exécutions de l'IA peut donner un faux sentiment de sécurité. En maintenant intacts les liens entre la source, la machine et le réviseur humain, les chercheurs peuvent s'assurer que leurs conclusions reposent sur une base qui peut être inspectée, questionnée et comprise par quiconque suit la piste.