When Debate Hurts: Model-Scale-Dependent Effects of Multi-Agent Deliberation in Psychiatric Diagnosis

Dans le monde des soins de santé mentale, diagnostiquer un patient est rarement une simple question de correspondance entre les symptômes et une liste de contrôle. Même pour les psychiatres humains hautement qualifiés, le processus est empreint d'incertitude. Des études ont montré que lorsque différents médecins examinent la même description d'un patient, ils ne s'entendent souvent pas sur le diagnostic final. Parfois, la confusion est si profonde qu'une équipe des plus grands experts mondiaux ne parvient pas à s'accorder sur ce qui ne va pas chez une personne. C'est pourquoi les chercheurs se sont tournés vers l'intelligence artificielle, espérant que les modèles informatiques pourraient offrir une manière plus cohérente d'identifier les troubles de la santé mentale. Une idée populaire consiste à faire intervenir plusieurs agents d'IA, agissant comme un panel de spécialistes, pour débattre d'un cas avant de parvenir à une conclusion. La théorie est que cette discussion de va-et-vient permettrait de détecter les erreurs et de mener à de meilleures réponses, à l'instar d'une équipe humaine travaillant ensemble sur un problème complexe.

Une nouvelle étude menée par des chercheurs de l'Institut indien de technologie de Kharagpur teste cette idée de manière très concrète, en utilisant de petits modèles informatiques open-source capables de fonctionner sur un ordinateur personnel standard plutôt que sur de massifs serveurs coûteux. Ils ont mis en place un système où trois agents d'IA différents — l'un axé sur les symptômes, l'autre sur la comparaison de différents diagnostics possibles, et le troisième sur l'évaluation du danger pour le patient — débattraient de vingt-quatre récits de patients synthétiques. Ces récums ont été écrits pour ressembler à de véritables dossiers médicaux, couvrant un éventail de pathologies psychiatriques. Les chercheurs voulaient voir si ce processus de débat aidait réellement l'IA à trouver la bonne réponse, ou s'il aggravait la situation. Ils ont comparé l'équipe de débat à un agent d'IA unique qui donne simplement une réponse immédiatement sans parler à personne d'autre.

Les résultats ont été surprenants et vont à l'encontre de l'hypothèse commune selon laquelle plus de discussion conduit toujours à de meilleurs résultats. Lorsque les chercheurs ont testé le système sur deux tailles différentes de modèles informatiques — l'un avec un milliard de paramètres et l'autre avec trois milliards — ils ont constaté que l'équipe de débat était systématiquement moins performante que l'agent unique qui donnait une réponse rapide. Il ne s'agissait pas d'un coup de chance lors d'un test isolé ; les chercheurs ont répété l'expérience cinq fois séparément pour chaque configuration afin de s'assurer que les résultats étaient réels. Dans chaque cas, l'IA qui débattait avec elle-même se trompait de diagnostic plus souvent que celle qui ne le faisait pas. L'écart était significatif : à la taille la plus petite, l'équipe de débat était correcte environ 57 % du temps en moyenne sur l'ensemble des essais, tandis que l'agent simple, non débatteur, était correct environ 73 % du temps. À la taille plus grande, l'équipe de débat s'est améliorée pour atteindre environ 69 % en moyenne, mais l'agent simple faisait toujours mieux, atteignant près de 88 % de précision.

L'étude a également examiné de près pourquoi cela s'est produit, en décomposant le processus pour voir quelle partie du système causait le problème. Les chercheurs avaient supposé que l'étape finale, où un agent « juge » résumait le débat et rendait la décision finale, était la principale responsable de la faible performance. Cependant, leur enquête a révélé un tableau plus complexe. L'acte même de débattre, avant même l'intervention d'un juge, abaissait déjà la précision par rapport à l'approche simple. De plus, l'effet du juge changeait selon la taille du modèle. Sur le plus petit modèle, le juge n'a pas beaucoup aggravé les choses, mais sur le modèle plus grand, le juge n'a que partiellement récupéré une partie de la précision perdue, tandis que son effet sur la précision globale restait incohérent selon les différentes échelles. Cela suggère que le problème n'est pas seulement une partie défectueuse du système, mais une interaction complexe entre la taille du cerveau informatique et la manière dont il gère la discussion de groupe.

La conclusion la plus critique concernait la sécurité. En santé mentale, manquer un signe indiquant qu'un patient est en danger de se faire du mal est un échec catastrophique. Les chercheurs ont constaté que l'effet du débat sur la détection de ces dangers s'inversait selon la taille du modèle. Sur le plus petit modèle, le processus de débat a effectivement aidé l'IA à remarquer un risque élevé d'auto-mutilation que l'agent simple avait manqué. Mais sur le modèle plus grand, c'est l'inverse qui s'est produit : l'agent simple a correctement identifié le danger, mais l'équipe de débat, et plus précisément le juge qui résumait la discussion, s'est "auto-convaincue" de ne pas signaler le risque. Cela signifie qu'un système conçu pour être plus sûr en faisant argumenter les agents entre eux pourrait en réalité devenir moins sûr, selon le modèle informatique spécifique utilisé.

Les chercheurs ont pris soin de noter que leurs résultats ne signifient pas que l'intelligence artificielle a déjà surpassé les médecins humains. Ils ont comparé leurs chiffres à des études publiées sur des psychiatres humains et ont trouvé que leurs résultats d'IA se situaient dans la même zone que les performances humaines sur des tâches similaires, voire parfois supérieures, mais ils ont souligné que les tests n'étaient pas parfaitement identiques. Les études humaines utilisaient des récits de patients et des méthodes de détermination de la réponse correcte différents. L'auteur soutient que la leçon la plus importante n'est pas de savoir si l'IA est meilleure ou moins bonne que l'humain, mais que l'idée populaire selon laquelle « plus de débat est préférable » n'est pas une règle universelle. Dans le contexte spécifique du diagnostic psychiatrique utilisant ces modèles informatiques locaux, l'étape supplémentaire consistant à faire argumenter les agents introduit des erreurs que l'approche directe et simple évite. L'étude sert de rappel que, dans des domaines complexes comme la médecine, ajouter des couches de discussion ne garantit pas automatiquement un meilleur résultat, et que parfois, le chemin le plus direct est le plus fiable.