Preserving Human Oversight Through Bounded Explanation Deferral in Intelligent Systems

Imaginez une salle de contrôle où un opérateur humain travaille aux côtés d'un système informatique intelligent. L'ordinateur est rapide et puissant, mais il peut aussi être accablant. Lorsqu'un problème survient, la machine peut submerger l'humain de données : alarmes, scores de confiance, journaux de diagnostic et explications détaillées, tout cela en même temps. L'humain, qui est déjà occupé à gérer la crise, se retrouve soudainement avec trop de choses à lire et trop peu de temps pour réfléchir. C'est un problème classique de la technologie moderne : l'automatisation déplace souvent la difficulté de l'exécution du travail vers la compréhension du travail, plutôt que de supprimer la difficulté. Si l'écran est trop encombré, l'humain pourrait manquer un avertissement crucial. Si l'écran est trop simple, il pourrait ne pas disposer des preuves nécessaires pour détecter une erreur. La question centrale pour les chercheurs n'est pas seulement de savoir comment afficher moins d'informations, mais de décider ce qui peut attendre et ce qui doit être vu immédiatement, sans perdre la capacité de vérifier le travail de la machine plus tard.

Une équipe de chercheurs issus d'universités de tout le Royaume-Uni a développé une nouvelle façon d'aborder ce problème. Ils proposent un système où l'ordinateur peut masquer temporairement certaines de ses explications détaillées pour maintenir la charge de travail de l'humain gérable, mais seulement s'il traite cette information cachée comme une dette spécifique qui doit être remboursée. Ils appellent cela la « dette d'explication ». L'idée n'est pas de supprimer l'information ou de prétendre qu'elle n'existe pas, mais de planifier un moment pour que l'humain l'examine avant qu'une décision critique ne soit prise. Les chercheurs n'ont pas testé cela sur de vraies personnes dans un laboratoire ; ils ont plutôt construit un modèle mathématique strict pour voir si un tel système pourrait fonctionner en théorie. Leurs travaux montrent que, bien que masquer l'information puisse aider à court terme, cela ne peut pas corriger une situation où il y a simplement trop de travail à faire. Le système ne fonctionne que s'il y a assez de temps plus tard pour rattraper le retard, et si les avertissements les plus dangereux ne sont jamais masqués.

Les chercheurs ont commencé par diviser l'information en deux catégories distinctes. La première est une couche protégée de faits qui sont essentiels pour la sécurité immédiate. Cela inclut le danger actuel, l'action que la machine est en train de prendre, toute preuve qui contredit le plan de la machine, et le délai imparti pour prendre une décision. Cette information doit toujours être visible. La seconde catégorie est le matériel de soutien, tel que de longs journaux historiques ou des traces de raisonnement complexes, qui peuvent être reportés si l'action immédiate ne dépend pas d'eux. Lorsque le système décide de masquer ce second type d'information, il crée un enregistrement de la dette. Cet enregistrement n'est pas seulement une liste de messages non lus ; c'est une obligation formelle qui identifie qui doit les lire, combien de temps la lecture prendra et la date limite absolue à laquelle elle doit être effectuée.

Pour tester la validité de cette idée, les chercheurs ont créé une simulation détaillée utilisant une chronologie en six étapes, comme une série de six minutes lors d'un quart de travail. Ils ont assigné des durées spécifiques d'attention pour l'humain à chaque étape, allant de cinq à neuf secondes. Ils ont également assigné une quantité fixe de travail « obligatoire » devant être fait immédiatement, ainsi qu'une vague de travail optionnel pouvant être différé. Dans leur premier scénario, ils ont laissé le système tout afficher immédiatement. Le résultat fut un échec : lors de la deuxième et de la troisième minute, le travail total requis était de huit secondes, mais l'humain n'avait que cinq secondes disponibles. Le système était surchargé. Dans un second scénario, ils ont laissé le système masquer tout le travail optionnel sans jamais prévoir de le réafficher. Cela a maintenu la charge de travail immédiate basse, mais cela a laissé six secondes d'informations non lues qui n'ont jamais été examinées. Cela signifiait que l'humain prenait des décisions sans jamais voir l'image complète, ce qui va à l'encontre de l'objectif d'avoir un humain dans la boucle.

Le troisième scénario, que les chercheurs appellent le « report borné », fonctionnait différemment. Le système masquait le travail optionnel pendant les minutes chargées, mais créait un calendrier pour présenter ce travail plus tard, pendant les minutes plus calmes. Dans leur simulation, le système a différé trois secondes de travail lors de la deuxième minute et trois autres lors de la troisième. Ensuite, dans la quatrième et la cinquième minute, lorsque l'humain disposait de plus de temps, le système présentait ce travail différé. À la fin de la sixième minute, toute l'information avait été examinée, et l'humain n'avait été surchargé à aucun moment. Cela a montré que le système pouvait réussir à équilibrer la charge, mais seulement parce qu'il y avait assez de temps libre plus tard pour rattraper le retard.

Cependant, les chercheurs ont pris soin de montrer où ce système échouerait. Ils ont lancé la même simulation en modifiant légèrement les chiffres. Dans un cas, ils ont réduit le temps disponible dans la quatrième minute. Soudain, l'humain ne pouvait pas terminer le travail différé avant l'échéance, et le système s'est effondré. Dans un autre cas, ils ont augmenté le temps de lecture des informations cachées de cinquante pour cent. Même si le temps total disponible plus tard semblait suffisant, le pic soudain de temps de lecture a fait que la dette a dépassé la limite de sécurité, et le système a dû déclarer qu'il ne pouvait pas procéder. Ces échecs ne sont pas de simples bugs ; ils prouvent que l'on ne peut pas simplement masquer l'information pour résoudre un problème de surcharge de travail. Si la quantité totale de travail excède le temps total disponible, masquer le travail ne fait que déplacer le problème à un moment ultérieur, où il pourrait provoquer un crash.

L'étude a également mis en évidence une règle cruciale concernant ce qui peut être caché. Les chercheurs ont découvert que si le système masque des preuves contradictoires — des informations suggérant que le plan de la machine pourrait être erroné — l'humain perd sa capacité à contester la machine. Même si l'humain se sent moins stressé parce que l'écran est calme, il n'est plus en position de superviser le système efficacement. Le modèle insiste sur le fait que toute information pouvant changer une décision doit rester visible. Le système n'est pas autorisé à masquer la vérité pour que l'humain se sente mieux. Cette distinction est vitale : l'objectif n'est pas de réduire la charge de travail à tout prix, mais de gérer le flux d'informations afin que l'humain puisse rester aux commandes.

Les chercheurs ont conclu que leur modèle fournit un ensemble de règles claires pour concevoir ces systèmes intelligents, mais qu'il ne s'agit pas d'une solution miracle. C'est une façon de vérifier si un plan est réalisable avant qu'il ne soit construit. Le modèle prouve que le report d'information est un compromis, et non un repas gratuit. Il peut lisser un moment chargé, mais seulement s'il existe une opportunité garantie d'examiner les détails cachés avant une décision finale. Si le calendrier est trop serré, ou si le temps de lecture est sous-estimé, le système doit admettre qu'il ne peut pas faire face et demander de l'aide. Cette approche déplace l'attention de la création d'une machine plus intelligente vers une collaboration entre l'humain et la machine plus honnête quant à ses propres limites. Elle garantit que lorsque la machine simplifie la vue, elle n'efface pas les preuves nécessaires pour maintenir l'humain en sécurité.