It's a matter of timescale: non-linear utility in successor features and multi-objective planning and learning

Dans le monde de l'intelligence artificielle, les machines sont souvent instruites pour prendre des décisions en poursuivant un objectif unique, comme un aspirateur robot nettoyant un sol ou un programme gagnant une partie d'échecs. Mais le monde réel est rarement aussi simple. Souvent, un agent doit jongler avec plusieurs objectifs concurrents à la fois, comme une voiture autonome qui tente d'atteindre une destination rapidement tout en restant sûre et en économisant de l'énergie. Lorsque ces objectifs entrent en conflit, la machine doit trouver un moyen de décider lequel importe le plus. De plus, les conséquences d'une décision peuvent se manifester sur différentes échelles de temps. Une petite erreur peut causer un problème immédiat, tandis qu'une série de petites erreurs pourrait ne s'accumuler pour devenir un désastre que des mois plus tard. Pendant des années, les chercheurs ont développé différents outils mathématiques pour gérer ces situations, mais ils ont généralement traité chaque échelle de temps comme un problème distinct, choisissant une méthode pour les risques immédiats et une autre pour les moyennes à long terme.

Une nouvelle étude remet en question cette séparation, affirmant que les décisions du monde réel exigent souvent qu'un agent se soucie simultanément des conséquences immédiates, à moyen terme et à long terme. Les chercheurs, travaillant à travers des institutions en Belgique, au Brésil et en Australie, démontrent que le fait de se reposer sur une seule de ces méthodes traditionnelles peut conduire à des résultats dangereux ou inefficaces lorsque plusieurs échelles de temps sont impliquées. En simulant un scénario impliquant des travailleurs exposés à des substances toxiques, ils montrent qu'une stratégie conçue pour protéger contre l'exposition moyenne à long terme pourrait accidentellement sacrifier un travailleur face à un pic de danger à court terme, tandis qu'une stratégie axée sur la sécurité immédiate pourrait ignorer une crise sanitaire à développement lent. Leurs travaux suggèrent que pour construire une intelligence artificielle véritablement sûre et efficace, nous avons besoin de nouvelles façons de penser capables de l'équilibre entre ces différentes horloges simultanément.

Le cœur du problème réside dans la manière dont nous mesurons le « bonheur » ou l'« utilité » pour un agent. Dans de nombreux systèmes d'IA standards, la machine calcule la récompense moyenne qu'elle espère obtenir sur une longue période et tente de maximiser ce nombre. Cela fonctionne bien pour une usine qui traite des milliers de fichiers vidéo par jour ; si l'utilisation moyenne de l'énergie et la vitesse sont bonnes, le système est considéré comme performant, même si un fichier spécifique a pris trop de temps à être traité. Cependant, cette approche échoue lorsque le résultat négatif est catastrophique. Considérez un patient subissant un traitement médical. Ce patient ne vivra le traitement qu'une seule fois. Il ne se soucie pas du résultat moyen de milliers d'autres patients ; il se soucie de son propre résultat spécifique. Si le traitement présente un risque non linéaire — c'est-à-dire qu'une légère augmentation du dosage provoque un bond massif du danger — le calcul de la moyenne masque le risque réel. Le patient a besoin d'un système qui évalue le résultat spécifique de son propre voyage, et non la moyenne de nombreux voyages.

Il existe une troisième façon de percevoir le temps, qui se concentre sur l'étape suivante. Imaginez une voiture percutant un mur. Le danger de blessure dépend de manière non linéaire de la force de l'impact. Un choc violent est bien plus dangereux qu'un choc léger, et le risque ne s'additionne pas simplement au fil du temps ; cent chocs légers n'équivalent pas à un seul crash violent. Dans cette perspective, le système doit évaluer le risque de chaque instant au moment où il se produit, en appliquant une pénalité immédiatement si une combinaison dangereuse de facteurs survient. Depuis des décennies, les chercheurs traitent ces trois perspectives — les moyennes à long terme, les résultats d'un voyage unique et les risques immédiats étape par étape — comme des outils distincts pour des tâches distinctes. Les auteurs de ce nouvel article soutiennent que cette séparation est une faille. Ils proposent que de nombreux problèmes complexes nécessitent qu'un agent se soucie des trois échelles de temps à la fois.

Pour prouver ce point, les chercheurs ont créé une simulation simplifiée impliquant trois employés et trois tâches différentes, chacune ayant un niveau de toxicité différent. L'objectif était d'assigner ces travailleurs à des tâches sur une période d'un mois tout en les protégeant. La toxicité du travail n'était pas seulement un chiffre simple ; elle avait différents effets selon le moment où elle était mesurée. Il y avait un risque immédiat d'une dose élevée au cours d'une seule journée, un risque à moyen terme de l'exposition totale sur le mois, et un risque à long terme de dommages cumulatifs sur de nombreux mois. L'équipe a fait tourner la simulation en utilisant les trois méthodes traditionnelles séparément, puis a tenté de les combiner.

Lorsque le système se concentrait uniquement sur la moyenne à long terme, il trouvait une stratégie qui maintenait la sécurité de deux travailleurs expérimentés en les faisant pivoter constamment, mais il sacrifiait de fait le troisième travailleur, moins expérimenté, en l'assignant de manière répétée aux tâches les plus dangereuses. La logique était que le risque moyen pour le groupe était faible, donc le système ignorait le fait qu'une personne était surchargée. Lorsque le système se concentrait uniquement sur le résultat du voyage unique, il apprenait à faire pivoter les travailleurs fréquemment pour s'assurer que personne ne soit jamais confronté à une dose totale dangereusement élevée pour ce mois spécifique. Cela maintenait tout le monde relativement en sécurité, mais entraînait beaucoup de changements qui pourraient être inefficaces. Lorsque le système se concentrait uniquement sur le risque immédiat étape par étape, il évitait de changer les travailleurs, préférant les maintenir sur des tâches correspondant à leur niveau de compétence, ce qui était une approche sûre mais rigide.

Le résultat le plus révélateur est venu lorsque les chercheurs ont tenté d'optimiser les trois échelles de temps simultanément. Ils ont utilisé une méthode qui combinait les risques immédiats, mensuels et à long terme en un seul objectif. La stratégie résultante était un mélange des autres, mais elle a révélé une faille critique dans la tentative de balancer ces horloges concurrentes sans un nouveau cadre. Le système avait encore tendance à sacrifier le travailleur le moins expérimenté, lui assignant les tâches les plus difficiles pour protéger les autres des pics immédiats et de l'accumulation à long terme. La simulation a montré que le simple fait d'essayer de moyenner les différentes échelles de temps ne fonctionne pas ; la nature non linéaire des risques signifie que protéger une échelle de temps peut par inadvertance en mettre une autre en danger. Les chercheurs ont découvert que les politiques qui fonctionnaient bien pour une échelle de temps étaient souvent les pires choix lorsque toutes les échelles étaient considérées ensemble.

Cette découverte met en évidence une lacune importante dans la recherche actuelle sur l'intelligence artificielle. Bien que nous disposions d'outils puissants pour gérer les moyennes à long terme ou les risques immédiats, nous manquons d'une méthode complète pour les gérer ensemble. Les auteurs suggèrent que les futurs systèmes devront apprendre la distribution des résultats possibles, comprenant non seulement le résultat moyen, mais toute la gamme de ce qui pourrait arriver à travers différentes fenêtres temporelles. Ils reconnaissent que c'est un défi difficile, car modifier une politique pour améliorer la sécurité sur une échelle de temps peut l'aggraver sur une autre, créant un paysage complexe de compromis. Cependant, ils estiment que le développement de ces approches combinées est essentiel pour les applications du monde réel, de la gestion de la radiothérapie en médecine à l'optimisation du service client dans les entreprises, où la sécurité et la satisfaction des individus doivent être équilibrées avec l'efficacité de l'ensemble.

L'étude conclut que la façon dont nous enseignons actuellement aux machines à prendre des décisions est trop étroite. En traitant le temps comme une dimension unique ou en choisissant une perspective plutôt que les autres, nous risquons de créer des systèmes qui sont sûrs en théorie mais dangereux en pratique. La voie à suivre nécessite de nouveaux algorithmes capables de garder à l'esprit plusieurs échelles de temps à la fois, garantissant qu'un agent ne se contente pas de maximiser une moyenne ou d'éviter une seule mauvaise journée, mais comprenne véritablement tout le poids de ses actions à travers l'ensemble de son existence. Il ne s'agit pas seulement d'un ajustement technique, mais d'une évolution nécessaire pour garantir que l'intelligence artificielle puisse naviguer dans la réalité complexe et multicouche de la vie humaine.