Counterfactual Analysis via Large Language Models
Cet article démontre que des modèles GPT-3.5 faisant l'objet d'un ingénierie de prompt peuvent effectuer efficacement des analyses contrefactuelles dans le prêt en ligne pour prédire les retours sur investissement sous des scénarios de taux d'intérêt hypothétiques, atteignant une performance comparable à celle de la régression par gradient boosting tout en faisant preuve d'un raisonnement causal logique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous soyez un voyageur temporel doté d'une machine magique du « Et si ? ». Dans le monde de la science, cela s'appelle l'analyse contrefactuelle. C'est l'art de prédire ce qui se serait passé si vous aviez fait un choix différent hier. Est-ce que cet étudiant a échoué parce que la classe était trop grande, ou aurait-il réussi avec brio dans une salle plus petite ? Est-ce que cet e-mail a été ignoré parce que l'objet était ennuyeux, ou est-ce qu'un objet personnalisé aurait sauvé la mise ? Les scientifiques adorent ce genre de choses car cela nous aide à comprendre la cause et l'effet, et pas seulement à deviner. Habitement, pour répondre à ces questions, les chercheurs doivent mener des expériences coûteuses ou utiliser des modèles mathématiques complexes qui analysent les données passées pour deviner le futur. Mais récemment, un nouveau type de cerveau numérique est arrivé : le Grand Modèle de Langage (LLM). Considérez-les comme des robots super intelligents qui ont lu presque tout sur Internet. Ils sont excellents pour écrire des histoires et discuter, mais peuvent-ils aussi jouer le rôle d'un voyageur temporel pour comprendre les scénarios du « et si » ? C'est la grande question que pose cet article.
L'auteur de cette étude a décidé de tester ces cerveaux numériques dans le monde à enjeux élevés du prêt en ligne. Imaginez une banque qui prête de l'argent à des gens. Elle doit décider du taux d'intérêt à appliquer. Si elle facture trop cher, l'emprunteur pourrait être dépassé et arrêter de payer. Si elle facture trop peu, la banque perd de l'argent. La banque sait ce qui s'est passé avec le taux d'intérêt réel qu'elle a choisi, mais elle ne pourra jamais savoir avec certitude ce qui se serait passé si elle avait choisi un taux différent. Cette pièce manquante du puzzle est le « contrefactuel ». Les chercheurs voulaient voir si une IA, spécifiquement un modèle appelé GPT-3.5, pouvait examiner une demande de prêt et dire : « Si nous avions appliqué 10 % au lieu de 12 %, l'emprunteur nous aurait remboursés plus rapidement ».
Pour faire fonctionner cela, l'équipe n'a pas simplement posé une question simple à l'IA. Ils ont réalisé que parler à un robot ressemble beaucoup à parler à un humain ; il faut poser la question de la bonne manière. Ils ont utilisé une technique appelée ingénierie de prompt (prompt engineering), qui est essentiellement l'art de donner les instructions parfaites à l'IA. Ils ont essayé de demander à l'IA de prétendre être l'emprunteur, puis ils ont essayé de lui demander de prétendre être un expert en crédit. Ils ont même fait simuler à l'IA un panel de quatre experts se disputant entre eux pour parvenir à un consensus, une méthode appelée arbre de pensée (tree-of-thought). Ils ont également laissé l'IA jeter un coup d'œil aux prédictions faites par les algorithmes informatiques traditionnels pour voir si elle pouvait s'améliorer.
Les résultats étaient étonnamment prometteurs. Lorsque les chercheurs ont d'abord demandé à l'IA de deviner les résultats des prêts sans instructions particulières, elle était plutôt mauvaise, ne trouvant l'exactitude mathématique que dans environ 2 % des cas. Mais une fois qu'ils ont utilisé l'astuce du « panel d'experts » et lui ont donné le bon contexte, ses performances ont bondi à près de 3 %. Bien que cela puisse paraître faible, c'est en réalité un exploit majeur dans ce domaine, amenant l'IA presque aussi proche de la précision des meilleurs modèles mathématiques traditionnels. Plus important encore, l'IA n'a pas seulement recraché un chiffre ; elle a expliqué son raisonnement. Elle a examiné l'historique d'un emprunteur, a pris en compte le taux d'intérêt et a argumenté logiquement pourquoi un taux plus bas pourrait l'aider à rembourser son prêt plus rapidement.
L'étude suggère que ces grands modèles de langage ne sont pas seulement des chatbots ; ils deviennent des outils capables de résoudre des scénarios de « et si ». L'IA a montré qu'elle pouvait repérer quand un modèle informatique traditionnel est trop optimiste et ajuster sa prédiction en fonction de sa propre « connaissance » du comportement humain. Par exemple, quand le modèle traditionnel prédisait qu'un emprunteur rembourserait un prêt en 8 mois avec un taux plus bas, l'IA a pensé : « Cela semble trop rapide compte tenu de son historique de crédit », et a ajusté la prédiction à 22 mois. Cela montre que l'IA fait plus que simplement copier les mathématiques ; elle réfléchit réellement à la logique.
Cependant, l'auteur prend garde à ne pas présenter cela comme une solution parfaite. Il note que bien que l'IA s'améliore, elle est toujours testée dans un environnement simulé. Ils ont constaté que les prédictions de l'IA étaient logiquement cohérentes avec les règles du monde réel (comme le fait que si vous baissez le taux d'intérêt, les gens sont moins susceptibles de faire défaut), mais ils n'ont pas prétendu que l'IA avait entièrement résolu le mystère du comportement humain. Au lieu de cela, ils suggèrent que ces modèles sont un nouvel outil puissant qui peut aider les prêteurs et les scientifiques à prendre de meilleures décisions en simulant différents futurs. C'est comme avoir un consultant très intelligent et très cultivé qui peut vous aider à visualiser les conséquences de vos choix avant même que vous ne les fassiez.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.