Reading Why: Born-Measured Attention with Exact Word Evidence on Light and Qubits

Lorsqu'un programme informatique lit une phrase et décide de ce qu'elle signifie, nous devons souvent deviner pourquoi il a fait ce choix. Nous pouvons examiner les nombres que le programme utilise pour pondérer différents mots, mais ces nombres ne sont que des estimations ; ils ne nous disent pas exactement quels mots ont provoqué la réponse finale. C'est un problème pour l'intelligence artificielle, surtout lorsque nous avons besoin de faire confiance à la décision d'une machine. Les scientifiques essaient depuis longtemps de construire des modèles qui ne sont pas seulement précis, mais aussi transparents, afin que nous puissions voir le chemin exact allant des mots sur l'écran à la conclusion que la machine atteint. Le défi est que le type de modèle de langage le plus courant repose sur un tour de passe-passe mathématique pour lisser ses choix, un tour qui rend très difficile la traçabilité de l'influence de n'importe quel mot unique. Si nous voulons savoir pourquoi une machine pense qu'une histoire est vraie ou fausse, nous avons besoin d'un moyen de mesurer la contribution de chaque mot sans perdre le fil dans un nuage d'approximations.

Une équipe de chercheurs a construit un nouveau type de modèle de langage qui résout ce problème en changeant la façon dont la machine réfléchit. Au lieu d'utiliser les tours mathématiques standards qui cachent le raisonnement, ils ont construit un système où chaque étape du processus de pensée est une mesure directe de lumière ou de particules quantiques. Dans cette nouvelle conception, la machine ne devine pas l'importance d'un mot ; elle la mesure. Les chercheurs ont remplacé les étapes de lissage habituelles par une règle physique qui élève au carré la force d'un signal, une règle connue en physique depuis un siècle. En faisant cela, ils ont créé un modèle où la réponse finale est une somme précise des contributions de chaque mot. Lorsqu'ils ont testé ce système sur une tâche demandant si une phrase découle d'une autre, la machine a obtenu des performances aussi bonnes que les meilleurs modèles standards, mais avec une différence cruciale : elle pouvait dire exactement quels mots ont décidé du résultat, et ces explications s'additionnaient parfaitement au score final.

Les chercheurs ont testé leur création sur un ensemble de données de près de dix mille paires de phrases, où des annotateurs humains avaient déjà mis en évidence les mots spécifiques qui faisaient la différence entre une phrase vraie, fausse ou sans rapport. Ils ont comparé leur nouveau modèle à un modèle standard qui utilise les tours de lissage habituels. Les deux modèles ont obtenu la bonne réponse environ 77 pour cent du temps, montrant que le nouveau design n'a pas sacrifié la précision pour la clarté. Cependant, lorsque les chercheurs ont demandé aux modèles de s'expliquer, la différence était frappante. Dans le modèle standard, les mots qu'il affirmait être les plus importants ne changeaient pas toujours la réponse lorsqu'ils étaient retirés. Dans le nouveau modèle, retirer le mot que le système disait être le plus important changeait la réponse dans 45 pour cent des cas, un signe bien plus fort que l'explication guidait réellement la décision. De plus, les mots que le nouveau modèle désignait correspondaient plus étroitement aux mots que les humains avaient mis en évidence que le modèle standard.

Ce qui rend ce travail unique, c'est que l'explication n'est pas un ajout ultérieur ; elle est intégrée dans la structure même de la machine. Les chercheurs ont conçu le modèle de sorte que les mathématiques décrivant la réponse soient un simple polynôme, un type d'équation où les variables sont les signaux des mots. Grâce à cela, ils peuvent calculer la contribution exacte de chaque mot en additionnant de petites parties du calcul, un processus qui ne laisse aucune place à l'erreur. Ils ont vérifié cela en faisant fonctionner le modèle sur un ordinateur quantique, une machine qui utilise les propriétés étranges des particules subatomiques pour traiter l'information. Ils n'ont pas fait fonctionner tout le modèle sur l'ordinateur quantique, ce qui aurait été trop difficile avec la technologie actuelle, mais ils ont fait fonctionner les parties qui mesurent comment les mots sont liés entre eux. L'ordinateur quantique a donné les mêmes réponses que le modèle mathématique parfait, et lorsqu'ils ont retiré un mot clé, la machine quantique a changé d'avis exactement comme le modèle parfait l'avait fait. Cela a prouvé que la conception fonctionne non seulement en théorie, mais aussi sur du matériel réel.

Les chercheurs ont également montré que ce même ensemble de nombres pourrait être utilisé pour construire une machine fonctionnant avec la lumière. Ils ont projeté les poids du modèle sur une conception qui pourrait être construite avec des miroirs et des lasers, où les mots sont représentés par des faisceaux de lumière et les relations entre eux sont mesurées par la façon dont les ondes lumineuses interfèrent entre elles. Bien qu'ils aient simulé cette version optique sur un ordinateur, les mathématiques montraient qu'elle fonctionnerait exactement de la même manière que la version quantique. Cette double possibilité suggère que le modèle n'est pas lié à un type spécifique de matériel ; c'est un design qui peut fonctionner sur la lumière, sur des particules quantiques ou sur des ordinateurs classiques, en conservant toujours la même explication claire et exacte pour ses réponses.

L'une des découvertes les plus frappantes fut que la manière standard d'observer ces modèles, en vérifiant à quels mots la machine prêtait le plus d'attention, était trompeuse. Dans le nouveau modèle, les mots qui recevaient le plus d'attention ne rendaient pas toujours compte de la réponse aussi bien que les mots que le modèle identifiait comme preuves. En fait, retirer le mot ayant le score d'attention le plus élevé changeait la réponse moins souvent que le retrait du mot ayant le score de preuve le plus élevé. Cela suggère que les poids d'attention, souvent utilisés pour expliquer le fonctionnement d'un modèle, peuvent ressembler au raisonnement humain mais échouer à réellement piloter la décision. La preuve du nouveau modèle, en revanche, était un compte rendu exact de la réponse.

Ce travail ne prétend pas avoir résolu tous les problèmes de l'intelligence artificielle, et les chercheurs sont prudents quant aux limites de leurs expériences actuelles. Les tests sur l'ordinateur quantique ont été effectués sur seulement deux phrases courtes, et la version optique n'a été que simulée, pas construite. Le système nécessite également beaucoup de mesures pour fonctionner sur un ordinateur quantique, ce qui est actuellement lent et coûteux. Cependant, l'étude prouve qu'il est possible de construire un modèle de langage qui soit à la fois précis et parfaitement explicable. En remplaçant les tours mathématiques cachés par des mesures physiques directes, les chercheurs ont créé une machine qui ne se contente pas de donner une réponse, mais qui montre son raisonnement d'une manière exacte, vérifiable et compréhensible. Cela ouvre une voie vers une intelligence artificielle en laquelle nous pouvons avoir confiance, non pas parce qu'elle est une boîte noire qui fonctionne, mais parce que nous pouvons voir exactement comment elle fonctionne.