Imaginez un ordinateur capable de regarder une image et de répondre à une question à son sujet, ou de lire un problème mathématique écrit en mots et de le résoudre. Ces systèmes, connus sous le nom de modèles de vision-langage, deviennent de plus en plus capables, mais ils commettent encore des erreurs. Parfois, ils se trompent parce qu'ils ne réfléchissent pas assez attentivement ; d'autres fois, ils affirment avec assurance des choses qui sont simplement fausses, un problème appelé hallucination. Pour apprendre à ces modèles à mieux réfléchir, les chercheurs utilisent une méthode appelée apprentissage par renforcement. Dans ce processus, le modèle est invité à générer de nombreuses tentatives différentes pour résoudre un seul problème. Si certaines tentatives sont correctes et d'autres fausses, le modèle apprend à privilégier la voie fructueuse. Cependant, pour que cet apprentissage fonctionne, les différentes tentatives doivent être réellement distinctes les unes des autres. Si le modèle ne fait que répéter le même processus de pensée encore et encore, il n'apprend rien de nouveau.

Le défi a été de forcer le modèle à explorer différentes manières de réfléchir. Traditionnellement, les chercheurs ont essayé de bousculer les choses en modifiant la température du processus de prise de décision de l'ordinateur ou en distordant légèrement l'image d'entrée, comme en ajoutant du grain à une photographie. Une nouvelle étude menée par des chercheurs d'Amazon Web Services suggère que ces changements externes pourraient ne pas être le moyen le plus efficace de diversifier la pensée du modèle. Au lieu de cela, ils proposent que la variation se produise à l'intérieur de la représentation interne du problème par le modèle lui-même, juste au moment où il commence à traiter la question. En injectant une petite quantité contrôlée de bruit aléatoire dans l'état mental caché du modèle avant qu'il ne commence à générer une réponse, ils ont découvert qu'ils pouvaient créer un penseur plus robuste et plus précis.

Les chercheurs ont développé une technique qu'ils appellent l'Optimisation de Politique Relative de Groupe par Contraste de Bruit (Noise-Contrastive Group Relative Policy Optimization). Pour comprendre comment elle fonctionne, imaginez un groupe d'étudiants essayant tous de résoudre le même problème de géométrie. Dans une session d'entraînement standard, chaque étudiant pourrait le résoudre légèrement différemment par simple hasard, mais ils partent tous exactement de la même compréhension du problème. Dans cette nouvelle approche, la moitié des étudiants reçoit un point de départ légèrement différent. Les chercheurs prennent l'état interne du modèle — la façon dont il a encodé le problème dans son « esprit » — et ajoutent un petit choc aléatoire à l'état de la moitié du groupe. Ce choc n'est pas un changement apporté à l'image elle-même, ni un changement apporté aux mots sur la page. C'est un subtil décalage de la perspective interne du modèle, comme si l'on demandait à un étudiant de regarder le problème sous un angle légèrement différent avant de commencer à écrire.

Le modèle génère ensuite des réponses à partir de ces deux groupes : un groupe partant de la compréhension normale et propre, et l'autre partant de cette compréhension bruitée et légèrement déplacée. L'idée clé réside dans la façon dont le modèle apprend des résultats. Si le groupe ayant le point de départ bruité parvient malgré tout à trouver la bonne réponse, malgré la confusion introduite au début, le modèle est récompensé. Si le bruit fait sortir le modèle de sa trajectoire et le mène à l'échec, ce chemin est pénalisé. Au fil du temps, le modèle apprend à trouver des solutions si solides qu'elles fonctionnent même lorsque le point de départ est légèrement instable. Il n'apprend pas seulement la réponse ; il apprend à être robuste face à de petites perturbations dans son propre processus de pensée.

Les résultats de cette expérience ont été frappants. Les chercheurs ont testé leur méthode sur un grand modèle de vision-langage entraîné sur des problèmes de géométrie. Lorsqu'ils ont comparé cette nouvelle méthode à l'approche standard et à l'ancienne technique de distorsion de l'image d'entrée, la nouvelle méthode a produit des résultats nettement meilleurs sur des problèmes mathématiques difficiles et inédits. Le modèle est devenu meilleur pour résoudre des problèmes qu'il n'avait jamais vus auparavant, une capacité connue sous le nom de raisonnement hors domaine (out-of-domain reasoning). Peut-être plus surprenant encore, il est également devenu meilleur pour éviter les hallucinations. Alors que l'ancienne méthode de distorsion des images aidait le modèle à voir les détails visuels plus clairement, elle le rendait parfois moins apte à s'en tenir aux faits. La nouvelle méthode, en revanche, a amélioré à la fois le raisonnement et l'honnêteté du modèle simultanément.

L'étude a également exploré ce qui fait précisément fonctionner cette technique. Les chercheurs ont testé si le bénéfice provenait de la direction spécifique du bruit ou simplement du fait que le bruit était aléatoire. Ils ont découvert que la direction n'importait pas. Que le bruit pousse la pensée du modèle dans une direction ou une autre, le facteur critique était simplement que chaque tentative partait d'un point de vue unique et indépendant. Ils ont également découvert que la taille du bruit agit comme un cadran de réglage. Un faible amount de bruit améliore le raisonnement du modèle sans nuire à ses capacités générales, mais trop de bruit commence à dégrader ses performances globales. Cela suggère qu'il existe un point d'équilibre où le modèle devient un meilleur spécialiste du raisonnement sans perdre ses connaissances générales.

L'une des découvertes les plus importantes est que cette méthode fonctionne en modifiant l'état interne du modèle, et non en altérant l'image ou le texte. Cela signifie que la technique pourrait potentiellement être appliquée à tout type de modèle traitant de l'information, pas seulement ceux qui regardent des images. Les chercheurs ont montré que la méthode est efficace, ne nécessitant qu'un changement mineur au logiciel qui fait fonctionner le modèle, et qu'elle ne ralentit pas le processus de génération de réponses. En se concentrant sur le moment où le modèle commence à réfléchir, plutôt que sur les données qu'il reçoit, ils ont trouvé un moyen de rendre le raisonnement du modèle plus fiable et moins sujet à l'erreur.

L'étude a également examiné si cette approche fonctionne pour des modèles de différentes tailles. Lorsqu'ils ont appliqué la même technique à une version plus petite du modèle, les bénéfices ont disparu. Le modèle plus petit ne s'est pas amélioré en matière de raisonnement, il ne s'est pas dégradé non plus ; il n'a simplement pas changé. Cela suggère que la technique nécessite un certain niveau de complexité dans le modèle pour être efficace. Ce n'est pas un tour de magie qui fonctionne sur n'importe quel ordinateur, mais un outil spécifique qui aide les systèmes plus larges et plus capables à affiner leur pensée. Les chercheurs précisent avec prudence que, bien que les résultats soient prometteurs, ils n'ont testé cela que sur une seule famille de modèles pour l'instant, et que d'autres travaux sont nécessaires pour voir si cela fonctionne pour d'autres.

En fin de compte, cette recherche offre une nouvelle façon de concevoir l'entraînement de l'intelligence artificielle. Au lieu d'essayer de rendre les données d'entrée plus variées ou le processus de prise de décision plus chaotique, les chercheurs ont découvert qu'une perturbation interne précise pouvait mener à un résultat plus stable et plus intelligent. En apprenant au modèle à réussir même lorsque son point de départ est légèrement décalé, ils ont créé un système moins susceptible d'être trompé par ses propres incertitudes. Cette approche ne rend pas seulement le modèle plus intelligent en mathématiques ; elle rend le modèle plus digne de confiance, capable de distinguer une réponse solide d'une supposition confiante. À mesure que ces systèmes s'intègrent dans notre vie quotidienne, trouver des moyens de les rendre plus robustes et moins sujets à l'erreur est essentiel, et cette étude offre une voie claire pour atteindre cet objectif.