From token probabilities to calibrated confidence: An empirical study of mathematical question answering
Cette étude empirique examine les méthodes de calibration de la confiance des grands modèles de langage pour la résolution de questions mathématiques, constatant que si les probabilités de jetons en un seul passage offrent un signal limité, l'agrégation de celles-ci et l'emploi de stratégies multi-passes telles que l'auto-vérification ou le Dropout de Monte Carlo, suivis de techniques de calibration post-hoc, peuvent améliorer significativement l'alignement entre la confiance estimée et la précision réelle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous jouiez à un jeu de quiz à enjeux élevés avec un ami robot super intelligent. Vous posez une question piège, et le robot vrombit une réponse. Mais voici le hic : le robot est si désireux de plaire qu'il semble souvent être sûr de lui à 100 %, même quand il se trompe complètement. Dans le monde de l'intelligence artificielle, c'est ce qu'on appelle l'« overconfidence » (le sur-engagement ou la surconfiance). Les scientifiques essaient d'apprendre à ces robots à dire : « Je suis assez sûr », ou « Je ne suis pas très sûr », afin que nous sachions quand leur faire confiance. C'est le défi de l'estimation de la confiance : déterminer la probabilité qu'une réponse du robot soit correcte. Pour ce faire, les chercheurs examinent les « murmures » internes du robot — de minuscules nombres appelés probabilités de tokens qui indiquent la probabilité que le robot choisisse le mot suivant dans une phrase. La grande question est la suivante : pouvons-nous transformer ces murmures bruyants en un « jauge de vérité » fiable qui nous dit exactement à quel point nous pouvons faire confiance au robot ?
Une équipe de chercheurs a décidé de mettre cette idée à l'épreuve, spécifiquement avec des problèmes mathématiques. Ils ont traité l'IA comme un élève passant un examen et ont demandé : « Si nous écoutons attentivement le processus de réflexion de l'élève, pouvons-nous savoir s'il a la bonne réponse avant même qu'il n'ait fini de l'écrire ? » Ils ont comparé deux principales façons d'écouter. La première était une écoute en « passage unique », où ils analysaient simplement le problème mathématique et la réponse finale donnée par le robot en une seule fois. La seconde était une écoute en « passages multiples », où ils demandaient au robot de revérifier son travail ou de faire passer le même problème par son cerveau plusieurs fois avec de légères variations pour voir s'il obtenait le même résultat.
Voici ce qu'ils ont découvert. Premièrement, ils ont constaté que si vous n'écoutez que les tout derniers mots de la réponse (le nombre final), le robot semble incroyablement confiant, même lorsqu'il se trompe. C'est comme un élève qui écrit « 42 » à la fin d'un examen alors qu'il y est arrivé par pur hasard. Cependant, si vous écoutez tout le cheminement du raisonnement — le calcul mathématique étape par étape effectué par le robot pour arriver là — vous pouvez déceler de minuscules différences constantes entre les bonnes et les mauvaises réponses. En faisant la moyenne de ces signaux minuscules à travers l'ensemble du processus de pensée, ils ont trouvé un moyen d'obtenir un bien meilleur « jauge de vérité » sans avoir besoin de demander au robot de faire un travail supplémentaire.
Les chercheurs ont également essayé des astuces sophistiquées pour obtenir de meilleurs signaux. Une astuce consistait à demander au robot : « Es-tu sûr que c'est juste ? » (une méthode appelée auto-vérification). Ils ont découvert que demander au robot de relire sa propre réponse depuis le tout début était précis mais très lent et coûteux, comme demander à un élève de réécrire tout son essai juste pour vérifier une seule ligne. Mais ils ont découvert un raccourci ingénieux : au lieu de tout réécrire, ils pouvaient simplement ajouter la question « Est-ce que c'est juste ? » à la toute fin de la réponse originale. Cette méthode « in-situ » était tout aussi précise mais économisait 88 % de l'effort informatique, ce qui représentait une victoire majeure en termes d'efficacité.
Une autre astuce impliquait des « passages stochastiques », où ils demandaient au robot de résoudre le même problème plusieurs fois avec un peu de hasard (comme lancer un dé) pour voir s'il changeait d'avis. Cette méthode, appelée MC Dropout, était efficace pour détecter l'incertitude, mais elle exigeait que le robot fasse le travail de nombreuses fois, ce qui est très lourd en termes de calcul. Les chercheurs ont constaté que, bien que cette méthode fonctionne, elle n'était souvent pas rentable par rapport à la méthode plus simple consistant à « écouter toute l'histoire ».
Enfin, ils ont testé une étape de « calibration », qui revient à apprendre au robot à ajuster son curseur de confiance. Ils ont utilisé deux outils mathématiques classiques (la mise à l'échelle de Platt et la régression isotone) pour ajuster les scores de confiance du robot afin qu'ils correspondent mieux à la réalité. Ils ont constaté que ces outils faisaient des merveilles, surtout lorsqu'ils disposaient d'un petit ensemble de problèmes d'entraînement (seulement 50 exemples) pour apprendre. Cependant, ils ont également remarqué qu'une calibration apprise sur des problèmes mathématiques faciles ne fonctionnait pas toujours bien sur des problèmes difficiles, et qu'une calibration apprise sur un type de robot ne se transférait pas toujours à un autre type de robot.
En résumé, l'article suggère que nous n'avons pas besoin de faire travailler le robot deux fois plus dur pour savoir s'il a raison. En payant simplement plus attention à l'ensemble du chemin de son raisonnement plutôt qu'à la seule réponse finale, et en utilisant une manière ingénieuse et peu coûteuse de lui demander de se revérifier, nous pouvons construire des jauges de confiance beaucoup plus dignes de confiance. Ces découvertes suggèrent qu'avec un réglage approprié, nous pouvons rendre les systèmes d'IA beaucoup plus honnêtes sur ce qu'ils savent et sur ce qu'ils ne savent pas.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.