CleanScore: Black-Box Benchmark Audits with Negative Controls and Sensitivity Bounds

Dans la course à la construction de machines plus intelligentes, les chercheurs s'appuient sur des tests standards pour mesurer la capacité d'une intelligence artificielle à résoudre des problèmes. Ces tests sont comme des examens scolaires : un ensemble de questions avec des réponses connues qu'un modèle doit résoudre pour obtenir un score. Plus le score est élevé, plus la machine est considérée comme capable. Cependant, une ombre plane sur ces résultats. Parce que ces tests sont publiés en ligne, les questions et les réponses sont souvent disponibles sur Internet, là où les machines apprennent. Une crainte croissante suggère que des scores élevés ne prouvent pas toujours qu'une machine est intelligente ; ils pourraient simplement prouver qu'elle a mémorisé les questions du test. Si une machine a déjà vu les questions exactes, son score est gonflé, et le classement de différents modèles devient un concours de mémoire plutôt que de raisonnement.

Cela crée un problème difficile pour quiconque tente de juger ces machines de manière équitable. La plupart des modèles puissants sont des « boîtes noires », ce qui signifie que leurs données d'entraînement internes sont secrètes. Un auditeur ne peut pas simplement regarder à l'intérieur de la machine pour voir si elle a mémorisé une question spécifique. Il ne peut voir que le score final. Pendant des années, la meilleure façon de vérifier la mémorisation consistait à réécrire les questions. Si une machine comprend véritablement les mathématiques ou les sciences derrière un problème, elle devrait résoudre une version reformulée aussi bien que la version originale. Si elle échoue à la version reformulée, c'est qu'elle a probablement simplement mémorisé l'originale. Mais cette méthode présente une faille cachée : elle suppose que si une machine réussit la question reformulée, c'est qu'elle a appris le concept. Si la machine réussit la question reformulée simplement parce qu'elle a mémorisé la clé de correction, le test ne parvient pas à détecter la mémorisation.

Une équipe de chercheurs s'est donné pour mission de construire une meilleure façon d'auditer ces scores sans avoir besoin de voir l'intérieur de la boîte noire. Ils ont développé une méthode appelée CleanScore, qui traite chaque question de test comme un parent ayant trois enfants : la question publique originale, et deux versions fraîches, rédigées en privé, qui conservent les mêmes chiffres et faits mais utilisent des mots différents. Les chercheurs ont demandé à cinq modèles open-source différents de résoudre 200 questions issues de deux benchmarks majeurs, l'un axé sur les mathématiques et l'autre sur les sciences. Pour chaque question, ils ont comparé la performance des modèles sur la version publique originale par rapport aux deux versions fraîches. Si les modèles obtenaient systématiquement de meilleurs scores sur la version publique, cela suggérerait qu'ils avaient mémorisé le test.

L'audit n'a trouvé aucune preuve de ce type de mémorisation. Pour les cinq modèles et les deux benchmarks, les scores sur les questions publiques n'étaient pas significativement plus élevés que les scores sur les questions fraîches et réécrites. Les chercheurs ont calculé que tout avantage tiré de la lecture de la formulation publique était probablement inférieur à cinq points de pourcentage. Ce résultat s'est maintenu même après que l'équipe a corrigé une erreur technique dans leur configuration initiale, où certains modèles étaient interrompus avant d'avoir terminé leurs réponses. L'étude comprenait également un « contrôle négatif », un ensemble de questions que les modèles n'avaient jamais vues et qu'ils ne pouvaient pas avoir mémorisées, afin de s'assurer que le processus de réécriture ne rendait pas les questions plus difficiles ou plus faciles. Les résultats ont montré que le processus de réécriture était équitable, et que l'absence d'écart de score était un résultat réel, et non un artefact de la conception du test.

Cependant, la partie la plus frappante de l'étude est venue d'une série d'expériences conçues pour voir ce que l'audit ignorerait. Les chercheurs ont délibérément entraîné quatre modèles différents sur la formulation exacte de 100 des questions de test. Ils ont ensuite lancé le même audit pour voir si cela détecterait la mémorisation. Sur le benchmark mathématique, les modèles ayant mémorisé les questions ont amélioré leur précision de 26 points sur la formulation mémorisée. Mais lorsqu'ils ont été testés sur les versions fraîches et réécrites de ces mêmes questions, ils se sont également améliorés de 20 points. L'audit, qui ne regarde que la différence entre l'original et la réécriture, n'a détecté qu'un écart d'environ six points. En d'autres termes, l'audit n'a détecté qu'une petite fraction de la mémorisation. La vaste majorité de l'avantage — la partie provenant de la compréhension du problème plutôt que de la simple mémorisation des mots — était invisible pour le test.

Cet aveuglement était encore plus extrême sur le benchmark scientifique. Dans une expérience, les chercheurs ont entraîné un modèle sur 100 questions de sciences, puis ont testé les versions réécrites. Le modèle a amélioré sa précision de 49 points sur les questions mémorisées. Mais comme les versions réécrites conservaient exactement les mêmes options de réponse multiples, le modèle a obtenu un score parfait sur les versions réécrites, simplement en reconnaissant la chaîne de caractères de la bonne réponse qu'il avait mémorisée. L'audit a calculé un écart de moins deux points, ne voyant pratiquement aucune mémorisation. Le modèle avait appris les réponses, mais la conception du test, qui maintenait les options de réponse fixes, a permis à ce savoir de se cacher à la vue de tous.

Les chercheurs ont conclu que, bien que leur méthode ait réussi à mesurer si un modèle s'appuyait sur la formulation de surface spécifique d'une question, elle ne pouvait pas mesurer la quantité totale de contamination. Un modèle pourrait être lourdement entraîné sur un jeu de données et pourtant paraître « propre » si les questions du test sont réécrites de manière à préserver le cœur de la réponse. L'étude a montré que pour les cinq modèles audités, il n'y avait aucune preuve forte qu'ils avaient mémorisé la formulation spécifique des questions de test. Mais elle a aussi prouvé qu'un score « propre » ne garantit pas qu'un modèle n'a pas déjà vu le matériel auparavant ; il garantit seulement que le modèle n'a pas dépendu de la formulation exacte. L'audit a réussi à limiter l'inflation de surface, mais il n'a pas pu exclure que les modèles aient appris le matériel d'une manière qui survit à la réécriture.

L'étude a également souligné les limites de la taille d'un audit. Les chercheurs ont découvert que pour détecter de manière fiable un avantage significatif, un audit doit tester au moins 200 questions. Avec moins de questions, l'incertitude statistique est si grande que le test ne peut distinguer un véritable avantage d'un bruit aléatoire. Ils ont également montré que, bien qu'il soit possible de classer correctement les modèles avec moins de questions, déterminer l'ordre exact de performance nécessite un échantillon beaucoup plus large. Ce travail sert d'expérience rigoureuse et enregistrée qui établit une nouvelle norme pour parler de l'incertitude dans les tests d'IA. Il ne déclare pas les modèles innocents de toute mémorisation, mais il fournit une déclaration claire et honnête sur ce que les données peuvent et ne peuvent pas montrer lorsque seuls les scores finaux sont disponibles.