Imaginez que vous dirigiez un immense concours de talents, mais au lieu d'un seul juge, vous avez un panel de milliers de personnes. Dans le monde de l'apprentissage automatique, ces « juges » sont souvent des tâches ou des tests différents utilisés pour voir à quel point une IA est intelligente. Le problème, c'est : et si quelqu'un faisait entrer en douce cent juges qui sont des jumeaux identiques ? Ou si on apportait mille juges qui se ressemblent et agissent à 99 % de la même manière ? Si vous comptez simplement chaque vote de juge de manière égale, les jumeaux étoufferaient les voix uniques, faussant le score final et faisant paraître le vainqueur meilleur (ou pire) qu'il ne l'est réellement. C'est le problème du « biais de redondance ». Les scientifiques du domaine de l'intelligence artificielle et de la théorie du choix social s'inquiètent depuis longtemps de la manière de pondérer ces juges équitablement lorsqu'ils ne sont pas tous uniques. Ils savent que si vous avez un groupe d'éléments très similaires, ils ne devraient pas avoir le même pouvoir total qu'un groupe d'éléments complètement différents ; ils doivent partager le devant de la scène.

Ce document, écrit par Damien Berriaud et Roger Wattenhofer, s'attaque à la question de la manière d'attribuer des « poids » équitables à ces éléments dans un espace mathématique où la distance signifie « similitude ». Considérez cela comme un moyen de garantir que si vous ajoutez un clone d'une tâche à votre benchmark, le système ne soit pas confus ou injustement biaisé. Les auteurs proposent un nouvel ensemble de règles, ou « axiomes », que tout bon système de pondération devrait suivre. Ils suggèrent une méthode appelée « vote local », où chaque point de l'espace exprime un vote pour ses voisins, et le poids final est un calcul de la « puissance de vote » que chaque élément accumule. Ils prouvent que cette méthode fonctionne mathématiquement pour les espaces géométriques standards (comme l'espace 3D dans lequel nous vivons) et fournissent un moyen de calculer ces poids par échantillonnage aléatoire, même si faire le calcul exact serait incroyablement lent.

La pilule rouge, la pilule bleue et la pilule indigo

Commençons par une scène d'un film que vous connaissez peut-être. Neo se voit offrir un choix : une pilule bleue pour se réveiller dans sa vie normale, ou une pilole rouge pour voir la vérité. Mais imaginez une troisième option : une pilule indigo qui le réveille dans le même monde magique, mais avec cent dollars dans sa poche. Ensuite, Morpheus lui propose une pilule bleu marine avec une couleur de cheveux différente, une pilule bordeaux, une pilule cyan et une pilule verte. Pourquoi proposer tant de nuances de bleu ? Parce que si vous comptez simplement les pilules, la catégorie « bleue » semble soudainement beaucoup plus importante que la catégorie « rouge », même si elles sont toutes des variations de la même idée.

C'est exactement le problème que les auteurs résolvent. Dans le monde des benchmarks d'IA (qui sont comme des bulletins de notes pour les programmes informatiques), les chercheurs combinent souvent les scores de nombreuses tâches différentes. Si un benchmark inclut une tâche appelée « CoLA » et ajoute ensuite dix versions légèrement différentes de « CoLA », une moyenne simple ferait que ces dix versions comptent pour 90 % du score. C'est injuste. C'est comme si un système de vote comptait chaque fois qu'une personne changeait de chemise comme un nouveau vote. Les auteurs veulent construire un système qui dise : « Hé, ces dix versions sont fondamentalement la même personne ; partageons le poids entre elles pour qu'elles ne dominent pas l'élection. »

Les règles du jeu

Pour corriger cela, les auteurs ont mis en place un terrain de jeu avec des règles strictes, qu'ils appellent des « axiomes ». Considérez-les comme les lois de la physique pour leur nouveau système de pondération.

1. Positivité : Tout le monde a sa chance. Aucune tâche ne reçoit jamais un poids de zéro. Même les plus étranges, les plus isolées, reçoivent un tout petit peu d'attention.
2. Symétrie : Si deux tâches sont des images miroirs parfaites l'une de l'autre (indistinguables selon les règles du jeu), elles doivent recevoir exactement le même poids.
3. Équité des clones : C'est le point crucial. Si vous avez deux tâches qui sont presque identiques (comme les pilules indigo et marine), elles devraient recevoir presque le même poids. On ne peut pas tromper le système en ajoutant un « quasi-clone » pour voler tout le pouvoir de l'original.
4. Continuité : Si vous modifiez légèrement une tâche (comme changer légèrement une question de test), son poids ne doit pas faire de bonds brusques. Le système doit être fluide, pas saccadé.
5. Stabilité locale : Si vous ajoutez un nouveau clone au groupe, il ne doit perturber que les poids des choses qui se trouvent juste à côté de lui. Il ne doit pas provoquer une réaction en chaîne qui change le poids d'une tâche située à l'autre bout de la pièce.

La solution du « Vote Local »

Alors, comment calcule-t-on réellement ces poids ? Les auteurs proposent une idée ingénieuse appelée Vote Local.

Imaginez que vous déposiez un tas de cailloux (vos tâches) sur un vaste champ plat. Maintenant, imaginez que chaque caillou possède une « sphère d'influence » autour de lui — une bulle d'une certaine taille. Si vous vous tenez n'importe où à l'intérieur de cette bulle, vous êtes un « électeur » pour ce caillou.

Voici le tournant : si vous vous trouvez dans un endroit où les bulles de trois cailloux différents se chevauchent, vous êtes un électeur pour les trois. Mais vous n'avez qu'un seul vote à donner. Vous divisez donc votre vote équitablement entre eux. Si vous êtes dans une bulle où un seul caillou existe, vous donnez votre vote complet à ce caillou.

Le poids final d'un caillou est le montant total de la « puissance de vote » qu'il collecte auprès de tous les électeurs de son voisinage. Si un caillou est entouré de nombreux clones, sa bulle est encombrée. Les électeurs dans cette zone encombrée doivent diviser leurs votes entre de nombreux cailloux similaires, de sorte que chacun reçoive une part plus petite du gâteau. Si un caillou est unique et isolé, il reçoit tous les votes de sa zone.

Les auteurs ont prouvé mathématiquement que cette méthode de « Vote Local » respecte tous leurs axiomes. Elle traite les clones équitablement, elle est fluide lorsque les choses changent légèrement, et elle ne permet pas à un groupe de clones de détourner tout le système.

Le problème mathématique : c'est difficile, mais nous avons une astuce

Il y a un bémol. Calculer le poids exact en utilisant cette méthode est incroyablement difficile. Imaginez essayer de compter chaque point dans un espace 3D où trois bulles se chevauchent. Dans des dimensions plus élevées (ce que l'IA utilise souvent), le nombre de régions de chevauchement explose. C'est comme essayer de compter chaque grain de sable sur une plage pendant que la marée monte. Les auteurs admettent que trouver la réponse exacte est probablement impossible à réaliser rapidement pour des problèmes de grande ampleur.

Mais ne vous inquiétez pas ! Ils ne nous ont pas simplement laissé avec un problème de mathématiques en partant. Ils ont trouvé une méthode « Monte Carlo ». C'est une façon élégante de dire « deviner par échantillonnage ». Au lieu de compter chaque électeur, vous fermez les yeux et choisissez quelques points aléatoires dans les bulles. Vous comptez pour combien de cailloux chaque point aléatoire vote, et vous faites cela des milliers de fois. En faisant la moyenne de ces estimations aléatoires, vous obtenez une très bonne estimation du poids réel.

L'article montre que cette méthode d'échantillonnage est suffisamment rapide pour être utile. Ils ont même précisé le nombre exact d'échantillons nécessaires pour obtenir un niveau de précision spécifique. Par exemple, si vous voulez être sûr à 99 % que votre réponse est dans une marge d'erreur infime, il vous suffit de lancer la simulation un nombre spécifique de fois.

Ce que cela signifie pour l'avenir

Les auteurs veillent à ne pas prétendre avoir résolu tous les problèmes de l'univers. Ils notent spécifiquement que leur méthode fonctionne parfaitement pour les « espaces euclidiens » (le type de géométrie que nous apprenons à l'école, où les lignes sont droites et les cercles sont ronds). Ils soulignent que si vous changez les règles de la géométrie (comme utiliser une autre façon de mesurer la distance), leur astuce spécifique de « Vote Local » pourrait briser la symétrie. Ils suggèrent que pour ces espaces étranges et non standard, nous pourrions avoir besoin d'idées entièrement nouvelles qui ne dépendent pas de la forme de l'espace.

Ils reconnaissent également que, bien que leur méthode soit théoriquement solide, le calcul « exact » est trop lent pour une utilisation dans le monde réel, c'est pourquoi leur astuce d'échantillonnage est si importante. Ils n'ont pas encore construit de produit commercial, mais ils ont fourni le plan mathématique et un prototype fonctionnel de la manière de le faire.

En bref, ce document nous offre une nouvelle façon équitable de pondérer nos tests d'IA. Cela empêche l'« armée de clones » de prendre le contrôle du tableau des scores et garantit que chaque idée unique reçoit le crédit qu'elle mérite, tandis que les idées similaires partagent la charge. C'est un pas vers la certitude que lorsque nous disons qu'une IA est « intelligente », nous voulons dire qu'elle est réellement intelligente, et non qu'elle est simplement capable de répondre mille fois à la même question.