Floor, Ceiling, and the Fusion Gap: How Much of Crowd Reading Attention Can Machines Predict?

Imaginez que vous essayez d'apprendre à un robot à lire un livre comme le ferait un humain. Vous voulez que le robot sache quelles phrases sont les « bons passages » afin qu'il puisse les surligner pour vous. C'est un défi immense dans le monde de l'Intelligence Artificielle, plus précisément dans un domaine appelé « Recherche d'Information » ou « Traitement du Langage Naturel ». La grande question n'est pas seulement « Le robot peut-il deviner ? », mais « Jusqu'où peut-il réellement aller ? ».

Pour répondre à cela, les scientifiques ont besoin de deux choses : un Plancher et un Plafond. Le Plancher est la supposition la plus mauvaise, la plus stupide que vous puissiez faire — comme simplement surligner les premières phrases d'une page parce que c'est là que les gens commencent généralement leur lecture. Le Plafond est la limite théorique de la perfection. Il représente le meilleur score que l'on pourrait jamais obtenir, même avec des pouvoirs magiques, car les lecteurs humains ne sont pas toujours d'accord sur ce qui est « bon ». Si un robot obtient un score de 100, mais que les humains ne sont d'accord entre eux que 80 % du temps, le robot ne peut pas être parfait ; le plafond est inférieur à 100.

Ce document est une enquête de détective visant à trouver ce Plancher et ce Plafond pour une tâche spécifique : prédire quelles phrases une foule de gens ordinaires vont surligner dans des articles web. Les chercheurs voulaient savoir : Nos modèles d'IA les plus intelligents sont-ils proches de la perfection humaine, ou tâtonnent-ils encore dans l'obscurité ? Et s'ils n'y sont pas encore, quel est le moyen le plus simple et le moins coûteux pour les en rapprocher ?

Le Grand Casse du Surlignage

Les chercheurs ont mis en place une expérience massive utilisant 120 véritables articles web. Ils ont observé comment une « foule » de lecteurs non rémunérés et non formés surlignait des phrases pour leur propre plaisir. Ensuite, ils ont construit un tableau des scores pour voir comment différents modèles d'IA pouvaient prédire ces surlignages.

D'abord, ils ont établi le Plancher. Ils ont testé la stratégie la plus stupide possible : surligner simplement les phrases de tête (le « lead »). Étonnamment, ce tour simple a plutôt bien fonctionné, obtenant un score de 0,2410. Cela s'explique par le fait que la plupart des articles placent les informations les plus importantes au début.

Ensuite, ils ont construit le Plafond. Ils ont divisé la foule de lecteurs en deux. Ils ont demandé : « Si la moitié de la foule essayait de prédire ce que l'autre moitié surlignerait, à quel point réussirait-elle ? » C'est le meilleur résultat possible, car cela tient compte du fait que les humains sont désordonnés et ne sont pas toujours d'accord. Le score du plafond était de 0,4437.

L'écart entre le Plancher (0,2410) et le Plafond (0,4437) est la « Marge de progression » (Headroom) : l'espace où l'IA peut réellement progresser. Cet écart est de 0,2028. La grande question était : Quelle part de cet écart l'IA actuelle peut-elle combler ?

Les Résultats : L'IA est à mi-chemin

Les chercheurs ont testé cinq des modèles d'IA les plus avancés au monde (les « modèles de pointe »). Ils ont découvert que le meilleur modèle individuel ne pouvait combler qu'environ 53 % de l'écart. En d'autres termes, la tâche est à peu près moitié résolue. L'IA est bien meilleure que le simple devin de la « première phrase », mais elle a encore un long chemin à parcourir pour égaler la sagesse collective de la foule.

C'est ici que cela devient intéressant. Les chercheurs ont tenté de comprendre pourquoi l'IA ne performait pas mieux.

• Est-ce seulement une question de position ? Ils ont essayé d'enseigner à un programme informatique simple de deviner en se basant uniquement sur l'emplacement d'une phrase et sa longueur. Il n'a réussi à récupérer que 5 % de l'écart. Cela prouve que la pièce manquante n'est pas seulement « où » se trouve la phrase, mais ce que la phrase dit réellement (la sémantique).
• Est-ce une question de compression de texte ? Ils ont utilisé un outil sophistiqué conçu pour réduire la taille du texte (LLMLingua-2) pour voir s'il pouvait trouver les passages surlignés. Il a échoué lamentablement, obtenant un score encore pire que le simple devin de la « première phrase ». Cela signifie que tenter de résumer ou de compresser le texte n'aide pas une IA à comprendre ce que les humains trouvent intéressant.

La Magie de la « Fusion »

Alors, si une seule IA intelligente ne suffit pas, et si l'on demandait à cinq IA différentes ?

Les chercheurs ont créé une Fusion. Ils ont pris les classements de cinq modèles d'IA de haut niveau différents et les ont moyennés. Ils ont également ajouté une légère incitation pour favoriser le début de l'article (le « biais de position »).

Le résultat ? La Fusion a atteint 60 % de l'écart. C'est un bond significatif.

• Elle bat le meilleur modèle individuel : La Fusion a battu la meilleure IA individuelle par une marge faible mais statistiquement solide.
• Elle n'a pas besoin de la « star » : Même si vous retirez la meilleure IA du groupe et que vous faites simplement la moyenne des quatre autres, le groupe bat toujours la meilleure IA individuelle. Cela suggère que les différentes IA font des erreurs différentes, et que lorsqu'on les moyenne, ces erreurs s'annulent.
• Ce n'est pas un coup de chance : L'équipe a répété cette expérience sur un nouvel ensemble de 217 documents (une réplication pré-enregistrée). La Fusion a toujours gagné, confirmant que le résultat n'était pas un accident chanceux.

La Surprise de la « Distillation »

Enfin, les chercheurs ont demandé : « Pouvons-nous apprendre à une IA plus petite et moins coûteuse à faire cela ? » Ils ont pris la « sagesse » de la Fusion des cinq modèles et ont tenté de l'enseigner à un seul modèle d'IA plus petit (un modèle de 8 milliards de paramètres).

Ils ont testé deux types d'étudiants :

1. L'Étudiant Local : Un modèle qui ne lit qu'une phrase et ses voisines immédiates. Cet étudiant n'a conservé que 63 % de l'avantage de la Fusion.
2. L'Étudiant du Document Entier : Un modèle qui lit l'article entier d'un seul coup. Cet étudiant a conservé 90 % de l'avantage de la Fusion et a performé aussi bien que le modèle individuel le plus fort.

Cela nous apprend quelque chose de profond : le « signal » de ce que les humains trouvent intéressant réside dans la structure de l'ensemble du document, et non dans les phrases locales. Pour être un bon surligneur, une IA doit avoir une vision d'ensemble.

Ce qu'il faut retenir

Ce document ne prétend pas que l'IA a « résolu » la lecture. Au lieu de cela, il nous donne un cadre réaliste :

1. La tâche est à moitié résolue. Nous n'y sommes pas encore.
2. La moitié non résolue concerne le sens, pas la position. Les astuces simples ne fonctionneront pas ; l'IA doit comprendre le texte.
3. La mise à jour la moins chère consiste à interroger plusieurs modèles. Si vous voulez les meilleurs résultats actuellement, ne vous contentez pas d'une seule IA. Demandez à cinq différentes et faites la moyenne de leurs réponses. C'est une astuce simple qui surpasse la meilleure IA individuelle.

Les auteurs avertissent également qu'à mesure que les modèles d'IA deviendront plus intelligents et commenceront à être plus d'accord entre eux, cet « avantage de fusion » pourrait diminuer. Mais pour l'instant, si vous construisez une « IA de Surlignage », la recette est simple : ne comptez pas sur un seul cerveau ; utilisez un comité.