Imaginez que vous soyez un juge dans un concours de talents massif et à enjeux élevés où les candidats sont des programmes informatiques super intelligents appelés « IA ». Ces IA essaient de prouver qu'elles peuvent lire des documents épais, ennuyeux et compliqués — comme des rapports financiers, des articles scientifiques et des manuels d'instructions — et répondre à des questions à leur sujet. C'est le monde du Document QA (Question Answering / Réponse aux questions sur documents). Dans cette arène, l'objectif est simple : l'IA lit un PDF long, et vous lui posez une question. Si elle trouve la bonne réponse, elle gagne des points. Si elle se trompe, ou si elle invente une réponse alors que l'information ne figure pas dans le document, elle perd des points.

Pourquoi est-ce important ? Parce qu'à mesure que ces IA deviennent plus intelligentes, elles commencent à agir comme des étudiants trop sûrs d'eux qui devinent la réponse juste pour avoir l'air occupés. Nous avons besoin d'un moyen de tester s'ils sont réellement en train de lire ou s'ils sont simplement en train d'halluciner (inventer des choses). Pour ce faire, des scientifiques ont créé un examen géant appelé MMLongBench-Doc. C'est comme un examen final avec plus de 1 000 questions réparties sur 135 documents différents. Mais, comme le révèle ce nouvel article, l'examen lui-même présentait de graves défauts qui rendaient les notes injustes.

L'examen défectueux : Quand le correcteur est le problème

Considérez l'examen original (MMLong-Bench-Doc) comme un professeur strict et old-fashioned qui corrige avec un stylo rouge qui ne cherche que des correspondances exactes de l'orthographe. Si la réponse correcte est « 1 358 000 » et que l'IA écrit « 1358000 » (sans les virgules), le professeur la marque comme fausse. Si la réponse est « Activités opérationnelles » et que l'IA écrit « Opérations activités », le professeur la marque comme fausse. C'est comme un professeur de mathématiques qui ferait échouer un élève parce qu'il a écrit « 12 » au lieu de « 12,0 », même si le nombre est correct.

Pire encore, la clé de correction du professeur était parfois erronée. Imaginez une question demandant : « Combien de flèches bleues y a-t-il à la page 5 ? » La clé de réponse dit « Zéro ». Mais si vous regardez la page, il n'y a effectivement aucune flèche bleue, donc « Zéro » est correct. Cependant, parfois, la clé disait « Zéro » alors que le document contenait une flèche, ou la question était écrite de manière si confuse que même un humain ne pourrait y répondre. Le pire ? Ces erreurs étaient concentrées sur les questions difficiles. Ainsi, les IA les plus intelligentes étaient pénalisées le plus, tandis que les plus stupides (qui devinaient au hasard) n'étaient pas affectées. C'était comme une course où les coureurs les plus rapides étaient lestés de bottes de plomb, tandis que les marcheurs lents ne l'étaient pas.

La solution : MMLongBench-Doc-V2

Voici le nouvel article : MMLongBench-Doc-V2. L'auteur, qui est Mingtian Zhang, a décidé de réparer l'examen plutôt que de le jeter. Il a traité le test original comme un brouillon désordonné et l'a nettoyé grâce à trois mouvements majeurs.

1. Le nouveau correcteur : Un détective du « Sens »
Au lieu d'un robot qui vérifie simplement si deux chaînes de texte se ressemblent de manière identique, ils ont engagé un « Détective du Sens » (un IA juge spécial). Ce détective ne se soucie pas des virgules, des majuscules ou des espaces supplémentaires. Il regarde la réponse de l'IA et demande : « Est-ce que cela signifie la même chose que la réponse correcte ? »

• L'analogie : Si la réponse est « Le chat dort » et que l'IA dit « Un félin fait la sieste », l'ancien correcteur l'aurait éliminée. Le nouveau détective lui accorde le passage car le sens est le même.
• Le piège : Ce détective ne voit jamais le document original. Il compare seulement la réponse de l'IA à la clé de correction. Cela empêche le détective d'être confus par de mauvais scans ou du texte manquant dans le PDF.

2. Correction de la clé de réponse (106 corrections)
L'auteur a passé en revue l'examen et a trouvé 106 questions où la clé de réponse était fausse, la question était cassée, ou le document ne correspondait pas à la question.

• Le problème du « Fichier erroné » : Ils ont trouvé 10 questions qui portaient sur un document qui ne figurait même pas dans le dossier de test ! C'était comme poser une question sur le « Chapitre 5 de Harry Potter » mais de donner à l'étudiant un exemplaire de Le Hobbit. Personne ne pouvait répondre à cela, ils ont donc supprimé ces questions.
• L'erreur de « Signe » : Dans un cas, la clé indiquait qu'un nombre avait augmenté de 60,3 %, mais le document montrait qu'il avait diminué. L'auteur a corrigé le signe.
• La correction de l'« Ambiguïté » : Certaines questions étaient trop vagues. Si un document listait séparément la « dette à court terme » et la « dette à long terme », mais que la question demandait la « dette totale » sans préciser lesquelles additionner, l'auteur a réécrit la question pour qu'elle soit extrêmement spécifique.

3. Le dilemme de l'« Ensemble vide »
C'est la partie la plus délicate. Certaines questions demandent : « Combien de dragons y a-t-il dans ce rapport financier ? » La réponse est évidemment zéro. Mais dans le test original, certaines réponses « zéro » étaient marquées comme « Non répondable » (signifiant que le document ne contenait pas l'information), tandis que d'autres étaient marquées comme « 0 » (signifiant que le document a été vérifié et qu'on n'a rien trouvé).

• La règle : L'auteur a créé une règle stricte : Si le document existe et que vous pouvez prouver que la chose n'est pas là, la réponse est 0. Si le document manque une page entière ou si la question porte sur quelque chose qui ne peut pas être compté (comme « toutes les étoiles de l'univers »), alors c'est Non répondable.
• Le résultat : Ils ont ajusté 14 questions pour s'assurer que les réponses « zéro » soient équitables. Cela empêche l'IA d'être piégée en pensant que « Je ne sais pas » est la bonne réponse quand la bonne réponse est en réalité « Aucun ».

Le tableau des scores final

Après tout le nettoyage, le nouveau test (V2) compte 1 071 questions réparties sur 134 documents (contre 1 082 questions et 135 documents auparavant).

• Le grand changement : Les scores sur ce nouveau test ne sont pas comparables aux anciens scores. Vous ne pouvez pas dire : « L'IA a obtenu 44,9 % l'année dernière et 50 % cette année, donc elle s'est améliorée. » Le test lui-même a changé, donc les chiffres sont sur une échelle différente.
• La bonne nouvelle : Le nouveau test est un moyen plus juste de voir si une IA est réellement intelligente ou simplement chanceuse. Il élimine les « questions pièges » qui confondaient les meilleurs modèles.
• La mise en garde : L'auteur admet n'avoir pas vérifié chaque question. Il s'est concentré sur celles auxquelles les IA intelligentes ont répondu de manière erronée, car c'est là que les erreurs étaient les plus susceptibles de se cacher. Il peut rester quelques erreurs dans le test, mais elles sont beaucoup moins nombreuses qu'auparavant.

Pourquoi cela importe

Cet article ne porte pas sur l'invention d'une nouvelle super-IA. Il porte sur la réparation de la règle que nous utilisons pour les mesurer. Si vous construisez un robot pour lire des contrats juridiques ou des rapports médicaux, vous devez savoir s'il est réellement en train de lire ou s'il est simplement en train de deviner. MMLongBench-Doc-V2 nous donne une règle plus propre et plus honnête. Il garantit que lorsqu'une IA répond correctement à une question, c'est parce qu'elle a compris le document, et non parce qu'elle a deviné le bon nombre de virgules.

L'auteur a rendu toutes ses corrections, les données du nouveau test et les outils pour noter les réponses accessibles à tous. C'est un rappel que dans la science, parfois le travail le plus important n'est pas de construire le moteur, mais de réparer le tachymètre afin de savoir à quelle vitesse nous allons réellement.