MechVQA: Benchmarking and Enhancing Multimodal LLMs on Comprehensive Mechanical Drawing Understanding

Imaginez que vous ayez un maître architecte capable de regarder une photographie d'une ville animée et de vous dire exactement ce qui s'y passe, qui sont les gens et ce qu'ils font. C'est ce que les modèles de langage de grande taille multimodaux (MLLM) actuels savent bien faire — ils sont comme des généralistes super-intelligents qui comprennent le monde des images du quotidien.

Cependant, si vous remettez à ce même architecte un dessin de génie mécanique (un plan technique hautement spécialisé, en noir et blanc, rempli de chiffres minuscules, de symboles et de règles strictes), il se retrouve soudainement confus. Il pourrait rater un chiffre minuscule qui change la taille d'un engrenage, ou bien il pourrait penser qu'une pièce s'assemble alors qu'en réalité elle ne s'ajuste pas. Ces dessins sont comme un langage secret doté de sa propre grammaire stricte, et l'IA généraliste ne le parle pas encore couramment.

Ce document présente une solution pour apprendre à l'IA à lire correctement ces plans. Voici la décomposition de leur travail :

1. Le Problème : La « Cécité des Plans »

Les dessins mécaniques sont différents des photos normales. Ils sont chargés d'informations denses (comme un tableur dessiné sur du papier) et suivent des règles de projection strictes (où un objet 3D est aplati en vues 2D).

• Le problème : Les modèles d'IA actuels sont « fragiles » ici. Ils peuvent voir la forme d'un boulon, mais rater le petit texte indiquant qu'il doit être fabriqué dans un métal spécifique, ou ils peuvent ne pas réaliser qu'un cercle dans une vue correspond à un carré dans une autre.
• L'analogie : C'est comme donner à un généraliste une recette écrite dans une langue étrangère sans traduction. Il peut voir les images des ingrédients, mais il ne peut pas lire les mesures ou les instructions de cuisson, donc le plat final est un désastre.

2. La Solution Partie A : MechVQA (Le « Manuel Scolaire »)

Pour corriger cela, les auteurs ont créé MechVQA, qui est essentiellement un « manuel scolaire » massif et de haute qualité pour que l'IA puisse l'étudier.

• Ce que c'est : Un ensemble de données contenant 3 300 dessins mécaniques réels et 21 000 questions et réponses à leur sujet.
• Comment cela a été fait : Ils n'ont pas simplement demandé à l'IA de deviner. Ils ont utilisé un processus semi-automatisé où des experts humains (des ingénieurs mécaniciens) ont vérifié les données, corrigé les erreurs et veillé à ce que les questions soient équitables et répondables.
• La structure : Les questions sont organisées en trois niveaux de difficulté, comme dans un jeu vidéo :
  1. Reconnaissance : « Quel est ce symbole ? » ou « Combien y a-t-il de trous ? » (Les bases).
  2. Raisonnement : « Si cette pièce mesure 5 cm et cette autre 3 cm, quel espace reste-t-il ? » ou « Comment cette vue se connecte-t-elle à celle-là ? » (Relier les points).
  3. Jugement : « Manque-t-il une dimension critique à ce dessin ? » ou « Cette pièce viole-t-elle les règles de sécurité ? » (Agir comme un inspecteur).

3. La Solution Partie B : MechVL (L'« Étudiant Spécialisé »)

Une fois qu'ils ont eu le manuel (MechVQA), ils ont entraîné un nouveau modèle d'IA appelé MechVL.

• La méthode d'entraînement : Ils n'ont pas seulement laissé l'IA lire le livre une seule fois. Ils ont utilisé un processus d'entraînement en deux étapes :
  1. Ajustement fin supervisé (SFT) : L'IA a étudié le manuel et a appris les bonnes réponses, comme un étudiant mémorisant un guide d'étude.
  2. Apprentissage par renforcement (RL) : C'est la phase de « pratique ». L'IA a essayé de répondre à des questions, et si elle réussissait, elle recevait une récompense. Si elle faisait une erreur (comme ignorer une règle ou manquer un chiffre), elle recevait une pénalité. Crucialement, ils ont utilisé un système de notation spécial qui récompensait l'IA non seulement pour la bonne réponse, mais aussi pour l'explication claire et professionnelle de sa logique.
• Le résultat : Cet « étudiant spécialisé » (MechVL) est devenu bien meilleur pour lire les plans que les modèles « généralistes ». Il a obtenu des scores nettement plus élevés lors des tests, particulièrement sur les questions difficiles qui nécessitent un raisonnement complexe et une vérification par rapport aux règles.

4. La Conclusion

Le document affirme qu'en créant un ensemble de données spécialisé (MechVQA) et en entraînant un modèle spécifiquement sur celui-ci (MechVL), ils ont construit une IA capable de comprendre enfin le « langage secret » des dessins de génie mécanique.

• Ce qu'il a accompli : Le nouveau modèle a surpassé les meilleurs modèles existants à « code source fermé » (privés et coûteux) de manière significative (environ 7,5 points de pourcentage) sur ces tâches spécifiques.
• La limite : Les auteurs précisent que ce modèle est un assistant d'aide à la décision. Il est conçu pour aider les ingénieurs à vérifier leur travail ou à accélérer leur flux de travail, mais il n'est pas un remplacement pour un expert humain. Tout comme un correcteur orthographique vous aide à écrire mais ne rédige pas le roman pour vous, cette IA aide à interpréter les dessins mais ne doit pas être suivie aveuglément pour des décisions de sécurité critiques sans la supervision d'un humain.

En résumé, le papier a construit une école spécialisée et un programme scolaire pour apprendre à l'IA à lire des plans, ce qui a abouti à un modèle bien plus intelligent pour les tâches d'ingénierie que les modèles à usage général dont nous disposons aujourd'hui.