MechVQA: Benchmarking and Enhancing Multimodal LLMs on Comprehensive Mechanical Drawing Understanding

Stellen Sie sich vor, Sie hätten einen Meisterarchitekten, der ein Foto einer belebten Stadt betrachten kann und Ihnen genau sagen kann, was dort passiert, wer die Menschen sind und was sie tun. Genau das können aktuelle „Multimodale Large Language Models“ (MLLMs) – sie sind wie superintelligente Generalisten, die die Welt alltäglicher Bilder verstehen.

Doch wenn Sie demselben Architekten nun eine mechanische technische Zeichnung überreichen (einen hochtechnischen, schwarz-weiß Blaupausen-Satz voller winziger Zahlen, Symbole und strenger Regeln), ist er plötzlich verwirrt. Er übersieht vielleicht eine winzige Zahl, die die Größe eines Zahnrads verändert, oder er glaubt, dass ein Teil passt, obwohl es das in Wirklichkeit nicht tut. Diese Zeichnungen sind wie eine Geheimsprache mit einer eigenen, strengen Grammatik, und die allgemeine KI beherrscht diese Sprache noch nicht fließend.

Dieses Paper stellt eine Lösung vor, um der KI beizubringen, diese Blaupausen richtig zu lesen. Hier ist die Aufschlüsselung ihrer Arbeit:

1. Das Problem: Die „Blaupausen-Blindheit“

Mechanische Zeichnungen unterscheiden sich von normalen Fotos. Sie sind vollgepackt mit dichten Informationen (wie eine Tabelle, die auf Papier gezeichnet wurde) und folgen strengen Projektionsregeln (bei denen ein 3D-Objekt in 2D-Ansichten flachgedrückt wird).

• Das Problem: Aktuelle KI-Modelle sind hier „brüchig“. Sie sehen vielleicht die Form eines Bolzens, übersehen aber den winzigen Text, der besagt, dass er aus einem bestimmten Metall bestehen muss, oder sie scheitern daran, zu erkennen, dass ein Kreis in einer Ansicht einem Quadrat in einer anderen entspricht.
• Die Analogie: Es ist, als würde man einem Generalisten ein Rezept in einer Fremdsprache geben, für die es keine Übersetzung gibt. Er kann zwar die Bilder der Zutaten sehen, aber er kann die Maße oder die Kochanweisungen nicht lesen, wessoeben das fertige Gericht ein Chaos ist.

2. Die Lösung Teil A: MechVQA (Das „Lehrbuch“)

Um dies zu beheben, haben die Autoren MechVQA entwickelt, was im Wesentlichen ein massives, hochwertiges „Lehrbuch“ ist, mit dem die KI lernen kann.

• Was es ist: Ein Datensatz, der 3.300 echte mechanische Zeichnungen und 21.000 Fragen und Antworten zu diesen enthält.
• Wie es erstellt wurde: Sie haben die KI nicht einfach raten lassen. Sie nutzten einen halbautomatisierten Prozess, bei dem menschliche Experten (Maschinenbauingenieure) die Daten überprüften, Fehler korrigierten und sicherstellten, dass die Fragen fair und beantwortbar waren.
• Die Struktur: Die Fragen sind in drei Schwierigkeitsstufen organisiert, vergleichbar mit einem Videospiel:
  1. Erkennung: „Was ist dieses Symbol?“ oder „Wie viele Löcher gibt es?“ (Die Grundlagen).
  2. Schlussfolgerung (Reasoning): „Wenn dieses Teil 5 cm lang ist und jenes Teil 3 cm, wie viel Platz bleibt dann?“ oder „Wie verbindet sich diese Ansicht mit jener Ansicht?“ (Die Punkte verbinden).
  3. Beurteilung: „Fehlt in dieser Zeichnung ein kritisches Maß?“ oder „Verstößt dieses Teil gegen die Sicherheitsregeln?“ (Als Inspektor agieren).

3. Die Lösung Teil B: MechVL (Der „Spezialisierte Schüler“)

Nachdem sie das Lehrbuch (MechVQA) erstellt hatten, trainierten sie ein neues KI-Modell namens MechVL.

• Die Trainingsmethel: Sie ließen die KI das Buch nicht nur einmal lesen. Sie verwendeten einen zweistufigen Trainingsprozess:
  1. Supervised Fine-Tuning (SFT): Die KI studierte das Lehrbuch und lernte die korrekten Antworten, wie ein Schüler, der einen Lernzettel auswendig lernt.
  2. Reinforcement Learning (RL): Dies ist die „Übungsphase“. Die KI versuchte, Fragen zu beantworten, und wenn sie es richtig machte, erhielt sie eine Belohnung. Wenn sie einen Fehler machte (wie etwa eine Regel zu ignorieren oder eine Zahl zu übersehen), erhielt sie eine Strafe. Entscheidend war, dass sie ein spezielles Bewertungssystem verwendeten, das die KI nicht nur für die richtige Antwort belohnte, sondern auch dafür, ihre Logik klar und professionell zu erklären.
• Das Ergebnis: Dieser „spezialisierte Schüler“ (MechVL) wurde wesentlich besser darin, Blaupausen zu lesen, als die „Generalisten“-Modelle. Er schnitt in Tests deutlich besser ab, insbesondere bei den schwierigen Fragen, die komplexes Schlussfolgern und die Überprüfung gegen Regeln erforderten.

4. Das Fazit

Das Paper behauptet, dass sie durch die Erstellung eines spezialisierten Datensatzes (MechVQA) und das Training eines spezifisch darauf ausgerichteten Modells (MechVL) eine KI geschaffen haben, die endlich die „Geheimsprache“ mechanischer technischer Zeichnungen verstehen kann.

• Was erreicht wurde: Das neue Modell übertraf die besten existierenden „Closed-Source“-Modelle (private, teure KI) bei weitem (um etwa 7,5 Prozentpunkte) bei diesen spezifischen Aufgaben.
• Die Einschränkung: Die Autoren stellen klar, dass dieses Modell ein Entscheidungsunterstützungs-Assistent ist. Es ist darauf ausgelegt, Ingenieure bei der Überprüfung ihrer Arbeit oder der Beschleunigung ihres Arbeitsablaufs zu unterstützen, ist aber kein Ersatz für einen menschlichen Experten. Genau wie eine Rechtschreibprüfung beim Schreiben hilft, aber nicht den Roman selbst schreibt, hilft diese KI bei der Interpretation von Zeichnungen, sollte aber ohne menschliche Aufsicht nicht blind für kritische Sicherheitsentscheidungen vertraut werden.

Kurz gesagt: Das Paper hat eine spezialisierte Schule und einen Lehrplan entwickelt, um der KI das Lesen von Blaupausen beizubringen, was zu einem Modell führte, das bei technischen Aufgaben wesentlich intelligenter ist als die heute verfügbaren Allzweck-Modelle.