💻 computer science

Multi-Modal LLM based Image Captioning in ICT: Bridging the Gap Between General and Industry Domain

Dieser Beitrag schlägt eine mehrstufige progressive Trainingsstrategie vor, um ein 7-Milliarden-Parameter-domänenspezifisches Bildunterschriften-Modell für die IKT-Branche zu entwickeln, das synthetisierte und von Experten annotierte Daten nutzt, um beim Extrahieren logischer Texte aus technischen Bildern größere state-of-the-art-Modelle signifikant zu übertreffen.

Ursprüngliche Autoren: Lianying Chao, Kai Zhang, Haoran Cai, Sijie Wu, Xubin Li, Xin Chen

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lianying Chao, Kai Zhang, Haoran Cai, Sijie Wu, Xubin Li, Xin Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber unerfahrenen Studenten (einer Künstlichen Intelligenz) beizubringen, komplexe technische Baupläne zu lesen, die von Ingenieuren in der Telekommunikationsbranche verwendet werden. Diese Baupläne sind nicht nur Bilder; es sind Flussdiagramme und Signaldiagramme, die voller spezifischer Logik stecken, die allgemeine KI-Modelle oft missverstehen.

Dieser Artikel beschreibt ein spezielles Trainingsprogramm, das entwickelt wurde, um eine Standard-KI in einen erfahrenen „Bauplanleser" für die Technologiebranche zu verwandeln. Hier ist, wie sie es taten, unter Verwendung einfacher Analogien:

Das Problem: Der „Generalist" versus der „Spezialist"

Stellen Sie sich aktuelle leistungsstarke KI-Modelle (wie die, mit denen Sie online chatten könnten) als allgemeine Bibliothekare vor. Sie haben Millionen von Büchern gelesen und können ein Bild einer Katze oder eines Sonnenuntergangs perfekt beschreiben. Wenn Sie ihnen jedoch einen komplexen technischen Flussplan geben, könnten sie die Verbindungen falsch erraten oder die spezifische Bedeutung eines Symbols übersehen. Ihnen fehlt das „Branchenvokabular".

Die Autoren wollten einen Spezialisten-Bibliothekar aufbauen, der diese technischen Diagramme betrachten und sie mit perfekter Genauigkeit erklären kann, obwohl dieser Spezialist einen kleineren Speicher (weniger „Parameter") hat als die riesigen allgemeinen Bibliothekare.

Die Lösung: Ein dreistufiges Trainingslager

Anstatt der KI einfach einen riesigen Haufen zufälliger Daten zu geben, bauten die Autoren ein dreistufiges „Trainingslager", um der KI beizubringen, diese spezifischen Diagramme zu lesen.

Stufe 1: Die „Übungsblätter" (Synthetische Daten)

Die Analogie: Stellen Sie sich vor, Sie geben dem Studenten Tausende von Übungsblättern, bei denen die Antworten bereits perfekt ausformuliert sind.
Was sie taten: Sie verwendeten ein Computertool namens „Mermaid", um automatisch Tausende von gefälschten Flussdiagrammen und Signaldiagrammen zu zeichnen. Dann nutzten sie eine andere KI, um die „korrekten Antworten" (Textbeschreibungen) für diese gefälschten Diagramme zu schreiben.
Das Ziel: Dies gab der KI eine massive Menge an Übung, um die Struktur dieser Diagramme zu lernen, ohne dass Menschen jedes einzelne zeichnen mussten.

Stufe 2: Die „Lehre" (Experten-Annotationen)

Die Analogie: Jetzt wird der Student in eine echte Werkstatt zu einem Meisterhandwerker gebracht. Der Meister zeigt auf ein echtes Diagramm und sagt: „So beschreiben wir diesen Teil. Sag nicht einfach ‚Pfeil', sondern ‚Signalfluss von Knoten A zu Knoten B'."
Was sie taten: Echte menschliche Experten aus der Technologiebranche schrieben manuell Beschreibungen für etwa 2.000 echte Diagramme. Sie lehrten die KI den spezifischen „Dialekt" und die Logik, die von Fachleuten verwendet werden.
Das Ziel: Die KI so zu lehren, dass sie wie ein Experte klingt und nicht nur wie ein allgemeiner Beobachter.

Stufe 3: Die „Mündliche Prüfung" (Visuelle Beantwortung von Fragen)

Die Analogie: Der Student wird nun geprüft. Anstatt das Bild nur zu beschreiben, stellt der Lehrer spezifische Fragen: „Wenn das Signal an diesem Knoten stoppt, wohin geht es als Nächstes?" oder „Wie viele Schritte enthält dieser Prozess?"
Was sie taten: Sie erstellten eine Reihe von Fragen und Antworten basierend auf den Diagrammen. Die KI musste das Bild betrachten und die Frage korrekt beantworten.
Das Ziel: Sicherzustellen, dass die KI die Logik und die Beziehungen innerhalb des Diagramms wirklich versteht und nicht nur die Wörter auf der Seite.

Die Ergebnisse: Klein, aber mächtig

Der Artikel behauptet, dass ihr neues Modell, genannt DICModel, überraschend effektiv ist:

Größe: Es ist relativ klein (7 Milliarden „Gehirnzellen" oder Parameter).
Leistung: Es übertraf viel größere, bekannte Modelle (einige mit 32 Milliarden Parametern) und sogar geschlossene Riesen wie Googles Gemini und Claude.
Die Punktzahl: In Tests war es etwa 57 % besser darin, den Text in den Bildern zu beschreiben, als das nächstbeste 7-Milliarden-Modell, und es war genauer bei der Beantwortung technischer Fragen als die massiven 32-Milliarden-Modelle.

Warum dies wichtig ist (laut dem Artikel)

Die Autoren erklären, dass dieses Modell wie ein Übersetzer wirkt. Es kann ein komplexes Bild (ein Flussdiagramm) in klaren, logischen Text umwandeln. Dies ist entscheidend, weil:

Suchmaschinen: Es hilft, Datenbanken zu erstellen, in denen Sie nach Bildern mit Text suchen können oder nach Text mit Bildern.
KI-Assistenten: Es ermöglicht zukünftigen KI-Agenten, technische Handbücher und Diagramme zu „lesen", um Ingenieuren oder Kunden bei der Problemlösung zu helfen.

Die Einschränkungen

Die Autoren sind ehrlich darüber, was ihr Modell noch nicht kann:

Wenn ein Flussdiagramm extrem unordentlich ist oder einen sehr komplexen „Sprung" zu einem anderen Teil der Seite hat, könnte das Modell verwirrt sein, wohin die Linie führt.
Es verarbeitet derzeit nur Bilder (Diagramme), keine Audio- oder Videodateien.

Kurz gesagt, präsentiert dieser Artikel ein kluges „Trainingsrezept", das es einer kleinen, effizienten KI ermöglicht, ein Meister im Lesen technischer Ingenieursdiagramme zu werden, und dabei größere Konkurrenten zu schlagen.

Technisches Fazit: Bildbeschriftung auf Basis multimodaler LLMs im Bereich IKT

Problemstellung
In der Informations- und Kommunikationstechnologie (IKT) erfordert das Training domänenspezifischer Large Language Models (LLMs) oder der Aufbau von Retrieval-Augmented Generation (RAG)-Systemen enorme Mengen an hochwertigen domänenspezifischem Wissen. Obwohl dieses Wissen sowohl in textuellen als auch in bildlichen Modalitäten vorliegt, sind traditionelle Dokumentenparsen-Methoden (z. B. Miner-U, GOT) auf die Extraktion von Text beschränkt und verwerfen dabei kritische visuelle Informationen wie Flussdiagramme und Signaldarstellungen. Umgekehrt verfügen allgemeine multimodale Large Language Models (MLLMs), obwohl sie über Bildverständnisfähigkeiten verfügen, nicht über das für den IKT-Sektor erforderliche spezifische Domänenwissen. Bei der direkten Anwendung auf IKT-Dokumente führen allgemeine MLLMs häufig zu Fehlern in der logischen Urteilsbildung, scheitern daran, spezifische Informationen klar zu identifizieren, oder interpretieren Signalflussrichtungen falsch. Die Kernherausforderung besteht im Fehlen eines Modells, das komplexe IKT-Visuelle Informationen präzise in logische textuelle Darstellungen umwandeln kann.

Methodik
Um diese Einschränkungen zu adressieren, schlagen die Autoren ein Domänenspezifisches Bildbeschriftungsmodell (DICModel) vor, das auf einer dreistufigen progressiven Trainingsstrategie basiert. Das Modell nutzt Qwen2.5-VL 7B als Basisarchitektur.

Stufe 1: Pre-SFT mit synthetischen Daten
- Ziel: Dem Modell die Standardparadigmen der Bildparsung und strukturellen Informationen beizubringen.
- Datengenerierung: Es werden etwa 7.233 Bild-Text-Paare synthetisiert. Das Tool Mermaid generiert Flussdiagramme und Signaldarstellungen aus strukturiertem Code. Ein LLM (Grok-3) wandelt den Mermaid-Code anschließend in standardisierte, von Experten genehmigte Annotationstexte um.
- Ergebnis: Das Modell lernt, Bilder in strukturierte Textformate zu parsen.
Stufe 2: Post-SFT mit Experten-annotierten Daten
- Ziel: Spezifisches IKT-Domänenwissen einzuspeisen und die Parsungsgenauigkeit zu verfeinern.
- Datengenerierung: IKT-Domänenexperten annotieren manuell etwa 2.274 hochwertige Bild-Text-Paare aus realen professionellen Dokumenten (einschließlich 1.100 Flussdiagramme und 1.174 Signaldiagramme). Experten verwenden feste Vorlagen, um sicherzustellen, dass der Text mit Industriestandards übereinstimmt.
- Ergebnis: Das Modell passt sich den spezifischen Schlussfolgerungsmustern und der Terminologie der IKT-Domäne an.
Stufe 3: Instruction-SFT mit VQA-Daten
- Ziel: Die Fähigkeit des Modells zu verbessern, Benutzeranweisungen zu befolgen sowie feingranulare Details, lokale Komponenten und globale Layouts zu verstehen.
- Datengenerierung: Es werden etwa 1.573 Visual Question Answering (VQA)-Paare erstellt. Die Fragen werden sowohl von MLLMs (Gemini 2.0) als auch von Domänenexperten basierend auf IKT-Bildern generiert.
- Ergebnis: Das Modell verbessert seine Anweisungskonformität und seine Fähigkeiten zum tiefen Verständnis.

Hauptbeiträge

Progressive Trainingsstrategie: Die Arbeit stellt eine dreistufige Trainingspipeline vor (Synthetisch $\rightarrow$ Experten-annotiert $\rightarrow$ Instruktionsbasierte VQA), die effektiv die Lücke zwischen allgemeinen MLLM-Fähigkeiten und spezifischen IKT-Domänenanforderungen schließt.
Pipeline zur Datensynthese: Es wurde eine neuartige Methode entwickelt, um hochwertige Trainingsdaten zu synthetisieren, indem das Diagramm-Tool Mermaid mit LLM-basiertem Text-Rewriting kombiniert wird, um die Knappheit annotierter Domänendaten zu adressieren.
Umfassendes Bewertungssystem: Die Autoren entwickelten ein rigoroses Bewertungssystem unter Einbeziehung von IKT-Domänenexperten. Dies umfasst die manuelle Annotation von 100 kritischen Bildern zur Qualität der Bildparsung sowie die Erstellung von 300 objektiven Fragen (200 Single-Choice, 100 Multiple-Choice) zum Testen des Bildverständnisses.

Experimentelle Ergebnisse
Das DICModel (7B Parameter) wurde gegen State-of-the-Art (SOTA)-Modelle evaluiert, einschließlich geschlossener APIs (Gemini 2.0, Claude-3.5) und Open-Source-Modellen unterschiedlicher Größen (7B bis 32B).

Visual Question Answering (VQA): Bei von Experten konstruierten objektiven Fragen erreichte DICModel eine durchschnittliche Genauigkeit ( $Prec_a$ ) von 72,3 %. Dies übertrifft die 32B-Parameter-Modelle (Qwen2.5-VL 32B mit 69,0 %, Intern2.5-VL 32B mit 71,3 %) sowie geschlossene Modelle (Gemini 2.0 mit 64,3 %). Im Vergleich zum zweitbesten 7B-Modell (Qwen2.5-VL 7B) verbesserte DICModel die Genauigkeit um 10,3 %.
Bildparsung (Beschriftung): Hinsichtlich der Textähnlichkeitsmetriken (BLEU, CIDEr, METEOR) schnitt DICModel andere 7B-Modelle deutlich ab. Insbesondere verbesserte es den BLEU-Score um etwa 56,8 % im Vergleich zu Qwen2.5-VL 7B und um 20,8 % im Vergleich zu Qwen2.5-VL 32B.
Ablationsstudie: Die Studie bestätigte, dass alle drei Trainingsstufen notwendig sind. Die ersten beiden Stufen waren entscheidend für die Maximierung der Parsungsgenauigkeit (BLEU), während die dritte Stufe für die Maximierung der Frage-Antwort-Genauigkeit unerlässlich war.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass DICModel zeigt, dass ein kleineres, domänenspezifisches Modell (7B Parameter) in spezialisierten IKT-Aufgaben deutlich größere allgemeine Modelle (32B Parameter) übertreffen kann. Durch die effiziente Extraktion logischer Texte aus komplexen Bildern wie Flussdiagrammen und Signaldarstellungen ermöglicht das Modell die Erstellung hochwertiger multimodaler Vektordatenbanken und unterstützt die Entwicklung domänenspezifischer LLMs. Die Autoren positionieren diese Arbeit als grundlegenden Schritt hin zu fortschrittlicheren KI-Anwendungen im IKT-Sektor, wie intelligente Kundenservice-Systeme, multimodale RAG-Systeme und automatisiertes Datenasset-Management.

Einschränkungen
Die Autoren räumen ein, dass das Modell immer noch Schwierigkeiten mit hochkomplexen Diagrammen hat, insbesondere bei der Identifizierung von Ziel-Schritten, wenn in Flussdiagrammen Mergelinien beteiligt sind, oder bei der Bestimmung von Signalendpunkten in Diagrammen, bei denen Signale mehrere Knoten überspannen. Darüber hinaus beschränkt sich der aktuelle Umfang auf statische Bilder, wobei Audio- und Videodaten zukünftige Herausforderungen für eine einheitliche cross-modale Repräsentation darstellen.