💻 computer science

Multi-Modal LLM based Image Captioning in ICT: Bridging the Gap Between General and Industry Domain

Dit artikel stelt een meerstaps progressieve trainingsstrategie voor om een domeinspecifiek model voor afbeeldingstextering met 7 miljard parameters voor de ICT-industrie te ontwikkelen, dat gebruikmaakt van gesynthetiseerde en door experts geannoteerde data om significant betere prestaties te leveren dan grotere state-of-the-art-modellen bij het extraheren van logische tekst uit technische afbeeldingen.

Oorspronkelijke auteurs: Lianying Chao, Kai Zhang, Haoran Cai, Sijie Wu, Xubin Li, Xin Chen

Gepubliceerd 2026-05-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lianying Chao, Kai Zhang, Haoran Cai, Sijie Wu, Xubin Li, Xin Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar onervaren student (een Kunstmatige Intelligentie) probeert te leren hoe je complexe technische blauwdrukken moet lezen die door ingenieurs in de telecommunicatie-industrie worden gebruikt. Deze blauwdrukken zijn niet zomaar afbeeldingen; het zijn stroomdiagrammen en signaaldiagrammen vol met specifieke logica die algemene AI-modellen vaak verkeerd begrijpen.

Dit artikel beschrijft een speciaal trainingsprogramma dat is ontworpen om een standaard AI om te vormen tot een expert "blauwdrukkenlezer" voor de tech-industrie. Hier is hoe ze dit deden, met behulp van eenvoudige analogieën:

Het Probleem: De "Alleskunner" versus de "Specialist"

Beschouw huidige krachtige AI-modellen (zoals die waarmee je online kunt chatten) als algemene bibliothecarissen. Ze hebben miljoenen boeken gelezen en kunnen een afbeelding van een kat of een zonsondergang perfect beschrijven. Echter, als je ze een complex technisch stroomdiagram geeft, kunnen ze de verbindingen verkeerd raden of de specifieke betekenis van een symbool missen. Ze missen de "industrie-woordenschat".

De auteurs wilden een specialist bibliothecaris bouwen die deze technische diagrammen kon bekijken en met perfecte nauwkeurigheid kon uitleggen, zelfs al heeft deze specialist een kleiner geheugen (minder "parameters") dan de reuzen-algemene bibliothecarissen.

De Oplossing: Een Driefasig Trainingskamp

In plaats van de AI gewoon een enorme hoop willekeurige data te geven, bouwden de auteurs een drie-staps "trainingskamp" om de AI te leren hoe ze deze specifieke diagrammen moeten lezen.

Fase 1: De "Oefenbladen" (Synthetische Data)

De Analogie: Stel je voor dat je de student duizenden oefenwerkbladen geeft waarbij de antwoorden al perfect zijn uitgeschreven.
Wat ze deden: Ze gebruikten een computergereedschap genaamd "Mermaid" om automatisch duizenden nep-stroomdiagrammen en signaaldiagrammen te tekenen. Vervolgens gebruikten ze een andere AI om de "correcte antwoorden" (tekstbeschrijvingen) voor deze nep-diagrammen te schrijven.
Het Doel: Dit gaf de AI een enorme hoeveelheid oefening om de structuur van deze diagrammen te leren, zonder dat mensen elk diagram hoeven te tekenen.

Fase 2: De "Leerlingperiode" (Expertannotaties)

De Analogie: Nu wordt de student in een echte werkplaats geplaatst bij een meesterhandwerker. De meester wijst naar een echt diagram en zegt: "Dit is hoe wij dit deel beschrijven. Zeg niet zomaar 'pijl', zeg 'signaalstroom van Node A naar Node B'."
Wat ze deden: Echte menselijke experts uit de tech-industrie schreven handmatig beschrijvingen voor ongeveer 2.000 echte diagrammen. Ze leerden de AI de specifieke "dialect" en logica die door professionals wordt gebruikt.
Het Doel: De AI leren klinken als een expert, niet alleen als een algemene waarnemer.

Fase 3: Het "Mondeling Examen" (Visuele Vraag-Antwoord)

De Analogie: De student wordt nu getoetst. In plaats van alleen de afbeelding te beschrijven, stelt de leraar specifieke vragen: "Als het signaal stopt bij deze node, waar gaat het dan naartoe?" of "Hoeveel stappen zitten er in dit proces?"
Wat ze deden: Ze creëerden een set vragen en antwoorden gebaseerd op de diagrammen. De AI moest naar de afbeelding kijken en de vraag correct beantwoorden.
Het Doel: Zorgen dat de AI de logica en relaties binnen het diagram echt begrijpt, en niet alleen de woorden op de pagina.

De Resultaten: Klein maar Krachtig

Het artikel beweert dat hun nieuwe model, genaamd DICModel, verrassend effectief is:

Grootte: Het is relatief klein (7 miljard "hersencellen" of parameters).
Prestaties: Het presteerde beter dan veel grotere, beroemde modellen (sommige met 32 miljard parameters) en zelfs gesloten-bron reuzen zoals Google's Gemini en Claude.
De Score: Bij tests was het ongeveer 57% beter in het beschrijven van de tekst in de afbeeldingen dan het volgende beste 7-miljard-model, en het was nauwkeuriger in het beantwoorden van technische vragen dan de massale 32-miljard-modellen.

Waarom Dit Belangrijk Is (Volgens Het Artikel)

De auteurs leggen uit dat dit model fungeert als een vertaler. Het kan een complexe afbeelding (een stroomdiagram) omzetten in duidelijke, logische tekst. Dit is cruciaal omdat:

Zoekmachines: Het helpt bij het bouwen van databases waar je kunt zoeken naar afbeeldingen met tekst, of tekst kunt vinden met afbeeldingen.
AI-assistenten: Het stelt toekomstige AI-agenten in staat om technische handleidingen en diagrammen te "lezen" om ingenieurs of klanten te helpen problemen op te lossen.

De Beperkingen

De auteurs zijn eerlijk over wat hun model nog niet kan:

Als een stroomdiagram extreem rommelig is of een zeer complexe "sprong" heeft naar een ander deel van de pagina, kan het model in de war raken over waar de lijn naartoe gaat.
Het behandelt momenteel alleen afbeeldingen (diagrammen), geen audio- of videobestanden.

Kortom, dit artikel presenteert een slim "trainingsrecept" dat een kleine, efficiënte AI in staat stelt om een meester te worden in het lezen van technische engineering-diagrammen, waarbij het in het proces veel grotere concurrenten verslaat.

Technische Samenvatting: Afbeeldingstextering op basis van Multi-Modale LLM's in ICT

Probleemstelling
In de sector Informatie- en Communicatietechnologie (ICT) vereist het trainen van domeinspecifieke Large Language Models (LLM's) of het construeren van Retrieval-Augmented Generation (RAG)-systemen enorme hoeveelheden hoogwaardige domeinkennis. Hoewel deze kennis bestaat in zowel tekstuele als beeldmodi, zijn traditionele methoden voor documentparsing (bijvoorbeeld Miner-U, GOT) beperkt tot het extraheren van tekst, waardoor kritieke visuele informatie zoals stroomdiagrammen en signaaldiagrammen wordt verwijderd. Omgekeerd missen algemene Multi-Modale Large Language Models (MLLM's), ondanks hun vermogen om afbeeldingen te begrijpen, de specifieke domeinkennis die vereist is voor de ICT-sector. Bij directe toepassing op ICT-documenten leiden algemene MLLM's vaak tot fouten in logische oordelen, falen ze om specifieke informatie duidelijk te identificeren, of interpreteren ze signaalrichtingen verkeerd. De kernuitdaging is het ontbreken van een model dat complexe ICT-visuele informatie nauwkeurig kan omzetten in precieze, logische tekstuele representaties.

Methodologie
Om deze beperkingen aan te pakken, stellen de auteurs een Domeinspecifiek Afbeeldingstexteringsmodel (DICModel) voor, gebaseerd op een drie-fasen progressieve trainingsstrategie. Het model maakt gebruik van Qwen2.5-VL 7B als basisarchitectuur.

Fase 1: Pre-SFT met Synthetische Data
- Doel: Het model leren de standaardparadigma's van afbeeldingsparsing en structurele informatie.
- Data-generatie: Ongeveer 7.233 afbeelding-tekstparen worden gesynthetiseerd. De tool Mermaid genereert stroomdiagrammen en signaaldiagrammen uit gestructureerde code. Een LLM (Grok-3) converteert vervolgens de Mermaid-code naar gestandaardiseerde, door experts goedgekeurde annotatietekst.
- Resultaat: Het model leert afbeeldingen te parseren naar gestructureerde tekstformaten.
Fase 2: Post-SFT met Expert-Geannoteerde Data
- Doel: Specifieke ICT-domeinkennis injecteren en de parse-nauwkeurigheid verfijnen.
- Data-generatie: ICT-domeinexperts annoteren handmatig ongeveer 2.274 hoogwaardige afbeelding-tekstparen uit professionele documenten uit de echte wereld (inclusief 1.100 stroomdiagrammen en 1.174 signaaldiagrammen). Experts gebruiken vaste sjablonen om ervoor te zorgen dat de tekst overeenkomt met industriestandaarden.
- Resultaat: Het model past zich aan aan de specifieke redeneerpatronen en terminologie van de ICT-domein.
Fase 3: Instruction-SFT met VQA-Data
- Doel: Het vermogen van het model om gebruikersinstructies te volgen en fijne details, lokale componenten en globale lay-outs te begrijpen, verbeteren.
- Data-generatie: Ongeveer 1.573 Visual Question Answering (VQA)-paren worden aangemaakt. Vragen worden gegenereerd door zowel MLLM's (Gemini 2.0) als domeinexperts op basis van ICT-afbeeldingen.
- Resultaat: Het model verbetert zijn instructieopvolging en diepgaande begrijpingscapaciteiten.

Belangrijkste Bijdragen

Progressieve Trainingsstrategie: Het artikel introduceert een drie-fasen trainingspijplijn (Synthetisch $\rightarrow$ Expert-Geannoteerd $\rightarrow$ Instructie-gebaseerde VQA) die effectief de kloof overbrugt tussen algemene MLLM-capaciteiten en specifieke ICT-domeineisen.
Data-synthese Pijplijn: Een nieuwe methode is ontwikkeld om hoogwaardige trainingsdata te synthetiseren door de Mermaid-diagramtool te combineren met door LLM's gebaseerde tekstherwerking, waarmee de schaarste aan geannoteerde domeindata wordt aangepakt.
Uitgebreid Evaluatiesysteem: De auteurs hebben een rigoureus evaluatiesysteem opgezet met betrokkenheid van ICT-domeinexperts. Dit omvat handmatige annotatie van 100 kritieke afbeeldingen voor parsekwaliteit en het creëren van 300 objectieve vragen (200 meerkeuze, 100 meerkeuze met meerdere antwoorden) om afbeeldingsbegrip te testen.

Experimentele Resultaten
Het DICModel (7B parameters) werd geëvalueerd tegen State-of-the-Art (SOTA)-modellen, waaronder gesloten bron-API's (Gemini 2.0, Claude-3.5) en open-source modellen van verschillende maten (7B tot 32B).

Visual Question Answering (VQA): Op door experts samengestelde objectieve vragen behaalde DICModel een gemiddelde nauwkeurigheid ( $Prec_a$ ) van 72,3%. Dit presteert beter dan de 32B-parametermodellen (Qwen2.5-VL 32B op 69,0%, Intern2.5-VL 32B op 71,3%) en gesloten bronmodellen (Gemini 2.0 op 64,3%). In vergelijking met het op een na beste 7B-model (Qwen2.5-VL 7B) verbeterde DICModel de nauwkeurigheid met 10,3%.
Afbeeldingsparsing (Captioning): In termen van tekstgelijkheidsmetrieken (BLEU, CIDEr, METEOR) presteerde DICModel aanzienlijk beter dan andere 7B-modellen. Specifiek verbeterde het de BLEU-score met ongeveer 56,8% in vergelijking met Qwen2.5-VL 7B en met 20,8% in vergelijking met Qwen2.5-VL 32B.
Ablatiestudie: De studie bevestigde dat alle drie trainingsfasen noodzakelijk zijn. De eerste twee fasen waren cruciaal voor het maximaliseren van de parse-nauwkeurigheid (BLEU), terwijl de derde fase essentieel was voor het maximaliseren van de vraag-antwoordnauwkeurigheid.

Betekenis en Claims
Het artikel beweert dat DICModel aantoont dat een kleiner, domeinspecifiek model (7B parameters) aanzienlijk grotere algemene modellen (32B parameters) kan overtreffen in gespecialiseerde ICT-taken. Door efficiënt logische tekst uit complexe afbeeldingen zoals stroomdiagrammen en signaaldiagrammen te extraheren, maakt het model de creatie van hoogwaardige multimodale vector-databases mogelijk en ondersteunt het de ontwikkeling van domeinspecifieke LLM's. De auteurs positioneren dit werk als een fundamentele stap naar meer geavanceerde AI-toepassingen in de ICT-sector, zoals intelligente klantenservice, multimodale RAG-systemen en geautomatiseerd data-assetbeheer.

Beperkingen
De auteurs erkennen dat het model nog steeds worstelt met uiterst complexe diagrammen, specifiek bij het identificeren van doelstappen wanneer samenvoeglijnen betrokken zijn in stroomdiagrammen of bij het bepalen van signaaluiteinden in diagrammen waar signalen over meerdere knooppunten lopen. Bovendien is de huidige reikwijdte beperkt tot statische afbeeldingen, waarbij audio- en videodata toekomstige uitdagingen vormen voor een uniforme cross-modale representatie.