💻 computer science

Multi-Modal LLM based Image Captioning in ICT: Bridging the Gap Between General and Industry Domain

Ce papier propose une stratégie d'entraînement progressif en plusieurs étapes pour développer un modèle de légendage d'images spécifique au secteur des TIC de 7 milliards de paramètres, qui exploite des données synthétisées et annotées par des experts pour surpasser nettement des modèles de l'état de l'art plus grands dans l'extraction de texte logique à partir d'images techniques.

Auteurs originaux : Lianying Chao, Kai Zhang, Haoran Cai, Sijie Wu, Xubin Li, Xin Chen

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lianying Chao, Kai Zhang, Haoran Cai, Sijie Wu, Xubin Li, Xin Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un étudiant brillant mais inexpérimenté (une Intelligence Artificielle) comment lire des plans techniques complexes utilisés par les ingénieurs dans l'industrie des télécommunications. Ces plans ne sont pas de simples images ; ce sont des organigrammes et des schémas de signaux remplis d'une logique spécifique que les modèles d'IA généraux comprennent souvent mal.

Ce papier décrit un programme de formation spécial conçu pour transformer une IA standard en un « lecteur de plans » expert pour l'industrie technologique. Voici comment ils ont procédé, en utilisant des analogies simples :

Le Problème : Le « Généraliste » contre le « Spécialiste »

Pensez aux modèles d'IA puissants actuels (comme ceux avec lesquels vous pourriez discuter en ligne) comme à des bibliothécaires généralistes. Ils ont lu des millions de livres et peuvent décrire parfaitement une image d'un chat ou d'un coucher de soleil. Cependant, si vous leur remettez un organigramme d'ingénierie complexe, ils pourraient deviner à tort les connexions ou manquer le sens spécifique d'un symbole. Ils manquent de « vocabulaire industriel ».

Les auteurs voulaient créer un bibliothécaire spécialiste capable d'examiner ces schémas techniques et de les expliquer avec une précision parfaite, même si ce spécialiste a une mémoire plus petite (moins de « paramètres ») que les géants bibliothécaires généralistes.

La Solution : Un Camp d'Entraînement en Trois Étapes

Au lieu de simplement nourrir l'IA avec un tas massif de données aléatoires, les auteurs ont construit un « camp d'entraînement » en trois étapes pour enseigner à l'IA comment lire ces schémas spécifiques.

Étape 1 : Les « Feuilles d'Exercices » (Données Synthétiques)

L'Analogie : Imaginez donner à l'étudiant des milliers de feuilles d'exercices où les réponses sont déjà écrites parfaitement.
Ce qu'ils ont fait : Ils ont utilisé un outil informatique appelé « Mermaid » pour dessiner automatiquement des milliers de faux organigrammes et schémas de signaux. Ensuite, ils ont utilisé une autre IA pour rédiger les « bonnes réponses » (descriptions textuelles) pour ces faux schémas.
L'Objectif : Cela a donné à l'IA une masse considérable de pratique pour apprendre la structure de ces schémas sans avoir besoin que des humains en dessinent chacun individuellement.

Étape 2 : L'« Apprentissage » (Annotations d'Experts)

L'Analogie : Maintenant, l'étudiant est placé dans un véritable atelier avec un maître artisan. Le maître pointe un vrai schéma et dit : « C'est ainsi que nous décrivons cette partie. Ne dites pas simplement « flèche », dites « flux de signal du Nœud A au Nœud B ». »
Ce qu'ils ont fait : De vrais experts humains de l'industrie technologique ont rédigé manuellement des descriptions pour environ 2 000 vrais schémas. Ils ont enseigné à l'IA le « dialecte » et la logique spécifiques utilisés par les professionnels.
L'Objectif : Enseigner à l'IA à parler comme un expert, et non pas seulement comme un observateur général.

Étape 3 : L'« Examen Oral » (Réponse à des Questions Visuelles)

L'Analogie : L'étudiant est maintenant testé. Au lieu de simplement décrire l'image, le professeur pose des questions spécifiques : « Si le signal s'arrête à ce nœud, où va-t-il ensuite ? » ou « Combien d'étapes comporte ce processus ? »
Ce qu'ils ont fait : Ils ont créé un ensemble de questions et de réponses basées sur les schémas. L'IA devait regarder l'image et répondre correctement à la question.
L'Objectif : S'assurer que l'IA comprend vraiment la logique et les relations à l'intérieur du schéma, et pas seulement les mots sur la page.

Les Résultats : Petit mais Puissant

Le papier affirme que leur nouveau modèle, appelé DICModel, est étonnamment efficace :

Taille : Il est relativement petit (7 milliards de « cellules cérébrales » ou paramètres).
Performance : Il a surpassé des modèles beaucoup plus grands et célèbres (certains avec 32 milliards de paramètres) et même des géants à code source fermé comme Gemini de Google et Claude.
Le Score : Lors des tests, il était environ 57 % meilleur pour décrire le texte dans les images que le prochain meilleur modèle de 7 milliards de paramètres, et il était plus précis pour répondre à des questions techniques que les modèles massifs de 32 milliards de paramètres.

Pourquoi Cela Compte (Selon le Papier)

Les auteurs expliquent que ce modèle agit comme un traducteur. Il peut prendre une image complexe (un organigramme) et la transformer en un texte clair et logique. Cela est crucial car :

Moteurs de Recherche : Il aide à créer des bases de données où vous pouvez rechercher des images en utilisant du texte, ou trouver du texte en utilisant des images.
Assistants IA : Il permet à de futurs agents IA de « lire » des manuels techniques et des schémas pour aider les ingénieurs ou les clients à résoudre des problèmes.

Les Limites

Les auteurs sont honnêtes sur ce que leur modèle ne peut pas encore faire :

Si un organigramme est extrêmement désordonné ou comporte un « saut » très complexe vers une autre partie de la page, le modèle pourrait se tromper sur l'endroit où va la ligne.
Il ne gère actuellement que les images (schémas), et non les fichiers audio ou vidéo.

En bref, ce papier présente une « recette d'entraînement » ingénieuse qui permet à une petite IA efficace de devenir un maître de la lecture de schémas techniques d'ingénierie, battant au passage des concurrents beaucoup plus grands.

Résumé Technique : Génération de Légendes d'Images par des LLM Multimodaux dans les TIC

Énoncé du Problème
Dans l'industrie des Technologies de l'Information et de la Communication (TIC), l'entraînement de Modèles de Langage (LLM) spécifiques à un domaine ou la construction de systèmes de Génération Augmentée par Récupération (RAG) nécessitent d'énormes quantités de connaissances de domaine à haute valeur ajoutée. Bien que ces connaissances existent à la fois sous forme textuelle et visuelle, les méthodes traditionnelles d'analyse de documents (par exemple, Miner-U, GOT) se limitent à l'extraction de texte, jetant ainsi des informations visuelles critiques telles que les organigrammes et les schémas de signalisation. À l'inverse, bien que les Modèles de Langage Multimodaux (MLLM) généraux possèdent des capacités de compréhension d'images, ils manquent des connaissances spécifiques au domaine requises pour le secteur des TIC. Lorsqu'ils sont appliqués directement à des documents TIC, les MLLM généraux produisent souvent des erreurs de jugement logique, échouent à identifier clairement des informations spécifiques ou interprètent mal les directions de flux de signal. Le défi central réside dans l'absence d'un modèle capable de convertir avec précision des informations visuelles complexes des TIC en représentations textuelles logiques et précises.

Méthodologie
Pour répondre à ces limitations, les auteurs proposent un Modèle de Génération de Légendes d'Images Spécifique au Domaine (DICModel) basé sur une stratégie d'entraînement progressive en trois étapes. Le modèle utilise Qwen2.5-VL 7B comme architecture de base.

Étape 1 : Pré-SFT avec des Données Synthétiques
- Objectif : Enseigner au modèle les paradigmes standards d'analyse d'images et d'informations structurelles.
- Génération de Données : Environ 7 233 paires image-texte sont synthétisées. L'outil Mermaid génère des organigrammes et des schémas de signalisation à partir de code structuré. Un LLM (Grok-3) convertit ensuite le code Mermaid en texte d'annotation standardisé et approuvé par des experts.
- Résultat : Le modèle apprend à analyser les images en formats textuels structurés.
Étape 2 : Post-SFT avec des Données Annotées par des Experts
- Objectif : Injecter des connaissances spécifiques au domaine TIC et affiner la précision de l'analyse.
- Génération de Données : Des experts du domaine TIC annotent manuellement environ 2 274 paires image-texte de haute qualité issues de documents professionnels réels (incluant 1 100 organigrammes et 1 174 schémas de signalisation). Les experts utilisent des modèles fixes pour garantir que le texte respecte les normes de l'industrie.
- Résultat : Le modèle s'adapte aux schémas de raisonnement et à la terminologie spécifiques du domaine TIC.
Étape 3 : Instruction-SFT avec des Données VQA
- Objectif : Améliorer la capacité du modèle à suivre les instructions des utilisateurs et à comprendre les détails fins, les composants locaux et les mises en page globales.
- Génération de Données : Environ 1 573 paires de Réponses à des Questions Visuelles (VQA) sont créées. Les questions sont générées à la fois par des MLLM (Gemini 2.0) et par des experts du domaine à partir d'images TIC.
- Résultat : Le modèle améliore sa conformité aux instructions et ses capacités de compréhension approfondie.

Contributions Clés

Stratégie d'Entraînement Progressive : L'article introduit un pipeline d'entraînement en trois étapes (Synthétique $\rightarrow$ Annoté par des Experts $\rightarrow$ VQA basé sur des Instructions) qui comble efficacement le fossé entre les capacités des MLLM généraux et les exigences spécifiques du domaine TIC.
Pipeline de Synthèse de Données : Une méthode novatrice est développée pour synthétiser des données d'entraînement de haute qualité en combinant l'outil de diagrammes Mermaid avec la réécriture de texte basée sur des LLM, répondant ainsi à la pénurie de données de domaine annotées.
Système d'Évaluation Complet : Les auteurs ont construit un système d'évaluation rigoureux impliquant des experts du domaine TIC. Cela inclut l'annotation manuelle de 100 images critiques pour la qualité de l'analyse et la création de 300 questions objectives (200 à choix unique, 100 à choix multiple) pour tester la compréhension d'images.

Résultats Expérimentaux
Le DICModel (7 milliards de paramètres) a été évalué par rapport à des modèles de l'État de l'Art (SOTA), incluant des API propriétaires (Gemini 2.0, Claude-3.5) et des modèles open-source de tailles variées (de 7B à 32B).

Réponse à des Questions Visuelles (VQA) : Sur des questions objectives construites par des experts, le DICModel a atteint une précision moyenne ( $Prec_a$ ) de 72,3 %. Cela surpasse les modèles de 32 milliards de paramètres (Qwen2.5-VL 32B à 69,0 %, Intern2.5-VL 32B à 71,3 %) et les modèles propriétaires (Gemini 2.0 à 64,3 %). Par rapport au deuxième meilleur modèle 7B (Qwen2.5-VL 7B), le DICModel a amélioré la précision de 10,3 %.
Analyse d'Images (Génération de Légendes) : En termes de métriques de similarité textuelle (BLEU, CIDEr, METEOR), le DICModel a nettement surpassé les autres modèles 7B. Plus précisément, il a amélioré le score BLEU d'environ 56,8 % par rapport à Qwen2.5-VL 7B et de 20,8 % par rapport à Qwen2.5-VL 32B.
Étude d'Ablation : L'étude a confirmé que les trois étapes d'entraînement sont nécessaires. Les deux premières étapes étaient critiques pour maximiser la précision de l'analyse (BLEU), tandis que la troisième étape était essentielle pour maximiser la précision des réponses aux questions.

Signification et Revendications
L'article affirme que le DICModel démontre qu'un modèle plus petit et spécifique à un domaine (7 milliards de paramètres) peut surpasser des modèles généralistes significativement plus grands (32 milliards de paramètres) dans des tâches TIC spécialisées. En extrayant efficacement du texte logique d'images complexes telles que des organigrammes et des schémas de signalisation, le modèle permet la création de bases de données vectorielles multimodales à haute valeur ajoutée et soutient le développement de LLM spécifiques à un domaine. Les auteurs positionnent ce travail comme une étape fondamentale vers des applications d'IA plus avancées dans le secteur des TIC, telles que le service client intelligent, les systèmes RAG multimodaux et la gestion automatisée des actifs de données.

Limitations
Les auteurs reconnaissent que le modèle éprouve encore des difficultés avec des diagrammes hautement complexes, spécifiquement dans l'identification des étapes cibles lorsque des lignes de fusion sont impliquées dans les organigrammes ou dans la détermination des points de terminaison des signaux dans des schémas où les signaux s'étendent sur plusieurs nœuds. De plus, la portée actuelle est limitée aux images statiques, les données audio et vidéo présentant des défis futurs pour une représentation croisée unifiée.