Multi-Modal LLM based Image Captioning in ICT: Bridging the Gap Between General and Industry Domain

ICT におけるマルチモーダル LLM に基づく画像キャプション生成の技術的概要

問題定義
情報通信技術（ICT）業界において、ドメイン固有の大規模言語モデル（LLM）をトレーニングするか、検索拡張生成（RAG）システムを構築するには、膨大な量の高価値ドメイン知識が必要です。この知識はテキストと画像の両方のモダリティに存在しますが、従来のドキュメント解析手法（例：Miner-U、GOT）はテキストの抽出に限定されており、フローチャートや信号図といった重要な視覚情報が失われます。一方、一般的なマルチモーダル大規模言語モデル（MLLM）は画像理解能力を備えていますが、ICT 業界に必要な特定のドメイン知識を欠いています。ICT ドキュメントに直接適用すると、一般的な MLLM は論理的判断で誤りを犯したり、特定の情報を明確に特定できなかったり、信号の流れ方向を誤解釈したりすることがよくあります。核心的な課題は、複雑な ICT 視覚情報を正確かつ論理的なテキスト表現に変換できるモデルが存在しないことです。

手法
これらの限界に対処するため、著者は 3 段階の progressive training 戦略に基づくドメイン固有画像キャプションモデル（DICModel）を提案します。このモデルは、ベースアーキテクチャとしてQwen2.5-VL 7Bを利用します。

1. ステージ 1：合成データによる事前 SFT

   • 目的： モデルに画像解析と構造化情報の標準的なパラダイムを習得させること。
   • データ生成： 約 7,233 件の画像 - テキスト対が合成されます。Mermaidツールが構造化コードからフローチャートや信号図を生成します。その後、LLM（Grok-3）が Mermaid コードを、標準化され専門家によって承認された注釈テキストに変換します。
   • 成果： モデルは画像を構造化されたテキスト形式に解析することを学習します。

2. ステージ 2：専門家注釈データによる事後 SFT

   • 目的： 特定の ICT ドメイン知識を注入し、解析精度を洗練させること。
   • データ生成： ICT ドメインの専門家が、実世界の専門ドキュメント（フローチャート 1,100 件、信号図 1,174 件を含む）から約 2,274 件の高品質な画像 - テキスト対を手動で注釈付けします。専門家は業界標準に合致するよう、固定テンプレートを使用してテキストを記述します。
   • 成果： モデルは ICT ドメイン固有の推論パターンと用語に適応します。

3. ステージ 3：VQA データによる指示 SFT

   • 目的： モデルのユーザー指示への追従能力と、微細な詳細、局所コンポーネント、およびグローバルレイアウトの理解能力を強化すること。
   • データ生成： 約 1,573 件の視覚的質問応答（VQA）対が作成されます。質問は、MLLM（Gemini 2.0）とドメインの専門家の両方が ICT 画像に基づいて生成します。
   • 成果： モデルは指示遵守と深層理解能力を向上させます。

主な貢献

• Progressive Training 戦略： 本論文は、一般的な MLLM の能力と特定の ICT ドメイン要件の間のギャップを効果的に埋める 3 段階のトレーニングパイプライン（合成 $\rightarrow$ 専門家注釈 $\rightarrow$ 指示ベースの VQA）を導入します。
• データ合成パイプライン： Mermaid 図描画ツールと LLM ベースのテキスト書き換えを組み合わせることで、注釈付きドメインデータの不足に対処する高品質なトレーニングデータを合成する新しい手法が開発されました。
• 包括的な評価システム： 著者は ICT ドメインの専門家を含む厳格な評価システムを構築しました。これには、解析品質のための 100 件の重要画像の手動注釈付けと、画像理解をテストするための 300 件の客観的質問（単一選択 200 件、複数選択 100 件）の作成が含まれます。

実験結果
DICModel（7B パラメータ）は、Gemini 2.0 や Claude-3.5 などのクローズドソース API、および 7B から 32B までのさまざまなサイズのオープンソースモデルを含む、最先端（SOTA）モデルに対して評価されました。

• 視覚的質問応答（VQA）： 専門家によって構築された客観的質問において、DICModel は平均精度（$Prec_a$）**72.3%を達成しました。これは、32B パラメータモデル（Qwen2.5-VL 32B は 69.0%、Intern2.5-VL 32B は 71.3%）やクローズドソースモデル（Gemini 2.0 は 64.3%）を上回ります。2 番目に優れた 7B モデル（Qwen2.5-VL 7B）と比較して、DICModel は精度を10.3%**向上させました。
• 画像解析（キャプション生成）： テキスト類似度指標（BLEU、CIDEr、METEOR）の観点から、DICModel は他の 7B モデルを大幅に上回りました。具体的には、Qwen2.5-VL 7B と比較して BLEU スコアが約**56.8%向上し、Qwen2.5-VL 32B と比較して20.8%**向上しました。
• アブレーション研究： この研究は、3 つのトレーニング段階すべてが必要であることを確認しました。最初の 2 つの段階は解析精度（BLEU）を最大化するために決定的であり、3 段階目は質問応答精度を最大化するために不可欠でした。

意義と主張
本論文は、DICModel が、より小規模なドメイン固有モデル（7B パラメータ）が、専門的な ICT タスクにおいて、はるかに大規模な汎用モデル（32B パラメータ）を上回る性能を発揮することを示していると主張しています。フローチャートや信号図のような複雑な画像から論理的なテキストを効率的に抽出することで、このモデルは高価値のマルチモーダルベクトルデータベースの作成を可能にし、ドメイン固有 LLM の開発を支援します。著者は、この作業を、インテリジェントなカスタマーサービス、マルチモーダル RAG システム、自動化されたデータ資産管理など、ICT セクターにおけるより高度な AI 応用への基礎的なステップとして位置づけています。

限界
著者は、モデルが非常に複雑な図において依然として困難を抱えていることを認めています。具体的には、フローチャートでマージラインが関与する際のターゲットステップの特定や、信号が複数のノードにまたがる図における信号の終点の決定です。さらに、現在の範囲は静的画像に限定されており、音声および動画データは、統一されたクロスモーダル表現にとって将来の課題となっています。