Multi-Modal LLM based Image Captioning in ICT: Bridging the Gap Between General and Industry Domain

기술 요약: ICT 분야 멀티모달 LLM 기반 이미지 캡셔닝

문제 제기
정보통신기술 (ICT) 산업에서 도메인 특화형 대규모 언어 모델 (LLM) 을 학습시키거나 검색 증강 생성 (RAG) 시스템을 구축하려면 방대한 양의 고부가가치 도메인 지식이 필요합니다. 이러한 지식은 텍스트와 이미지 두 가지 모달리티로 존재하지만, 전통적인 문서 파싱 방법 (예: Miner-U, GOT) 은 텍스트 추출에 국한되어 흐름도 및 신호 도표와 같은 중요한 시각 정보를 누락시킵니다. 반면, 범용 멀티모달 대규모 언어 모델 (MLLM) 은 이미지 이해 능력을 갖추고 있으나 ICT 산업에 필요한 특정 도메인 지식이 부족합니다. 이를 ICT 문서에 직접 적용할 경우, 범용 MLLM 은 논리적 판단 오류를 범하거나 특정 정보를 명확히 식별하지 못하며 신호 흐름 방향을 오해하는 경우가 많습니다. 핵심적인 과제는 복잡한 ICT 시각 정보를 정확하고 논리적인 텍스트 표현으로 변환할 수 있는 모델이 부재하다는 점입니다.

방법론
이러한 한계를 극복하기 위해 저자들은 3 단계 점진적 학습 전략을 기반으로 한 도메인 특화 이미지 캡셔닝 모델 (DICModel) 을 제안합니다. 본 모델은 Qwen2.5-VL 7B를 기본 아키텍처로 활용합니다.

1. 1 단계: 합성 데이터를 통한 사전 SFT (Supervised Fine-Tuning)

   • 목표: 모델에게 이미지 파싱 및 구조적 정보의 표준 패러다임을 학습시킵니다.
   • 데이터 생성: 약 7,233 개의 이미지 - 텍스트 쌍이 합성됩니다. Mermaid 도구가 구조화된 코드에서 흐름도와 신호 도표를 생성하며, LLM(Grok-3) 은 이를 Mermaid 코드를 표준화되고 전문가가 승인한 주석 텍스트로 변환합니다.
   • 결과: 모델이 이미지를 구조화된 텍스트 형식으로 파싱하는 방법을 학습합니다.

2. 2 단계: 전문가 주석 데이터를 통한 사후 SFT

   • 목표: 특정 ICT 도메인 지식을 주입하고 파싱 정밀도를 정제합니다.
   • 데이터 생성: ICT 도메인 전문가들이 실제 전문 문서 (흐름도 1,100 개 및 신호 도표 1,174 개 포함) 에서 약 2,274 개의 고품질 이미지 - 텍스트 쌍을 수동으로 주석합니다. 전문가는 텍스트가 산업 표준과 일치하도록 고정된 템플릿을 사용합니다.
   • 결과: 모델이 ICT 도메인의 특정 추론 패턴과 용어에 적응합니다.

3. 3 단계: VQA 데이터를 통한 지시 기반 SFT

   • 목표: 모델의 사용자 지시 따르기 능력과 세밀한 디테일, 로컬 구성 요소, 글로벌 레이아웃 이해 능력을 향상시킵니다.
   • 데이터 생성: 약 1,573 개의 시각적 질문 답변 (VQA) 쌍이 생성됩니다. 질문은 ICT 이미지를 기반으로 MLLM(Gemini 2.0) 과 도메인 전문가가 모두 생성합니다.
   • 결과: 모델의 지시 준수 및 심층 이해 능력이 향상됩니다.

주요 기여

• 점진적 학습 전략: 본 논문은 범용 MLLM 능력과 특정 ICT 도메인 요구사항 간의 간극을 효과적으로 연결하는 3 단계 학습 파이프라인 (합성 데이터 $\rightarrow$ 전문가 주석 데이터 $\rightarrow$ 지시 기반 VQA) 을 제시합니다.
• 데이터 합성 파이프라인: Mermaid 다이어그램 도구와 LLM 기반 텍스트 재작성을 결합하여 고품질 학습 데이터를 합성하는 새로운 방법을 개발함으로써, 주석된 도메인 데이터의 부족 문제를 해결했습니다.
• 종합 평가 시스템: 저자들은 ICT 도메인 전문가를 참여시킨 엄격한 평가 시스템을 구축했습니다. 여기에는 파싱 품질을 평가하기 위한 100 개의 중요 이미지에 대한 수동 주석과 이미지 이해를 테스트하기 위한 300 개의 객관식 질문 (단일 선택 200 개, 복수 선택 100 개) 생성이 포함됩니다.

실험 결과
DICModel(7B 파라미터) 은 폐쇄형 API(Gemini 2.0, Claude-3.5) 와 다양한 크기 (7B~32B) 의 오픈소스 모델을 포함한 최첨단 (SOTA) 모델들과 비교 평가되었습니다.

• 시각적 질문 답변 (VQA): 전문가가 구성한 객관식 질문에 대해 DICModel 은 평균 정확도 ($Prec_a$) **72.3%**를 달성했습니다. 이는 32B 파라미터 모델 (Qwen2.5-VL 32B 69.0%, Intern2.5-VL 32B 71.3%) 과 폐쇄형 모델 (Gemini 2.0 64.3%) 보다 우수한 성능입니다. 두 번째로 좋은 7B 모델 (Qwen2.5-VL 7B) 과 비교할 때 DICModel 은 정확도를 10.3% 향상시켰습니다.
• 이미지 파싱 (캡셔닝): 텍스트 유사도 지표 (BLEU, CIDEr, METEOR) 측면에서 DICModel 은 다른 7B 모델들을 크게 앞섰습니다. 구체적으로 Qwen2.5-VL 7B 대비 BLEU 점수가 약 56.8% 향상되었고, Qwen2.5-VL 32B 대비 20.8% 향상되었습니다.
• Ablation Study: 본 연구는 세 가지 학습 단계가 모두 필수적임을 확인했습니다. 첫 두 단계는 파싱 정확도 (BLEU) 를 극대화하는 데 결정적이었으며, 세 번째 단계는 질문 답변 정확도를 극대화하는 데 필수적이었습니다.

의의 및 주장
본 논문은 DICModel 이 7B 파라미터 규모의 작은 도메인 특화 모델이 32B 파라미터 규모의 훨씬 더 큰 범용 모델보다 전문적인 ICT 작업에서 더 우수한 성능을 발휘할 수 있음을 입증한다고 주장합니다. 흐름도 및 신호 도표와 같은 복잡한 이미지에서 논리적 텍스트를 효율적으로 추출함으로써, 이 모델은 고부가가치 멀티모달 벡터 데이터베이스 생성을 가능하게 하고 도메인 특화형 LLM 개발을 지원합니다. 저자들은 이 작업을 ICT 산업의 더 진보된 AI 응용 (예: 지능형 고객 서비스, 멀티모달 RAG 시스템, 자동화된 데이터 자산 관리) 을 향한 기초적인 단계로 위치시킵니다.

한계점
저자들은 모델이 여전히 매우 복잡한 다이어그램에서 어려움을 겪고 있음을 인정합니다. 구체적으로 흐름도에서 병합 선이 포함될 때 목표 단계를 식별하거나, 신호가 여러 노드에 걸쳐 있는 도표에서 신호 종점을 결정하는 데 문제가 있습니다. 또한, 현재 범위는 정적 이미지에 국한되어 있으며, 오디오 및 비디오 데이터는 통합된 교차 모달 표현을 위한 향후 과제로 남아 있습니다.