Multi-Modal LLM based Image Captioning in ICT: Bridging the Gap Between General and Industry Domain

Resumen Técnico: Generación de Descripciones de Imágenes Basada en LLM Multimodal en TIC

Enunciado del Problema
En la industria de las Tecnologías de la Información y las Comunicaciones (TIC), el entrenamiento de Modelos de Lenguaje Grande (LLM) específicos de dominio o la construcción de sistemas de Generación Aumentada por Recuperación (RAG) requiere grandes cantidades de conocimiento de alto valor en el dominio. Aunque este conocimiento existe tanto en modalidades textuales como de imagen, los métodos tradicionales de análisis de documentos (por ejemplo, Miner-U, GOT) se limitan a extraer texto, descartando así información visual crítica como diagramas de flujo y esquemas de señalización. Por el contrario, aunque los Modelos de Lenguaje Grande Multimodales (MLLM) generales poseen capacidades de comprensión de imágenes, carecen del conocimiento específico de dominio requerido para el sector TIC. Cuando se aplican directamente a documentos TIC, los MLLM generales a menudo cometen errores en el juicio lógico, no logran identificar información específica claramente o malinterpretan las direcciones del flujo de señal. El desafío central es la ausencia de un modelo capaz de convertir con precisión información visual compleja de TIC en representaciones textuales precisas y lógicas.

Metodología
Para abordar estas limitaciones, los autores proponen un Modelo de Generación de Descripciones de Imágenes Específico de Dominio (DICModel) basado en una estrategia de entrenamiento progresivo de tres etapas. El modelo utiliza Qwen2.5-VL 7B como su arquitectura base.

1. Etapa 1: Pre-SFT con Datos Sintéticos

   • Objetivo: Enseñar al modelo los paradigmas estándar de análisis de imágenes e información estructural.
   • Generación de Datos: Se sintetizan aproximadamente 7.233 pares de imagen-texto. La herramienta Mermaid genera diagramas de flujo y esquemas de señalización a partir de código estructurado. Un LLM (Grok-3) convierte luego el código Mermaid en texto de anotación estandarizado y aprobado por expertos.
   • Resultado: El modelo aprende a analizar imágenes en formatos de texto estructurado.

2. Etapa 2: Post-SFT con Datos Anotados por Expertos

   • Objetivo: Inyectar conocimiento específico de dominio TIC y refinar la precisión del análisis.
   • Generación de Datos: Expertos del dominio TIC anotan manualmente aproximadamente 2.274 pares de imagen-texto de alta calidad extraídos de documentos profesionales del mundo real (incluyendo 1.100 diagramas de flujo y 1.174 esquemas de señal). Los expertos utilizan plantillas fijas para asegurar que el texto se alinee con los estándares de la industria.
   • Resultado: El modelo se adapta a los patrones de razonamiento y la terminología específicos del dominio TIC.

3. Etapa 3: SFT con Instrucciones mediante Datos de VQA

   • Objetivo: Mejorar la capacidad del modelo para seguir instrucciones de usuario y comprender detalles finos, componentes locales y diseños globales.
   • Generación de Datos: Se crean aproximadamente 1.573 pares de Respuesta a Preguntas Visuales (VQA). Las preguntas son generadas tanto por MLLM (Gemini 2.0) como por expertos del dominio basándose en imágenes TIC.
   • Resultado: El modelo mejora su cumplimiento de instrucciones y sus capacidades de comprensión profunda.

Contribuciones Clave

• Estrategia de Entrenamiento Progresivo: El artículo introduce una tubería de entrenamiento de tres etapas (Sintético $\rightarrow$ Anotado por Expertos $\rightarrow$ VQA basado en Instrucciones) que cierra eficazmente la brecha entre las capacidades generales de los MLLM y los requisitos específicos del dominio TIC.
• Tubería de Síntesis de Datos: Se desarrolla un método novedoso para sintetizar datos de entrenamiento de alta calidad combinando la herramienta de diagramación Mermaid con la reescritura de texto basada en LLM, abordando la escasez de datos de dominio anotados.
• Sistema de Evaluación Exhaustivo: Los autores construyeron un sistema de evaluación riguroso que involucra a expertos del dominio TIC. Esto incluye la anotación manual de 100 imágenes críticas para la calidad del análisis y la creación de 300 preguntas objetivas (200 de opción única, 100 de opción múltiple) para probar la comprensión de imágenes.

Resultados Experimentales
El DICModel (7 mil millones de parámetros) fue evaluado frente a modelos de última generación (SOTA), incluyendo APIs de código cerrado (Gemini 2.0, Claude-3.5) y modelos de código abierto de diversos tamaños (de 7B a 32B).

• Respuesta a Preguntas Visuales (VQA): En preguntas objetivas construidas por expertos, DICModel logró una precisión promedio ($Prec_a$) de 72,3%. Esto supera a los modelos de 32 mil millones de parámetros (Qwen2.5-VL 32B con 69,0%, Intern2.5-VL 32B con 71,3%) y a los modelos de código cerrado (Gemini 2.0 con 64,3%). En comparación con el segundo mejor modelo de 7B (Qwen2.5-VL 7B), DICModel mejoró la precisión en un 10,3%.
• Análisis de Imágenes (Generación de Descripciones): En términos de métricas de similitud textual (BLEU, CIDEr, METEOR), DICModel superó significativamente a otros modelos de 7B. Específicamente, mejoró la puntuación BLEU en aproximadamente un 56,8% en comparación con Qwen2.5-VL 7B y en un 20,8% en comparación con Qwen2.5-VL 32B.
• Estudio de Ablación: El estudio confirmó que las tres etapas de entrenamiento son necesarias. Las dos primeras etapas fueron críticas para maximizar la precisión del análisis (BLEU), mientras que la tercera etapa fue esencial para maximizar la precisión en la respuesta a preguntas.

Significado y Afirmaciones
El artículo afirma que DICModel demuestra que un modelo más pequeño y específico de dominio (7 mil millones de parámetros) puede superar a modelos de propósito general significativamente más grandes (32 mil millones de parámetros) en tareas especializadas de TIC. Al extraer eficientemente texto lógico de imágenes complejas como diagramas de flujo y esquemas de señalización, el modelo permite la creación de bases de datos vectoriales multimodales de alto valor y apoya el desarrollo de LLM específicos de dominio. Los autores posicionan este trabajo como un paso fundamental hacia aplicaciones de IA más avanzadas en el sector TIC, como atención al cliente inteligente, sistemas RAG multimodales y gestión automatizada de activos de datos.

Limitaciones
Los autores reconocen que el modelo aún lucha con diagramas altamente complejos, específicamente en la identificación de pasos objetivo cuando las líneas de fusión están involucradas en diagramas de flujo o en la determinación de los puntos finales de la señal en esquemas donde las señales abarcan múltiples nodos. Además, el alcance actual se limita a imágenes estáticas, siendo los datos de audio y video desafíos futuros para la representación cruzada unificada de modalidades.