💻 computer science

Multi-Modal LLM based Image Captioning in ICT: Bridging the Gap Between General and Industry Domain

Este artigo propõe uma estratégia de treinamento progressivo em múltiplos estágios para desenvolver um modelo de legendagem de imagens específico do domínio com 7 bilhões de parâmetros para a indústria de TIC, que aproveita dados sintetizados e anotados por especialistas para superar significativamente modelos maiores e mais avançados na extração de texto lógico de imagens técnicas.

Autores originais: Lianying Chao, Kai Zhang, Haoran Cai, Sijie Wu, Xubin Li, Xin Chen

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lianying Chao, Kai Zhang, Haoran Cai, Sijie Wu, Xubin Li, Xin Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar a um aluno brilhante, mas inexperiente (uma Inteligência Artificial), como ler projetos técnicos complexos utilizados por engenheiros na indústria de telecomunicações. Esses projetos não são apenas imagens; são fluxogramas e diagramas de sinal repletos de lógica específica que modelos de IA gerais frequentemente interpretam erroneamente.

Este artigo descreve um programa de treinamento especial projetado para transformar uma IA padrão em um especialista "leitor de projetos" para a indústria de tecnologia. Aqui está como eles fizeram isso, usando analogias simples:

O Problema: O "Generalista" versus o "Especialista"

Pense nos modelos de IA poderosos atuais (como aqueles com os quais você pode conversar online) como bibliotecários generalistas. Eles leram milhões de livros e podem descrever perfeitamente uma imagem de um gato ou de um pôr do sol. No entanto, se você entregar a eles um fluxograma de engenharia complexo, podem adivinhar as conexões erradas ou perder o significado específico de um símbolo. Eles carecem do "vocabulário da indústria".

Os autores queriam construir um bibliotecário especialista que pudesse olhar para esses diagramas técnicos e explicá-los com precisão perfeita, mesmo que este especialista tenha uma memória menor (menos "parâmetros") do que os gigantes bibliotecários generalistas.

A Solução: Um Campo de Treinamento em Três Etapas

Em vez de simplesmente alimentar a IA com uma pilha massiva de dados aleatórios, os autores construíram um "campo de treinamento" de três etapas para ensinar a IA a ler esses diagramas específicos.

Etapa 1: As "Folhas de Exercícios" (Dados Sintéticos)

A Analogia: Imagine entregar ao estudante milhares de folhas de exercícios onde as respostas já estão escritas perfeitamente.
O que fizeram: Eles usaram uma ferramenta computacional chamada "Mermaid" para desenhar automaticamente milhares de fluxogramas e diagramas de sinal falsos. Em seguida, usaram outra IA para escrever as "respostas corretas" (descrições em texto) para esses diagramas falsos.
O Objetivo: Isso forneceu à IA uma quantidade massiva de prática para aprender a estrutura desses diagramas, sem a necessidade de humanos desenharem cada um deles.

Etapa 2: O "Aprendizado" (Anotações de Especialistas)

A Analogia: Agora, o estudante é colocado em uma oficina real com um mestre artesão. O mestre aponta para um diagrama real e diz: "É assim que nós descrevemos esta parte. Não diga apenas 'seta', diga 'fluxo de sinal do Nó A para o Nó B'".
O que fizeram: Especialistas humanos reais da indústria de tecnologia escreveram manualmente descrições para cerca de 2.000 diagramas reais. Eles ensinaram à IA o "dialeto" e a lógica específicos usados por profissionais.
O Objetivo: Ensinar a IA a soar como um especialista, e não apenas como um observador geral.

Etapa 3: O "Exame Oral" (Resposta a Perguntas Visuais)

A Analogia: O estudante é agora testado. Em vez de apenas descrever a imagem, o professor faz perguntas específicas: "Se o sinal parar neste nó, para onde ele vai a seguir?" ou "Quantos passos há neste processo?".
O que fizeram: Eles criaram um conjunto de perguntas e respostas baseado nos diagramas. A IA teve que olhar para a imagem e responder à pergunta corretamente.
O Objetivo: Garantir que a IA realmente compreenda a lógica e as relações dentro do diagrama, e não apenas as palavras na página.

Os Resultados: Pequeno, mas Poderoso

O artigo afirma que seu novo modelo, chamado DICModel, é surpreendentemente eficaz:

Tamanho: É relativamente pequeno (7 bilhões de "células cerebrais" ou parâmetros).
Desempenho: Superou modelos muito maiores e famosos (alguns com 32 bilhões de parâmetros) e até gigantes de código fechado como o Gemini do Google e o Claude.
A Pontuação: Nos testes, foi cerca de 57% melhor ao descrever o texto nas imagens do que o próximo melhor modelo de 7 bilhões, e foi mais preciso ao responder perguntas técnicas do que os massivos modelos de 32 bilhões.

Por Que Isso Importa (De Acordo com o Artigo)

Os autores explicam que este modelo atua como um tradutor. Ele pode pegar uma imagem complexa (um fluxograma) e transformá-la em texto claro e lógico. Isso é crucial porque:

Motores de Busca: Ajuda a criar bancos de dados onde você pode pesquisar imagens usando texto, ou encontrar texto usando imagens.
Assistentes de IA: Permite que futuros agentes de IA "leiam" manuais técnicos e diagramas para ajudar engenheiros ou clientes a resolver problemas.

As Limitações

Os autores são honestos sobre o que seu modelo não consegue fazer ainda:

Se um fluxograma for extremamente bagunçado ou tiver um "salto" muito complexo para outra parte da página, o modelo pode ficar confuso sobre para onde a linha vai.
Atualmente, ele lida apenas com imagens (diagramas), não com arquivos de áudio ou vídeo.

Em resumo, este artigo apresenta uma "receita de treinamento" inteligente que permite que uma IA pequena e eficiente se torne mestre na leitura de diagramas de engenharia técnicos, superando concorrentes muito maiores no processo.

Resumo Técnico: Legendagem de Imagens Baseada em LLMs Multimodais em TIC

Declaração do Problema
Na indústria de Tecnologias da Informação e Comunicação (TIC), o treinamento de Modelos de Linguagem de Grande Porte (LLMs) específicos de domínio ou a construção de sistemas de Geração Aumentada por Recuperação (RAG) requer vastas quantidades de conhecimento de domínio de alto valor. Embora esse conhecimento exista tanto nas modalidades textual quanto visual, os métodos tradicionais de análise de documentos (por exemplo, Miner-U, GOT) limitam-se à extração de texto, descartando assim informações visuais críticas, como fluxogramas e diagramas de sinalização. Por outro lado, embora os Modelos de Linguagem de Grande Porte Multimodais (MLLMs) gerais possuam capacidades de compreensão de imagens, carecem do conhecimento específico de domínio necessário para o setor de TIC. Quando aplicados diretamente a documentos de TIC, os MLLMs gerais frequentemente cometem erros em julgamentos lógicos, falham em identificar informações específicas claramente ou interpretam erroneamente as direções do fluxo de sinal. O desafio central é a ausência de um modelo capaz de converter com precisão informações visuais complexas de TIC em representações textuais lógicas e precisas.

Metodologia
Para abordar essas limitações, os autores propõem um Modelo de Legendagem de Imagens Específico de Domínio (DICModel) baseado em uma estratégia de treinamento progressivo de três estágios. O modelo utiliza Qwen2.5-VL 7B como sua arquitetura base.

Estágio 1: Pré-SFT com Dados Sintéticos
- Objetivo: Ensinar ao modelo os paradigmas padrão de análise de imagens e informações estruturais.
- Geração de Dados: Aproximadamente 7.233 pares imagem-texto são sintetizados. A ferramenta Mermaid gera fluxogramas e diagramas de sinalização a partir de código estruturado. Um LLM (Grok-3) converte então o código Mermaid em texto de anotação padronizado e aprovado por especialistas.
- Resultado: O modelo aprende a analisar imagens em formatos de texto estruturado.
Estágio 2: Pós-SFT com Dados Anotados por Especialistas
- Objetivo: Injetar conhecimento específico de domínio de TIC e refinar a precisão da análise.
- Geração de Dados: Especialistas do domínio de TIC anotam manualmente aproximadamente 2.274 pares imagem-texto de alta qualidade provenientes de documentos profissionais do mundo real (incluindo 1.100 fluxogramas e 1.174 diagramas de sinal). Os especialistas utilizam modelos fixos para garantir que o texto esteja alinhado com os padrões da indústria.
- Resultado: O modelo adapta-se aos padrões de raciocínio e terminologia específicos do domínio de TIC.
Estágio 3: SFT com Instruções usando Dados de VQA
- Objetivo: Aprimorar a capacidade do modelo de seguir instruções do usuário e compreender detalhes finos, componentes locais e layouts globais.
- Geração de Dados: Aproximadamente 1.573 pares de Resposta a Perguntas Visuais (VQA) são criados. As perguntas são geradas tanto por MLLMs (Gemini 2.0) quanto por especialistas do domínio, com base em imagens de TIC.
- Resultado: O modelo melhora sua conformidade com instruções e capacidades de compreensão profunda.

Contribuições Principais

Estratégia de Treinamento Progressivo: O artigo introduz um pipeline de treinamento de três estágios (Sintético $\rightarrow$ Anotado por Especialistas $\rightarrow$ VQA baseado em Instruções) que efetivamente preenche a lacuna entre as capacidades gerais de MLLMs e os requisitos específicos do domínio de TIC.
Pipeline de Síntese de Dados: Um método inovador foi desenvolvido para sintetizar dados de treinamento de alta qualidade, combinando a ferramenta de diagramação Mermaid com reescrita de texto baseada em LLM, abordando a escassez de dados de domínio anotados.
Sistema de Avaliação Abrangente: Os autores construíram um sistema de avaliação rigoroso envolvendo especialistas do domínio de TIC. Isso inclui a anotação manual de 100 imagens críticas para qualidade de análise e a criação de 300 perguntas objetivas (200 de escolha única, 100 de múltipla escolha) para testar a compreensão de imagens.

Resultados Experimentais
O DICModel (7B parâmetros) foi avaliado contra modelos State-of-the-Art (SOTA), incluindo APIs de código fechado (Gemini 2.0, Claude-3.5) e modelos de código aberto de tamanhos variados (7B a 32B).

Resposta a Perguntas Visuais (VQA): Em perguntas objetivas construídas por especialistas, o DICModel alcançou uma precisão média ( $Prec_a$ ) de 72,3%. Isso supera os modelos de 32B parâmetros (Qwen2.5-VL 32B em 69,0%, Intern2.5-VL 32B em 71,3%) e modelos de código fechado (Gemini 2.0 em 64,3%). Comparado ao segundo melhor modelo de 7B (Qwen2.5-VL 7B), o DICModel melhorou a precisão em 10,3%.
Análise de Imagens (Legendagem): Em termos de métricas de similaridade de texto (BLEU, CIDEr, METEOR), o DICModel superou significativamente outros modelos de 7B. Especificamente, melhorou a pontuação BLEU em aproximadamente 56,8% em comparação com o Qwen2.5-VL 7B e em 20,8% em comparação com o Qwen2.5-VL 32B.
Estudo de Ablação: O estudo confirmou que todos os três estágios de treinamento são necessários. Os dois primeiros estágios foram críticos para maximizar a precisão da análise (BLEU), enquanto o terceiro estágio foi essencial para maximizar a precisão na resposta a perguntas.

Significado e Alegações
O artigo alega que o DICModel demonstra que um modelo menor e específico de domínio (7B parâmetros) pode superar modelos genéricos significativamente maiores (32B parâmetros) em tarefas especializadas de TIC. Ao extrair eficientemente texto lógico de imagens complexas como fluxogramas e diagramas de sinalização, o modelo permite a criação de bancos de dados vetoriais multimodais de alto valor e apoia o desenvolvimento de LLMs específicos de domínio. Os autores posicionam este trabalho como um passo fundamental rumo a aplicações de IA mais avançadas no setor de TIC, como atendimento ao cliente inteligente, sistemas RAG multimodais e gerenciamento automatizado de ativos de dados.

Limitações
Os autores reconhecem que o modelo ainda enfrenta dificuldades com diagramas altamente complexos, especificamente na identificação de etapas-alvo quando linhas de fusão estão envolvidas em fluxogramas ou na determinação de pontos finais de sinal em diagramas onde os sinais abrangem múltiplos nós. Além disso, o escopo atual limita-se a imagens estáticas, com dados de áudio e vídeo apresentando desafios futuros para representação cruzada unificada.