Multi-Modal LLM based Image Captioning in ICT: Bridging the Gap Between General and Industry Domain

Riepilogo Tecnico: Generazione di Didascalie per Immagini basata su LLM Multi-Modali nel Settore ICT

Enunciato del Problema
Nel settore delle Tecnologie dell'Informazione e della Comunicazione (ICT), l'addestramento di Modelli Linguistici su Larga Scala (LLM) specifici per il dominio o la costruzione di sistemi di Generazione Aumentata dal Recupero (RAG) richiede grandi quantità di conoscenza di alto valore specifica del settore. Sebbene tale conoscenza esista sia nelle modalità testuali che in quelle visive, i metodi tradizionali di analisi dei documenti (ad es. Miner-U, GOT) sono limitati all'estrazione del testo, scartando di conseguenza informazioni visive critiche come diagrammi di flusso e schemi di segnalazione. Al contrario, sebbene i Modelli Linguistici su Larga Scala Multi-Modali (MLLM) generici possiedano capacità di comprensione delle immagini, manca loro la conoscenza specifica del settore richiesta dal comparto ICT. Quando applicati direttamente a documenti ICT, gli MLLM generici producono spesso errori nel giudizio logico, non riescono a identificare chiaramente informazioni specifiche o interpretano erroneamente le direzioni del flusso di segnale. La sfida fondamentale è l'assenza di un modello capace di convertire accuratamente informazioni visive ICT complesse in rappresentazioni testuali precise e logiche.

Metodologia
Per affrontare queste limitazioni, gli autori propongono un Modello di Didascalizzazione per Immagini Specifico per il Dominio (DICModel) basato su una strategia di addestramento progressiva in tre fasi. Il modello utilizza Qwen2.5-VL 7B come architettura di base.

1. Fase 1: Pre-SFT con Dati Sintetici

   • Obiettivo: Insegnare al modello i paradigmi standard di analisi delle immagini e delle informazioni strutturali.
   • Generazione dei Dati: Vengono sintetizzate circa 7.233 coppie immagine-testo. Lo strumento Mermaid genera diagrammi di flusso e schemi di segnalazione a partire da codice strutturato. Un LLM (Grok-3) converte quindi il codice Mermaid in testo di annotazione standardizzato e approvato da esperti.
   • Risultato: Il modello impara ad analizzare le immagini in formati testuali strutturati.

2. Fase 2: Post-SFT con Dati Annotati da Esperti

   • Obiettivo: Iniettare conoscenze specifiche del dominio ICT e affinare la precisione dell'analisi.
   • Generazione dei Dati: Esperti del settore ICT annotano manualmente circa 2.274 coppie immagine-testo di alta qualità provenienti da documenti professionali reali (inclusi 1.100 diagrammi di flusso e 1.174 schemi di segnalazione). Gli esperti utilizzano modelli fissi per garantire che il testo sia allineato agli standard del settore.
   • Risultato: Il modello si adatta ai pattern di ragionamento e alla terminologia specifici del dominio ICT.

3. Fase 3: Instruction-SFT con Dati VQA

   • Obiettivo: Potenziare la capacità del modello di seguire le istruzioni dell'utente e comprendere dettagli fini, componenti locali e layout globali.
   • Generazione dei Dati: Vengono create circa 1.573 coppie di Risposta a Domande Visive (VQA). Le domande sono generate sia da MLLM (Gemini 2.0) che da esperti del settore basandosi su immagini ICT.
   • Risultato: Il modello migliora la conformità alle istruzioni e le capacità di comprensione profonda.

Contributi Chiave

• Strategia di Addestramento Progressiva: Il documento introduce una pipeline di addestramento in tre fasi (Sintetico $\rightarrow$ Annotato da Esperti $\rightarrow$ VQA basato su Istruzioni) che colma efficacemente il divario tra le capacità degli MLLM generici e i requisiti specifici del dominio ICT.
• Pipeline di Sintesi dei Dati: Viene sviluppata un metodo innovativo per sintetizzare dati di addestramento di alta qualità combinando lo strumento di diagrammazione Mermaid con la riscrittura del testo basata su LLM, affrontando la scarsità di dati di dominio annotati.
• Sistema di Valutazione Completo: Gli autori hanno costruito un sistema di valutazione rigoroso che coinvolge esperti del settore ICT. Questo include l'annotazione manuale di 100 immagini critiche per la qualità dell'analisi e la creazione di 300 domande oggettive (200 a scelta singola, 100 a scelta multipla) per testare la comprensione delle immagini.

Risultati Sperimentali
Il DICModel (7 miliardi di parametri) è stato valutato rispetto a modelli all'avanguardia (SOTA), inclusi API a sorgente chiusa (Gemini 2.0, Claude-3.5) e modelli open-source di dimensioni variabili (da 7B a 32B).

• Risposta a Domande Visive (VQA): Su domande oggettive costruite da esperti, il DICModel ha raggiunto una precisione media ($Prec_a$) del 72,3%. Questo risultato supera i modelli da 32 miliardi di parametri (Qwen2.5-VL 32B al 69,0%, Intern2.5-VL 32B al 71,3%) e i modelli a sorgente chiusa (Gemini 2.0 al 64,3%). Rispetto al secondo miglior modello da 7B (Qwen2.5-VL 7B), il DICModel ha migliorato la precisione del 10,3%.
• Analisi delle Immagini (Didascalizzazione): In termini di metriche di similarità testuale (BLEU, CIDEr, METEOR), il DICModel ha superato significativamente gli altri modelli da 7B. Nello specifico, ha migliorato il punteggio BLEU di circa il 56,8% rispetto a Qwen2.5-VL 7B e del 20,8% rispetto a Qwen2.5-VL 32B.
• Studio di Ablazione: Lo studio ha confermato che tutte e tre le fasi di addestramento sono necessarie. Le prime due fasi sono state critiche per massimizzare l'accuratezza dell'analisi (BLEU), mentre la terza fase è stata essenziale per massimizzare l'accuratezza nella risposta alle domande.

Significato e Affermazioni
Il documento afferma che il DICModel dimostra come un modello più piccolo e specifico per il dominio (7 miliardi di parametri) possa superare modelli generici significativamente più grandi (32 miliardi di parametri) in compiti ICT specializzati. Estrando efficientemente testo logico da immagini complesse come diagrammi di flusso e schemi di segnalazione, il modello consente la creazione di database vettoriali multimodali ad alto valore e supporta lo sviluppo di LLM specifici per il dominio. Gli autori posizionano questo lavoro come un passo fondamentale verso applicazioni AI più avanzate nel settore ICT, come il servizio clienti intelligente, i sistemi RAG multi-modali e la gestione automatizzata delle risorse dati.

Limitazioni
Gli autori riconoscono che il modello fatica ancora con diagrammi altamente complessi, in particolare nell'identificare i passaggi target quando le linee di unione sono coinvolte nei diagrammi di flusso o nel determinare gli endpoint del segnale in schemi dove i segnali attraversano più nodi. Inoltre, l'attuale ambito è limitato alle immagini statiche, con dati audio e video che presentano sfide future per una rappresentazione cross-modale unificata.