MCERF: Advancing Multimodal LLM Evaluation of Engineering Documentation with Enhanced Retrieval

1. Il Problema

I documenti di ingegneria (manuali tecnici, normative, specifiche) sono intrinsecamente multimodali, integrando testo denso, tabelle, equazioni matematiche e illustrazioni complesse (es. disegni CAD, grafici di stress).

• Limiti degli approcci attuali: I sistemi di Retrieval Augmented Generation (RAG) tradizionali si basano spesso sull'ingestione del testo completo o su estrazioni testuali semplici (come quelle basate su LlamaIndex). Questi metodi falliscono nel catturare il contesto visivo e la struttura del layout, portando a una perdita di informazioni critiche necessarie per la comprensione delle specifiche tecniche.
• Il Benchmark DesignQA: Il benchmark DesignQA, derivato dalle regole della competizione Formula SAE, valuta la capacità dei modelli linguistici multimodali (MLLM) di rispondere a domande basate su questi documenti. I risultati precedenti hanno mostrato che i modelli RAG semplici hanno prestazioni significativamente inferiori rispetto all'invio dell'intero documento nel contesto (All-Rules), a causa dell'inefficacia nel recuperare le sezioni pertinenti che contengono sia testo che immagini.

2. Metodologia: Il Framework MCERF

Gli autori propongono il Multimodal ColPali Enhanced Retrieval and Reasoning Framework (MCERF), un sistema modulare che combina un recuperatore multimodale avanzato con strategie di ragionamento adattive.

A. Modulo di Recupero Multimodale (ColPali)

Invece di estrarre solo il testo, MCERF utilizza ColPali, un recuperatore basato su Vision-Language Models (VLM).

• Approccio a Patch: Tratta ogni pagina PDF come un input visivo discreto, suddividendola in piccole patch.
• Embedding Unificato: Crea uno spazio di rappresentazione unificato che preserva sia la semantica testuale che gli attributi visivi (layout, diagrammi).
• Matching Tardivo (Late Interaction): Confronta le query con tutte le regioni della pagina codificata, permettendo un recupero più preciso rispetto ai metodi che generano un singolo embedding per l'intera pagina.

B. Modulo di Ragionamento e Varianti

Il sistema utilizza un LLM (principalmente GPT-5-mini) per generare risposte basate sul contesto recuperato. Per ottimizzare le prestazioni, sono state sviluppate quattro varianti architetturali:

1. Hybrid Lookup: Combina la ricerca semantica multimodale con una ricerca basata su parole chiave (BM25) estratta tramite LLM, ideale per regole esplicite.
2. Self-Consistency: Esegue cinque passate indipendenti di recupero-ragionamento e aggrega le risposte tramite un modello "giudice" per ridurre le allucinazioni e stabilizzare l'output.
3. High Reasoning: Utilizza modelli con capacità di ragionamento avanzato per compiti complessi che richiedono inferenza spaziale o logica multi-step.
4. Vision-to-Text: Converte le immagini complesse (grafici, tabelle) in descrizioni testuali dettagliate prima del ragionamento, riducendo il carico cognitivo visivo del modello.

C. Routing Dinamico

Per gestire la diversità dei compiti, MCERF implementa due strategie di routing automatico:

• Single-case Router: Seleziona la variante migliore per l'intero tipo di task (es. "Dimension" usa sempre Vision-to-Text).
• Agent-Based Router: Un sistema multi-agente che analizza ogni singola domanda e instrada il flusso verso l'agente specializzato più adatto (es. DocumentAgent per testo, VisionAgent per immagini), permettendo un'analisi a livello di singola query.

3. Contributi Chiave

1. Architettura Modulare: Un framework che separa recuperatore, ragionatore e router, rendendolo agnostico rispetto al modello di base utilizzato.
2. Importanza della Struttura Visiva: Dimostrazione empirica che mantenere la struttura del layout e le informazioni visive durante il recupero è un fattore dominante per l'accuratezza nelle QA ingegneristiche.
3. Pattern di Specializzazione: Identificazione di pattern specifici (Hybrid, Vision2Text, SelfConsistency) che migliorano le prestazioni indipendentemente dal modello fondazionale sottostante.
4. Superamento del RAG Semplice: Validazione che un recupero multimodale mirato può superare l'approccio "All-Rules" (invio dell'intero documento) in termini di efficienza e, in molti casi, di accuratezza.

4. Risultati Sperimentali

Il framework è stato valutato sul benchmark DesignQA, confrontandosi con modelli di stato dell'arte (GPT-4o, Claude-Opus, Gemini, LLaVA) e con le baseline RAG esistenti.

• Miglioramento Generale: MCERF ha raggiunto un'accuratezza media di 0.79, rappresentando un miglioramento relativo del +41.1% rispetto alla migliore baseline RAG (0.56).
• Prestazioni per Task:
  • Recupero (Retrieval): La variante Hybrid ha ottenuto un punteggio F1 di 0.95, superando di gran lunga la baseline RAG (0.19) e avvicinandosi/superando l'approccio All-Rules (0.88).
  • Definizione e Presenza: La variante High Reasoning ha ottenuto i punteggi più alti (0.64 e 0.85 rispettivamente).
  • Dimensione e Performance Funzionale: La variante Vision-to-Text ha eccelso (0.82 e 0.94), dimostrando che la conversione visuale-testuale è cruciale per l'analisi di grafici e tabelle.
• Efficienza: A differenza dell'approccio "All-Rules" che richiede l'invio di 140 pagine (circa 70k token) a ogni query, MCERF recupera solo i frammenti pertinenti, riducendo drasticamente i costi computazionali e i token necessari, pur mantenendo o superando le prestazioni.
• Confronto Router: Il Single-case Router ha mostrato prestazioni superiori nel selezionare la strategia ottimale per categoria di task, mentre il Multi-agent Router ha offerto prestazioni bilanciate su tutti i task senza necessità di tuning manuale.

5. Significato e Implicazioni

Questo lavoro segna un passo avanti significativo nell'uso dell'IA per l'ingegneria:

• Scalabilità: MCERF dimostra che è possibile costruire assistenti di progettazione intelligenti e sistemi di verifica della conformità che non richiedono l'ingestione completa di documenti massivi, rendendo il processo economicamente sostenibile.
• Affidabilità: L'approccio modulare riduce le allucinazioni e migliora la tracciabilità delle risposte, essenziale per applicazioni critiche come la sicurezza nei veicoli o il rispetto delle normative.
• Futuro della Ricerca: Il paper suggerisce che il collo di bottiglia nella comprensione dei documenti ingegneristici non risiede solo nella potenza del modello linguistico, ma nella preservazione e nell'uso strategico delle informazioni multimodali durante la fase di recupero.

In sintesi, MCERF fornisce un template riutilizzabile per trasformare la documentazione tecnica ingegneristica in una risorsa interrogabile con alta precisione, superando i limiti dei sistemi RAG puramente testuali.