PDF Retrieval Augmented Question Answering

1. Il Problema

I sistemi di Risposta alle Domande (QA) basati su Retrieval Augmented Generation (RAG) hanno fatto grandi passi avanti, ma la maggior parte è progettata esclusivamente per il contenuto testuale. I documenti PDF, tuttavia, sono ricchi di dati multimodali complessi: includono non solo testo, ma anche immagini, diagrammi vettoriali, grafici e tabelle.
Le sfide principali identificate sono:

• Limitazione dei modelli esistenti: I sistemi RAG tradizionali falliscono nell'estrazione e nell'integrazione di elementi non testuali, portando a risposte incomplete o imprecise per domande complesse che richiedono la sintesi di diversi tipi di dati.
• Rumore nei dati: Header, footer e layout complessi dei PDF interferiscono con il processo di recupero delle informazioni.
• Mancanza di integrazione: Esiste un divario nella capacità di unire contesto testuale con riferimenti visivi (es. "descrivi il grafico nella pagina 3") all'interno di un unico framework di generazione.

2. Metodologia: Il Sistema PIER-QA

Gli autori propongono PIER-QA (PDF Integrated Enhanced Retrieval Question Answering), un sistema end-to-end composto da tre fasi principali:

A. Preprocessing dei PDF

Questa fase è cruciale per pulire e strutturare i dati prima dell'indicizzazione:

• Rimozione di Header e Footer: Viene utilizzato l'algoritmo di clustering DBSCAN (Density-Based Spatial Clustering of Applications with Noise) sulle coordinate spaziali degli elementi del PDF. L'algoritmo identifica i pattern ricorrenti in alto e in basso nelle pagine (cluster ad alta densità) e li rimuove, preservando il contenuto principale.
• Conversione in Markdown: I PDF puliti vengono convertiti in formato Markdown utilizzando lo strumento Marker. Questo formato semplifica la manipolazione successiva.
• Elaborazione Immagini e Tabelle:
  • Immagini: Ogni immagine estratta riceve un ID univoco e viene generata una didascalia (caption) utilizzando il modello LLaVA (Large Language and Vision Assistant). Questo trasforma il contenuto visivo in testo indicizzabile, permettendo al LLM di "comprendere" l'immagine tramite testo.
  • Tabelle: Le tabelle Markdown vengono compresse in formato dizionario per un'archiviazione efficiente e un recupero più rapido.

B. Incapsulamento (Embedding) e Archiviazione

• Segmentazione: Il documento in Markdown viene diviso in chunk di 1000 caratteri.
• Embedding: Ogni chunk (testo, didascalie immagini, dizionari tabelle) viene convertito in vettori ad alta dimensionalità utilizzando il modello GTE-large.
• Indicizzazione Avanzata: Oltre all'archiviazione standard su ElasticSearch, viene implementato RAPTOR (Recursive Abstractive Processing for Tree-Organized Retrieval). Questo crea un indice gerarchico basato sulla semantica dei chunk, migliorando la precisione del recupero rispetto ai metodi vettoriali lineari.

C. Risposta alle Domande (Question Answering)

• Recupero: Alla ricezione di una query, il sistema genera un embedding della domanda, recupera i top-10 chunk più rilevanti tramite similarità coseno e li utilizza come contesto esterno.
• LLM RAG-Aware: Il cuore del sistema è un modello Llama3-70B finetunato specificamente per essere "consapevole del RAG" e del formato Markdown.
  • Addestramento: Il modello è stato addestrato su circa 2000 coppie domanda-risposta generate sinteticamente. Il processo di addestramento simula scenari reali dove il contesto è frammentato in chunk di 1000 caratteri mescolati con dati irrilevanti, per migliorare la robustezza nel selezionare le informazioni corrette.
  • Output: Se la risposta richiede un'immagine o una tabella, il modello inserisce l'ID specifico (es. [image_1.png]) nel prompt. Il sistema post-processa quindi l'output per recuperare e visualizzare l'immagine o convertire il dizionario della tabella in formato leggibile per l'utente.

3. Contributi Chiave

1. Framework Multimodale Completo: PIER-QA supera i limiti dei sistemi RAG testuali integrando nativamente immagini, tabelle e diagrammi nel flusso di recupero e generazione.
2. Pipeline di Preprocessing Avanzata: L'uso combinato di DBSCAN per la pulizia del layout e di LLaVA per la generazione di didascalie delle immagini trasforma dati non strutturati in informazioni recuperabili semanticamente.
3. Addestramento Specifico (RAG-Aware): La creazione di un modello Llama3 finetunato che comprende la struttura dei chunk recuperati e il formato Markdown specifico del sistema, riducendo le allucinazioni e migliorando la coerenza.
4. Integrazione di RAPTOR: L'uso di indicizzazione ad albero semantico per migliorare la precisione del recupero in documenti lunghi e complessi.

4. Risultati Sperimentali

Il sistema è stato valutato su un dataset interno di 100 domande (testo, immagini, tabelle) estratte da documenti privati.

• Confronto con Baseline: Rispetto a un sistema baseline (PDF convertito in testo puro senza preprocessing avanzato o recupero multimodale), PIER-QA ha mostrato prestazioni superiori in tutte le metriche.
  • Similarità: PIER-QA ha raggiunto un punteggio di similarità di 0.8837 (con GPT-4o) contro lo 0.8647 della baseline.
  • Accuratezza: A soglie più alte (es. accuracy@0.95), PIER-QA ha ottenuto un 19.1% di accuratezza contro l'11.1% della baseline, dimostrando una maggiore capacità di fornire risposte precise.
• Impatto del Modello LLM:
  • Il modello RAG-Llama3-70B (finetunato) ha superato il modello Llama3 base e ha competuto efficacemente con GPT-4o, ottenendo la migliore accuratezza alla soglia più alta (0.95: 21.35% vs 19.10% di GPT-4o). Questo dimostra l'efficacia del finetuning specifico per il dominio.
• Recupero di Immagini e Tabelle:
  • Accuratezza nel recupero immagini: 65.66%.
  • Accuratezza nel recupero tabelle: 48.38%.
  • Questi risultati confermano che il sistema può identificare e includere correttamente riferimenti a elementi non testuali senza necessitare di LLM multimodali nativi costosi per l'intera pipeline.

5. Significato e Conclusioni

Questo lavoro rappresenta un passo significativo verso l'automazione dell'estrazione di informazioni da documenti aziendali complessi.

• Superamento dei limiti attuali: Dimostra che è possibile costruire sistemi QA robusti per PDF complessi integrando tecniche di preprocessing intelligente e adattamento dei modelli, senza dover affidarsi esclusivamente a modelli multimodali end-to-end estremamente pesanti.
• Fondamento per la ricerca futura: Stabilisce una base solida per l'integrazione di dati multimodali nei framework RAG, aprendo la strada a sistemi in grado di rispondere a domande scientifiche, finanziarie o tecniche che richiedono la sintesi di testo, grafici e dati strutturati.
• Limiti: Gli autori riconoscono che algoritmi come DBSCAN potrebbero non essere perfetti su formati PDF estremamente variabili e che il recupero avviene sempre per ogni query, introducendo latenza. Tuttavia, il sistema proposto offre un miglioramento sostanziale rispetto alle soluzioni attuali.