Sintesi Tecnica: ChunkNorris

Definizione del Problema

Nei sistemi di Generazione Aumentata dalla Recupero (RAG), la qualità del Recupero delle Informazioni (IR) dipende fondamentalmente dalla pre-elaborazione dei documenti sorgente. Nello specifico, la parsing e la suddivisione in chunk (chunking) dei documenti PDF presentano sfide significative. I PDF sono progettati per la leggibilità umana piuttosto che per l'elaborazione delle macchine, e spesso contengono layout complessi, testo a più colonne, tabelle e figure.

Gli approcci allo stato dell'arte per il parsing e il chunking dei PDF si affidano frequentemente a tecniche di Machine Learning (ML) e Computer Vision (ad es., Unstructured, Docling, Marker). Sebbene questi metodi possano raggiungere un'elevata accuratezza nell'estrazione di dati strutturati, essi comportano un overhead computazionale sostanziale, un elevato consumo energetico e tempi di esecuzione prolungati. Tali requisiti ad alta intensità di risorse spesso li rendono impraticabili in ambienti di produzione con risorse computazionali limitate o vincoli di latenza stringenti. Inoltre, i metodi euristici esistenti spesso mancano di robustezza nel gestire la gerarchia del documento e la coerenza semantica senza l'assistenza del ML.

Metodologia

Gli autori introducono ChunkNorris, una nuova tecnica basata su euristiche progettata per ottimizzare il parsing e il chunking dei PDF senza fare affidamento sul Machine Learning o sull'accelerazione GPU. L'approccio privilegia l'efficienza, il basso consumo energetico e la preservazione della struttura del documento.

1. Il Parser

ChunkNorris utilizza la libreria PyMuPDF per l'elaborazione dei documenti a basso livello. La pipeline di parsing converte il contenuto grezzo del PDF in un formato Markdown unificato e pulito (oggetto MarkdownDoc) attraverso diverse euristiche specifiche:

• Rimozione di Intestazioni/Piè di pagina: Gli span che compaiono nella stessa posizione in più del 33% delle pagine vengono identificati e rimossi.
• Preservazione dei Link: Gli ipertesti, spesso scatole invisibili nei PDF, vengono estratti e vincolati ai corrispondenti span di testo.
• Estrazione delle Tabelle: Il sistema impiega un metodo di ricombinazione vettoriale delle linee per analizzare le tabelle, gestendo sia i confini visibili delle celle che gli allineamenti inferiti, incluse le celle unite.
• Raggruppamento Strutturale: Gli span di testo vengono raggruppati in linee e poi in blocchi (paragrafi o titoli) in base alla spaziatura verticale.
• Inferenza della Gerarchia:
  • Titolo Principale: Inferito dai blocchi presenti nella prima pagina con dimensioni del font maggiori rispetto al corpo del testo.
  • Intestazioni di Sezione: Rilevate tramite metadati del Table of Contents (ToC), pattern regex, livelli di indentazione o analisi della dimensione del font.
• Output: Il risultato è un documento Markdown strutturato pronto per il chunking.

2. Il Chunker

Il MarkdownChunker opera sull'output Markdown strutturato seguendo tre principi guida:

• Omogeneità: I chunk sono delimitati dagli header delle sezioni del documento.
• Preservazione del Contesto: Gli header delle sezioni genitorali sono preposti a ogni chunk per mantenere il contesto quando le sezioni vengono lette isolatamente.
• Uniformità: Le dimensioni dei chunk sono regolate per garantire la coerenza, poiché i modelli di embedding sono sensibili alle variazioni di lunghezza.

Algoritmo:

1. Viene costruito un albero ToC a partire dagli header rilevati.
2. I chunk vengono generati ricorsivamente in base a questo albero, contenendo il contenuto della sezione corrente e tutti gli header genitorali.
3. Raffinamento:
   • Le sezioni al di sotto di un numero minimo di parole vengono scartate.
   • I chunk che superano un limite rigido vengono suddivisi in corrispondenza dei caratteri di nuova riga per preservare tabelle e blocchi di codice.
   • I titoli sono preservati all'inizio dei sotto-chunk.

Contributi Chiave

1. Algoritmo ChunkNorris: Una pipeline di parsing e chunking completamente non supervisionata e priva di ML che raggiunge alte prestazioni con un overhead computazionale minimo.
2. Dataset PIRE: Gli autori hanno costruito e rilasciato il dataset PDF per la Valutazione del Recupero delle Informazioni (PIRE) su Hugging Face. Questo dataset contiene 100 PDF diversificati (inclusi report finanziari, documenti legali, paper di arXiv e manuali) e include:
   • Un sottoinsieme "single-chunk" con 300 coppie domanda-documento annotate.
   • Un sottoinsieme "multi-chunk" con 32 domande complesse che richiedono informazioni da più pagine.
3. Benchmarking Completo: Un rigoroso framework di valutazione che confronta ChunkNorris con strumenti esistenti (Marker, Open-Parse, Docling, PyPDF) in termini di tempo di esecuzione, consumo energetico e accuratezza del recupero (Recall e NDCG).

Risultati

Il benchmark è stato condotto su un dataset di 100 PDF (5.286 pagine) utilizzando una CPU Intel Xeon Gold e una GPU Tesla V100S.

• Tempo di Esecuzione: ChunkNorris ha dimostrato una velocità superiore, con una media di 105 ms per pagina, superando significativamente Docling (533 ms), Marker (717 ms) e Open-Parse-U (2538 ms).
• Consumo Energetico:
  • CPU: ChunkNorris ha consumato 0,47 Wh per l'intero dataset, rispetto ai 5,11 Wh di Docling e ai 34,32 Wh di Open-Parse-U.
  • GPU: ChunkNorris ha richiesto 0,0 Wh di energia GPU, mentre altri strumenti basati su ML (ad es., Marker, Open-Parse-U) hanno richiesto una potenza GPU significativa (fino a 777,93 Wh).
• Prestazioni di Recupero: Quando valutato con vari modelli di embedding (da 23M a 335M di parametri), ChunkNorriz ha ottenuto punteggi di Recall e NDCG competitivi o superiori rispetto ai baseline e alle tecniche avanzate. I risultati suggeriscono che un'alta qualità della strutturazione euristica può compensare la mancanza di analisi semantica basata su ML nei compiti di IR.

Significato e Rivendicazioni

L'articolo sostiene che i metodi basati su euristiche rimangono altamente validi per le applicazioni RAG nel mondo reale, in particolare in ambienti con risorse limitate. Gli autori affermano che ChunkNorris offre un'alternativa pratica ed efficiente alle pesanti pipeline basate su ML, dimostrando che:

• È possibile ottenere un parsing e un chunking di alta qualità senza il costo computazionale dell'addestramento o dell'inferenza su grandi modelli.
• Euristiche semplici ed efficaci possono preservare la coerenza semantica e la gerarchia del documento a sufficienza per un efficace recupero delle informazioni.
• Esiste una significativa opportunità per ridurre l'impronta ecologica dei sistemi RAG adottando strategie di parsing leggere ed efficienti per la CPU.

Il lavoro sottolinea che, per molti casi d'uso produttivi, il compromesso tra i guadagni marginali di un parsing ML complesso e i costi sostanziali in termini di tempo ed energia favorisce l'approccio non supervisionato ed efficiente proposto da ChunkNorris. Il codice e il dataset sono resi ad accesso aperto per facilitare ulteriore ricerca e adozione.