Benchmarking Large Language Models on Reference Extraction and Parsing in the Social Sciences and Humanities

1. Il Problema

L'estrazione e l'analisi (parsing) delle citazioni bibliografiche sono fondamentali per l'indicizzazione, il collegamento e la costruzione di grafi della conoscenza accademica. Tuttavia, le valutazioni esistenti si basano prevalentemente su bibliografie finali pulite in lingua inglese, sottorappresentando la realtà delle Scienze Sociali e Umanistiche (SSH).
In ambito SSH, le citazioni presentano caratteristiche complesse che rendono i sistemi attuali fragili:

• Multilinguismo: Citazioni che mescolano lingue diverse all'interno dello stesso documento.
• Posizionamento: Citazioni spesso incorporate nelle note a piè di pagina (footnotes) invece che in bibliografie finali.
• Convenzioni eterogenee: Abbreviazioni, ellissi e stili che variano in base al periodo storico, alla nazione e alla disciplina.
• Disallineamento di valutazione: I benchmark attuali non catturano i fallimenti specifici degli SSH, rendendo difficile valutare la vera robustezza dei sistemi di elaborazione.

2. Metodologia

Gli autori hanno proposto un benchmark unificato progettato per simulare le condizioni reali delle SSH, valutando tre compiti di crescente difficoltà:

1. Estrazione di riferimento: Rilevare e delimitare le citazioni nel testo.
2. Parsing di riferimento: Convertire una stringa di citazione in un record strutturato (autore, titolo, anno, editore, ecc.).
3. Parsing end-to-end: Eseguire estrazione e parsing direttamente dal documento PDF grezzo.

Dataset Utilizzati

Il benchmark si basa su tre dataset complementari:

• CEX: 112 articoli accademici inglesi su 27 discipline (controllato, ma multiforme).
• EXCITE: 351 documenti (principalmente in tedesco) con un mix di layout: bibliografie finali, sole note a piè di pagina e layout misti. Include convenzioni tedesche specifiche (es. Ebd., a.a.O.).
• LinkedBooks: 1.194 riferimenti da monografie umanistiche (storia di Venezia), caratterizzati da forte variabilità stilistica e multilinguismo (prevalentemente italiano e inglese).

Sistemi Valutati

• Baseline Supervisionata: GROBID, lo standard industriale per la conversione PDF-TEI, utilizzato come baseline forte per documenti inglesi strutturati.
• LLM (Large Language Models): Una serie di modelli open-weight e API, inclusi DeepSeek-V3.1, Mistral-Small-3.2-24B, Gemma-3-27B-it e la famiglia Qwen3-VL (varianti da 4B a 32B).
• Protocollo di Valutazione: Tutti i modelli sono stati valutati con un vincolo di schema (output JSON stretto). I LLM hanno ricevuto prompt few-shot con istruzioni e esempi. Per i documenti PDF, è stato utilizzato un pipeline di conversione PDF-to-Markdown prima dell'input per i LLM, mentre GROBID elabora direttamente i PDF.

Strategie di Ottimizzazione

Oltre al benchmark "out-of-the-box", lo studio ha testato due strategie pratiche:

1. Adattamento LoRA (Low-Rank Adaptation): Fine-tuning efficiente dei parametri su un piccolo dataset supervisionato (1.832 istanze) derivato dai dataset di benchmark.
2. Strategie di Segmentazione: Confronto tra l'invio dell'intero documento (single-call) e pipeline adattive (segmentazione per pagina o estrazione seguita da parsing) per gestire contesti lunghi e ridurre gli errori.

3. Risultati Chiave

Prestazioni di Estrazione vs. Parsing

• Estrazione: Una volta superata una soglia di capacità moderata, l'estrazione delle citazioni satura (i modelli migliori raggiungono F1 > 0.95). Le differenze tra i modelli sono minime; il collo di bottiglia non è il riconoscimento del testo.
• Parsing e End-to-End: Questi rimangono i principali colli di bottiglia. La capacità di generare output strutturati robusti in presenza di layout rumorosi e multilingue è critica.
  • Su CEX (inglese, strutturato), GROBID eccelle, specialmente nel parsing end-to-end.
  • Su EXCITE e LinkedBooks (tedesco, note a piè di pagina, umanistiche), gli LLM (specialmente quelli più grandi o adattati) superano o eguagliano GROBID, mostrando una maggiore robustezza allo spostamento di distribuzione (distribution shift).

Impatto dell'Adattamento LoRA

L'adattamento LoRA ha prodotto miglioramenti consistenti, specialmente sui benchmark pesanti in SSH:

• Su LinkedBooks, l'adattamento ha portato a un aumento relativo di circa +10% nel Micro-F1 per entrambi i modelli testati (Mistral e Qwen).
• Ha permesso di utilizzare prompt più brevi (stile zero-shot) mantenendo alte prestazioni, riducendo la latenza.

Impatto della Segmentazione

• Per l'estrazione, l'approccio "single-call" (contesto globale) è spesso il migliore.
• Per il parsing end-to-end, la segmentazione è cruciale. Una pipeline a due passaggi (estrazione → parsing) o la segmentazione per pagina riduce drasticamente gli errori strutturali e migliora la robustezza rispetto all'invio dell'intero documento in una sola richiesta.

Analisi degli Errori

Gli errori principali non sono di tipo strutturale (JSON non valido), ma di "errore minore" (omissioni di campi o formattazione locale). I modelli più piccoli (es. Qwen-4B) mostrano più fallimenti strutturali su documenti lunghi rispetto ai modelli più grandi (es. Qwen-32B), indicando che la capacità del modello è fondamentale per la stabilità su output lunghi e vincolati.

4. Contributi Principali

1. Benchmark Unificato SSH: Introduzione di un protocollo di valutazione che copre estrazione, parsing e pipeline end-to-end su dataset realistici (CEX, EXCITE, LinkedBooks) con vincoli di schema comuni.
2. Valutazione Comparativa: Confronto trasparente tra GROBID e una vasta gamma di LLM moderni, evidenziando dove gli LLM sono superiori (multilinguismo, note a piè di pagina).
3. Quantificazione delle Strategie Pratiche: Dimostrazione empirica che l'adattamento LoRA e le strategie di segmentazione migliorano significativamente l'utilità pratica e la robustezza.
4. Linee Guida per l'Deployment Ibrido: Proposta di una strategia di routing intelligente.

5. Significatività e Implicazioni

Il lavoro suggerisce che non esiste una soluzione "one-size-fits-all" per l'indicizzazione delle citazioni nelle SSH.

• Approccio Ibrido: La soluzione più pragmatica è un sistema di routing. I documenti ben strutturati e in lingua inglese dovrebbero essere gestiti da GROBID (più veloce ed efficiente), mentre i documenti complessi (multilingue, ricchi di note a piè di pagina, layout eterogenei) dovrebbero essere instradati verso LLM adattati (LoRA).
• Futuro delle SSH: Gli LLM, grazie alla loro capacità di generalizzazione, sono promettenti per le collezioni SSH dove la complessità è la norma. La ricerca futura dovrebbe concentrarsi sull'estensione dell'adattamento LoRA all'intera pipeline (analisi del layout + estrazione + parsing) e sulla creazione di componenti modulari per lingue a bassa risorsa (es. latino, polacco).

In sintesi, il paper dimostra che mentre i sistemi supervisionati tradizionali rimangono validi per casi d'uso standard, gli LLM adattati offrono la robustezza necessaria per scalare l'indicizzazione delle citazioni nelle scienze umane e sociali, superando le barriere linguistiche e stilistiche che hanno finora limitato la digitalizzazione di queste discipline.