HistoRAG: Embedding Historical Methodology in Retrieval-Augmented Generation Through Critical Technical Practice

Sintesi Tecnica: HistoRAG

Problematica
La Generazione Aumentata da Recupero (RAG) è diventata l'architettura standard per ancorare gli output dei Large Language Model (LLM) a prove esterne. Tuttavia, i paradigmi RAG dominanti sono ottimizzati per il fact-checking, assumendo che la "rilevanza" sia una proprietà fissa dei documenti e che la similarità equivalga all'utilità. Per le discipline interpretative come gli studi storici, queste assunzioni contrastano con la pratica accademica. I sistemi RAG standard confondono la scoperta delle fonti con l'interpretazione, si affidano a metriche di similarità che introducono bias temporali (dovuti al mutamento del vocabolario e alla densità tematica) e trattano la selezione delle fonti come un processo opaco e automatizzato. Ciò minaccia l'agenzia epistemica dei ricercatori, i quali devono poter esaminare, contestare e giustificare la base della propria selezione delle fonti e del proprio inquadramento interpretativo.

Metodologia: Il Framework HistoRAG
Gli autori introducono HistoRAG, un framework che integra la metodologia storica nell'architettura RAG attraverso tre interventi specifici basati sulla Pratica Tecnica Critica (Agre, 1998) e sul concetto di Kontinuitätsannahme (Welskopp, 2008). Questi interventi sono implementati in SPIEGELragged, un sistema applicato a 102.189 articoli di Der Spiegel (1950–1979).

1. Separazione tra Recupero e Generazione (Heuristik vs. Analyse):
   Il framework separa formalmente la scoperta delle fonti (Heuristik) dall'interpretazione (Analyse). Nella RAG standard, una query innesca una pipeline fluida verso una risposta. In HistoRAG, la fase di recupero produce un corpus curato di frammenti basati su query descrittive di tipo tematico, non interrogative. Un ricercatore umano deve esplicitamente revisionare, accettare o rifiutare queste fonti prima che inizi qualsiasi analisi assistita da LLM. Ciò ripristina la distinzione tra il trovare le fonti e il porre domande ad esse, garantendo che lo storico mantenga il controllo su quali materiali entrino nella fase interpretativa.

2. Finestratura Temporale (Temporal Windowing):
   Per contrastare il "bias di allineamento del vocabolario" e il "bias di densità tematica" inerenti al recupero basato sulla similarità, HistoRAG impone una rappresentazione bilanciata delle fonti attraverso il periodo di ricerca. Invece di recuperare i top-$N$ frammenti più simili globalmente, il sistema divide il corpus in finestre temporali (ad esempio, intervalli di cinque anni) e recupera una quota uguale da ciascuna di esse. Ciò assicura che i periodi con minore densità tematica o vocabolario storico distinto (ad esempio, termini degli anni '50 come Elektronenhirn rispetto ai termini degli anni '70 come Computer) non siano sistematicamente sottorappresentati da formulazioni di query moderne.

3. Valutazione LLM-as-Judge:
   Dopo il recupero e il bilanciamento temporale, il sistema impiega un LLM per valutare ogni frammento rispetto a criteri espliciti definiti dal ricercatore (una rubrica). A differenza della RAG standard, che si affida a punteggi di similarità vettoriale, questo livello produce un punteggio numerico e una giustificazione scritta della rilevanza. Ciò trasforma il processo di selezione da un filtro algoritmico black-box a un processo argomentativo trasparente, in cui la base della rilevanza è contestabile. La valutazione viene eseguita in modo indipendente (non comparativo) per evitare bias di classificazione (batch-ranking).

Contributi Chiave

• Traduzione Architetturale dell'Epistemologia: Il saggio dimostra come impegni storiografici specifici (ad esempio, la necessità di un campionamento temporale bilanciato, la distinzione tra scoperta e interpretazione) possano essere tradotti in decisioni concrete di progettazione del software.
• Il Concetto di Zwischentexte: Gli autori propongono i Zwischentexte (testi intermedi) come framework per gli output degli LLM. Piuttosto che trattare i testi generati come risultati finali o risposte, questi output sono posizionati come "proposte interpretative" o impalcature che richiedono la validazione dello storico. Ciò ridefinisce il ruolo dell'LLM da oracolo a strumento per la generazione di ipotesi e il riconoscimento di pattern all'interno di un processo di ricerca documentato.
• Architettura di Recupero Multi-livello: Il sistema integra la ricerca per parole chiave (con espansione del vocabolario addestrata sul corpus), il recupero semantico e il filtraggio interpretativo basato su LLM come livelli complementari, piuttosto che come alternative in competizione.

Risultati e Valutazione
Utilizzando l'implementazione SPIEGELragged, gli autori hanno validato empiricamente le carenze della RAG standard e l'efficacia dei loro interventi:

• Bias Temporale: Il recupero di similarità standard mostra un grave squilibrio temporale. Query che utilizzavano la terminologia degli anni '70 hanno recuperato zero frammenti dagli anni '50, mentre la terminologia degli anni '50 ha recuperato il 48% dei risultati dagli anni '50 (il doppio della base del corpus). La finestratura temporale ha imposto con successo una rappresentazione bilanciata, accettando punteggi di similarità aggregata inferiori per garantire la copertura dei periodi formativi.
• Divergenza delle Metriche di Rilevanza: Esiste una debole correlazione (Spemi $\rho = 0.275$) tra i punteggi di similarità vettoriale e la rilevanza valutata dall'LLM. Fonti altamente simili a una query (ad esempio, usando la parola "Computer") erano spesso valutate basse dall'LLM per rilevanza interpretativa, mentre fonti che usavano un vocabolario diverso (ad esempio, "Rationalisierung") ma affrontavano il nucleo della domanda di ricerca (le paure dell'automazione) ricevevano punteggi di rilevanza elevati.
• Pool di Fonti Disgiunti: La ricerca basata su parole chiave e il recupero semantico fanno emergere set di articoli largamente disgiunti. Nel caso di test di Der Spiegel, solo il 12,9% degli articoli presentava una sovrapposizione tra i due metodi. Il livello semantico ha fatto emergere con successo testi vernacolari (lettere dei lettori) che i filtri per parole chiave avevano mancato, ma ciò ha introdotto del rumore che ha richiesto al livello LLM-as-judge di filtrare efficacemente.
• Robustezza del Modello: Sebbene la calibrazione assoluta del punteggio variasse significativamente tra diversi LLM (ad esempio, Mistral vs. Claude), l'ordinamento relativo delle fonti è rimasto altamente consistente ($r > 0.96$). Ciò suggerisce che, sebbene le soglie assolute siano dipendenti dal modello, l'ordine relativo di rilevanza è portabile.

Significatività e Rivendicazioni
Il saggio sostiene che HistoRAG offra un modello di come gli impegni epistemologici specifici del dominio possano essere operazionalizzati nei sistemi di IA. Argomenta che, per le discipline interpretative, l'obiettivo non è semplicemente recuperare il passaggio "migliore" per una query fattuale, ma costruire un corpus trasparente, contestabile e temporalmente bilanciato per l'interpretazione.

Gli autori posizionano il loro lavoro con modestia, non come una soluzione definitiva, ma come un'apertura in una conversazione sull'IA nella ricerca storica. Sottolineano che l'architettura è progettata per preservare l'agenzia epistemica, garantendo che lo storico rimanga il fulcro della responsabilità per la selezione delle fonti e l'argomentazione. Il sistema non sostituisce lo storico, ma ne potenzia la capacità di interagire con grandi corpora mantenendo la distanza critica necessaria per la borsa ermeneutica. Il saggio conclude che gli strumenti non devono determinare le domande; piuttosto, le domande (e lo storico) devono determinare gli strumenti.