HistoRAG: Embedding Historical Methodology in Retrieval-Augmented Generation Through Critical Technical Practice

Resumen Técnico: HistoRAG

Planteamiento del Problema
La Generación Aumentada por Recuperación (RAG) se ha convertido en la arquitectura estándar para fundamentar los resultados de los Modelos de Lenguaje Extensos (LLM) en evidencia externa. Sin embargo, los paradigmas dominantes de RAG están optimizados para la respuesta a preguntas fácticas, asumiendo que la "relevancia" es una propiedad fija de los documentos y que la similitud equivale a la utilidad. Para disciplinas interpretativas como los estudios históricos, estas suposiciones entran en conflicto con la práctica académica. Los sistemas RAG estándar confunden el descubrimiento de fuentes con la interpretación, dependen de métricas de similitud que introducen sesgos temporales (debido al cambio de vocabulario y la densidad temática) y tratan la selección de fuentes como un proceso opaco y automatizado. Esto amenaza la agencia epistémica de los investigadores, quienes deben ser capaces de escrutar, cuestionar y justificar la base de su selección de fuentes y su encuadre interpretativo.

Metodología: El Marco HistoRAG
Los autores presentan HistoRAG, un marco que integra la metodología histórica en la arquitectura RAG a través de tres intervenciones específicas fundamentadas en la Práctica Técnica Crítica (Agre, 1998) y el concepto de Kontinuitätsannahme (Welskopp, 2008). Estas intervenciones se implementan en SPIEGELragged, un sistema aplicado a 102,189 artículos de Der Spiegel (1950–1979).

1. Recuperación y Generación Separadas (Heurística vs. Análisis):
   El marco desacopla formalmente el descubrimiento de fuentes (Heurística) de la interpretación (Análisis). En un RAG estándar, una consulta activa un flujo continuo hacia una respuesta. En HistoRAG, la fase de recuperación produce un corpus curado de fragmentos basados en consultas temáticas descriptivas, no interrogativas. Un investigador humano debe revisar, aceptar o rechazar explícitamente estas fuentes antes de que comience cualquier análisis asistido por LLM. Esto restaura la distinción entre encontrar fuentes y hacerles preguntas, asegurando que el historiador mantenga el control sobre qué materiales entran en la fase interpretativa.

2. Ventana Temporal (Temporal Windowing):
   Para contrarrestar el "sesgo de alineación de vocabulario" y el "sesgo de densidad temática" inherentes a la recuperación basada en similitud, HistoRAG impone una representación equilibrada de las fuentes a lo largo del periodo de investigación. En lugar de recuperar los $N$ fragmentos más similares globalmente, el sistema divide el corpus en ventanas temporales (por ejemplo, intervalos de cinco años) y recupera una cuota igual de cada una. Esto asegura que los periodos con menor densidad temática o un vocabulario histórico distinto (por ejemplo, términos de la década de 1950 como Elektronenhirn frente a términos de la de 1970 como Computer) no queden sistemáticamente subrepresentados por formulaciones de consulta modernas.

3. Evaluación mediante LLM como Juez (LLM-as-Judge):
   Tras la recuperación y el equilibrio temporal, el sistema emplea un LLM para evaluar cada fragmento frente a criterios explícitos definidos por el investigador (una rúbrica). A diferencia del RAG estándar, que depende de puntuaciones de similitud vectorial, esta capa produce una puntuación numérica y una justificación escrita de la relevancia. Esto transforma el proceso de selección de un filtro algorítmico de caja negra en un proceso argumentativo transparente donde la base de la relevancia es contestable. La evaluación se realiza de forma independiente (no comparativa) para evitar sesgos de clasificación por lotes.

Contribuciones Clave

• Traducción Arquitectónica de la Epistemología: El artículo demuestra cómo compromisos historiográficos específicos (por ejemplo, la necesidad de un muestreo temporal equilibrado, la distinción entre descubrimiento e interpretación) pueden traducirse en decisiones de diseño de software concretas.
• El Concepto de Zwischentexte: Los autores proponen los Zwischentexte (textos intermedios) como un marco para los resultados del LLM. En lugar de tratar los textos generados como hallazgos finales o respuestas, estos se posicionan como "propuestas interpretativas" o andamiajes que requieren la validación del historiador. Esto redefine el papel del LLM de un oráculo a una herramienta para la generación de hipótesis y el reconocimiento de patrones dentro de un proceso de investigación documentado.
• Arquitectura de Recuperación de Capas Múltiples: El sistema integra la búsqueda por palabras clave (con expansión de vocabulario entrenada en el corpus), la recuperación semántica y el filtrado interpretativo basado en LLM como capas complementarias, en lugar de alternativas enfrentadas.

Resultados y Evaluación
Utilizando la implementación SPIEGELragged, los autores validaron empíricamente las deficiencias del RAG estándar y la eficacia de sus intervenciones:

• Sesgo Temporal: La recuperación de similitud estándar exhibe un severo sesgo temporal. Las consultas utilizando terminología de la década de 1970 recuperaron cero fragmentos de la década de 1950, mientras que la terminología de 1950 recuperó el 48% de los resultados de la década de 1950 (el doble de la base del corpus). El ventaneo temporal logró imponer una representación equilibrada, aceptando puntuaciones de similitud agregada más bajas para asegurar la cobertura de los periodos formativos.
• Divergencia de Métricas de Relevancia: Existe una correlación débil (Spearman $\rho = 0.275$) entre las puntuaciones de similitud vectorial y la relevancia evaluada por el LLM. Fuentes altamente similares a una consulta (por ejemplo, usando la palabra "Computer") fueron a menudo calificadas con baja relevancia interpretativa por el LLM, mientras que fuentes que utilizaban un vocabulario diferente (por ejemplo, "Rationalisierung") pero abordaban la cuestión de investigación central (temores a la automatización) recibieron altas puntuaciones de relevancia.
• Conjuntos de Fuentes Disjuntos: La recuperación basada en palabras clave y la recuperación semántica presentan conjuntos de artículos mayoritariamente disjuntos. En el caso de prueba de Der Spiegel, solo hubo un 12.9% de solapamiento entre los dos métodos. La capa semántica logró extraer textos vernáculos (cartas de lectores) que los filtros de palabras clave pasaron por alto, pero esto introdujo ruido que requirió que la capa de LLM-como-juez filtrara eficazmente.
• Robustez del Modelo: Aunque la calibración absoluta de las puntuaciones varió significamente entre diferentes LLM (por ejemplo, Mistral frente a Claude), el orden relativo de las fuentes se mantuvo altamente consistente ($r > 0.96$). Esto sugiere que, si bien los umbrales absolutos dependen del modelo, el orden relativo de relevancia es portable.

Significancia y Reivindicaciones
El artículo sostiene que HistoRAG ofrece un modelo de cómo los compromisos epistemológicos específicos de un dominio pueden operacionalizarse en sistemas de IA. Argumenta que, para las disciplinas interpretativas, el objetivo no es simplemente recuperar el "mejor" pasaje para una consulta fáctica, sino construir un corpus transparente, contestable y temporalmente equilibrado para la interpretación.

Los autores posicionan modestamente su trabajo no como una solución final, sino como una apertura en una conversación sobre la IA en la investigación histórica. Enfatizan que la arquitectura está diseñada para preservar la agencia epistémica, asegurando que el historiador siga siendo el locus de la responsabilidad en la selección de fuentes y la argumentación. El sistema no reemplaza al historiador, sino que aumenta su capacidad para interactuar con grandes corpus manteniendo la distancia crítica requerida para la erudición hermenéutica. El artículo concluye que las herramientas no deben determinar las preguntas; más bien, las preguntas (y el historiador) deben determinar las herramientas.