HistoRAG: Embedding Historical Methodology in Retrieval-Augmented Generation Through Critical Technical Practice

Resumo Técnico: HistoRAG

Problema
A Geração Aumentada por Recuperação (RAG) tornou-se a arquitetura padrão para fundamentar os resultados de Grandes Modelos de Linguagem (LLMs) em evidências externas. No entanto, os paradigmas dominantes de RAG são otimizados para o questionamento factual, assumindo que a "relevância" é uma propriedade fixa dos documentos e que a similaridade equivale à utilidade. Para disciplinas interpretativas, como os estudos históricos, essas suposições conflitam com a prática acadêmica. Os sistemas RAG padrão confundem a descoberta de fontes com a interpretação, dependem de métricas de similaridade que introduzem vieses temporais (devido ao desvio de vocabulário e densidade temática) e tratam a seleção de fontes como um processo automatizado e opaco. Isso ameaça a agência epistêmica dos pesquisadores, que devem ser capazes de escrutinar, contestar e justificar a base de sua seleção de fontes e enquadramento interpretativo.

Metodologia: O Framework HistoRAG
Os autores introduzem o HistoRAG, um framework que incorpora a metodologia histórica na arquitetura RAG através de três intervenções específicas fundamentadas na Prática Técnica Crítica (Agre, 1998) e no conceito de Kontinuitätsannahme (Welskopp, 2008). Essas intervenções são implementadas no SPIEGELragged, um sistema aplicado a 102.189 artigos da revista Der Spiegel (1950–1979).

1. Recuperação e Geração Separadas (Heurística vs. Análise):
   O framework formalmente desacopla a descoberta de fontes (Heurística) da interpretação (Análise). No RAG padrão, uma consulta dispara um pipeline contínuo para uma resposta. No HistoRAG, a fase de recuperação produz um corpus curado de fragmentos (chunks) baseado em consultas de tópicos descritivos, não interrogativas. Um pesquisador humano deve revisar explicitamente, aceitar ou rejeitar essas fontes antes que qualquer análise assistida por LLM comece. Isso restaura a distinção entre encontrar fontes e fazer perguntas a elas, garantindo que o historiador mantenha o controle sobre quais materiais entram na fase interpretativa.

2. Janelamento Temporal:
   Para combater o "viés de alinhamento de vocabulário" e o "viés de densidade temática" inerentes à recuperação baseada em similaridade, o HistoRAG impõe uma representação equilibrada das fontes ao longo do período de pesquisa. Em vez de recuperar os $N$ fragmentos mais similares globalmente, o sistema divide o corpus em janelas temporais (por exemplo, intervalos de cinco anos) e recupera uma cota igual de cada uma. Isso garante que períodos com menor densidade temática ou vocabulário histórico distinto (por exemplo, termos da década de 1950 como Elektronenhirn vs. termos da década de 1970 como Computer) não sejam sistematicamente sub-representados por formulações de consulta modernas.

3. Avaliação de LLM-como-Juiz (LLM-as-Judge):
   Após a recuperação e o balanceamento temporal, o sistema utiliza um LLM para avaliar cada fragmento contra critérios explícitos definidos pelo pesquisador (uma rubrica). Diferente do RAG padrão, que depende de pontuações de similaridade vetorial, esta camada produz uma pontuação numérica e uma justificativa escrita para a relevância. Isso transforma o processo de seleção de um filtro algorítmico de caixa-preta em um processo argumentativo transparente, onde a base para a relevância é contestável. A avaliação é realizada de forma independente (não comparativa) para evitar vieses de classificação em lote (batch-ranking).

Principais Contribuições

• Tradução Arquitetônica da Epistemologia: O artigo demonstra como compromissos historiográficos específicos (por exemplo, a necessidade de amostragem temporal equilibrada, a distinção entre descoberta e interpretação) podem ser traduzidos em decisões concretas de design de software.
• O Conceito de Zwischentexte: Os autores propõem os Zwischentexte (textos intermediários) como um framework para os outputs do LLM. Em vez de tratar o texto gerado como achados finais ou respostas, esses outputs são posicionados como "propostas interpretativas" ou andaimes que requerem validação do historiador. Isso reformula o papel do LLM de um oráculo para uma ferramenta de geração de hipóteses e reconhecimento de padrões dentro de um processo de pesquisa documentado.
• Arquitetura de Recuperação de Múltiplas Camadas: O sistema integra busca por palavra-chave (com expansão de vocabulário treinada no corpus), recuperação semântica e filtragem interpretativa baseada em LLM como camadas complementares, em vez de alternativas concorrentes.

Resultos e Avaliação
Utilizando a implementação SPIEGELragged, os autores validaram empiricamente as deficiências do RAG padrão e a eficácia de suas intervenções:

• Viés Temporal: A recuperação por similaridade padrão exibe um severo desvio temporal. Consultas usando terminologia da década de 1970 recuperaram zero fragmentos da década de 1950, enquanto a terminologia da década de 1950 recuperou 48% dos resultados da década de 1950 (o dobro da linha de base do corpus). O janelamento temporal conseguiu impor uma representação equilibrada, aceitando pontuações de similaridade agregada menores para garantir a cobertura de períodos formativos.
• Divergência de Métricas de Relevância: Existe uma correlação fraca (Spearman $\rho = 0.275$) entre as pontuações de similaridade vetorial e a relevância avaliada pelo LLM. Fontes altamente similares a uma consulta (ex: usando a palavra "Computer") foram frequentemente classificadas pelo LLM com baixa relevância interpretativa, enquanto fontes que usavam vocabulário diferente (ex: "Rationalisierung"), mas abordavam o cerne da questão de pesquisa (temores de automação), receberam altas pontuações de relevância.
• Conjuntos de Fontes Disjuntos: A busca baseada em palavras-chave e a recuperação semântica trazem à tona conjuntos de artigos amplamente disjuntos. No caso de teste do Der Spiegel, apenas 12,9% dos artigos se sobrepuseram entre os dois métodos. A camada semântica conseguiu trazer à tona textos vernáculos (cartas de leitores) que os filtros de palavra-chave perderam, mas isso introduziu ruído que exigiu que a camada de LLM-como-juiz filtrasse efetivamente.
• Robustez do Modelo: Embora a calibração absoluta das pontuações variasse significativamente entre diferentes LLMs (ex: Mistral vs. Claude), o ranking relativo das fontes permaneceu altamente consistente ($r > 0.96$). Isso sugere que, embora os limiares absolutos dependam do modelo, a ordenação relativa de relevância é portátil.

Significância e Alegações
O artigo afirma que o HistoRAG oferece um modelo de como compromissos epistemológicos específicos de domínio podem ser operacionalizados em sistemas de IA. Argumenta que, para disciplinas interpretativas, o objetivo não é meramente recuperar o "melhor" trecho para uma consulta factual, mas construir um corpus transparente, contestável e temporalmente equilibrado para interpretação.

Os autores posicionam modestamente seu trabalho não como uma solução final, mas como uma abertura em uma conversa sobre IA na pesquisa histórica. Eles enfatizam que a arquitetura é desenhada para preservar a agência epistêmica, garantindo que o historiador permaneça como o locus da responsabilidade pela seleção de fontes e argumentação. O sistema não substitui o historiador, mas aumenta sua capacidade de lidar com grandes corpora enquanto mantém a distância crítica necessária para a erudição hermenêutica. O artigo conclui que as ferramentas não devem determinar as perguntas; em vez disso, as perguntas (e o historiador) devem determinar as ferramentas.