💬 NLP

HistoRAG: Embedding Historical Methodology in Retrieval-Augmented Generation Through Critical Technical Practice

이 논문은 표준적인 RAG의 사실적 편향을 해결하고 해석적 학술 관행을 더 잘 지원하기 위해 시간적 윈도잉(temporal windowing), 검색과 생성의 분리, 투명한 LLM-as-judge 평가와 같은 사학적 원칙을 통합함으로써 역사 연구에 맞게 검색 증강 생성(Retrieval-Augmented Generation)을 적응시킨 프레임워크인 HistoRAG를 소개한다.

원저자: Noah J. Kim-Baumann, Torsten Hiltmann

게시일 2026-06-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Noah J. Kim-Baumann, Torsten Hiltmann

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 1950년부터 1979년 사이 독일에서 사람들이 컴퓨터에 대해 어떻게 느꼈는지 이해하려는 역사학자라고 상상해 보십시오. 당신에게는 10만 개 이상의 신문 기사가 담긴 방대한 도서관이 있습니다.

만약 당신이 표준 AI 도구(이를 "RAG"라고 부릅니다)를 사용하여 도움을 받는다면, 그것은 매우 빠르지만 약간 서투른 사서처럼 행동할 것입니다. 당신이 "사람들은 컴퓨터에 대해 어떻게 생각했나요?"라고 물으면, 사서는 서가로 달려가서 "컴퓨터"라는 단어가 포함된 책들을 집어 들어 당신에게 건네줄 것입니다.

문제는 이 사서가 가진 몇 가지 나쁜 습관이 역사 연구를 망친다는 점입니다:

그들은 현대의 속어만 사용합니다. 만약 당신이 1970년대의 단어를 사용하여 "컴퓨터"에 대해 묻는다면, 그들은 1950년대의 책들을 무시할 것입니다. 왜냐하면 그 당시에는 사람들이 그것을 "전자 두뇌(electronic brains)"라고 불렀기 때문입니다. 사서는 가장 중요한 초기 역사를 놓치게 됩니다.
그들은 목소리가 큰 책들을 집어 옵니다. 만약 어떤 주제가 1970년에 아주 많이 논의되었다면, 사서는 1970년대의 책을 거대한 더미로 가져오고, 똑같이 중요하지만 더 조용했던 1950년대의 논의들은 무시할 것입니다.
그들은 당신이 '왜' 묻는지 이해하지 못합니다. 그들은 단지 당신의 질문과 비슷해 보이는 책들을 집어 올 뿐이며, 그 책들이 인간의 공포나 희망에 관한 당신의 구체적인 연구 질문에 실제로 답하는지는 고려하지 않습니다.

이 논문은 HistoRAG(Historical RAG)를 소개합니다. 이것을 더 빠른 사서가 아니라, 역사의 규칙을 존중하는 새로운 방식의 연구 조수와 일하는 방법이라고 생각하십시오.

HistoRAG이 세 가지 간단한 기술을 사용하여 어떻게 작동하는지 설명하겠습니다.

1. "두 단계의 춤" (검색과 생성의 분리)

일반적인 AI 시스템에서는 질문을 하면 즉시 답변을 줍니다. 그것은 마치 마법의 8번 구슬(Magic 8-ball) 같습니다.
HistoRAG에서 과정은 두 개의 뚜렷한 단계로 나뉩니다:

1단계: 사냥 (Heuristik). AI는 나가서 많은 잠재적 출처를 수집합니다. 하지만 거기서 멈춥니다. 그것들을 테이블 위에 올려놓고 이렇게 말합니다. "여기 후보들이 있습니다. 당신, 즉 역사학자가 이것들 중 무엇을 읽을 가치가 있는지 결정해야 합니다."
2단계: 분석 (Interpretation). 당신이 최고의 출처를 고른 후에야 AI는 요약문을 작성하거나 패턴을 찾는 것을 도와줍니다.

비유: 당신이 탐정이라고 상상해 보십시오. 일반적인 AI는 용의자를 찾아내자마자 바로 최종 변론을 쓰는 탐정과 같습니다. HistoRAG은 용의자 목록을 찾아 당신에게 건네며 "당신이 누구를 인터뷰할지 결정하십시오. 일단 적절한 사람들을 뽑고 나면, 그때 제가 보고서 작성을 돕겠습니다"라고 말하는 탐정과 같습니다. 이는 인간 역사가가 이야기의 주도권을 유지하도록 보장합니다.

2. "시간 여행자의 격자" (Temporal Windowing)

표준 AI 도구들은 현재에 편향되어 있습니다. 만약 당신이 "컴퓨터"에 대해 묻는다면, AI는 언어가 더 잘 일치하는 최근 기사들을 주로 가져올 것입니다. 그것은 마치 현대의 요리 용어로만 검색하여 옛날 레시피를 찾는 것과 같습니다. 당신은 오래된 레시피들을 놓치게 될 것입니다.

HistoRAG은 AI가 공정하도록 강제합니다. 이 30년의 기간을 작은 시간 블록(예: 5년 단위)으로 나눕니다. 그런 다음 다음과 같이 말합니다. "1970년에 '컴퓨터' 관련 기사가 아무리 많더라도, 당신은 1950년, 1955년, 1960년 등에서 반드시 동일한 수의 기사를 가져와야 합니다."

비유: 당신이 과일 샐러드를 만들고 있다고 상상해 보십시오. 일반적인 AI는 (지금 어디에나 있기 때문에) 딸기가 가득 담긴 양동이를 가져오고 지난 시즌의 블루베리는 무시합니다. HistoRRAG은 엄격한 요리사로서 "우리는 모든 계절로부터 정확히 한 컵의 과일이 필요합니다. 설령 딸기가 더 인기 있더라도 말입니다"라고 말하는 것과 같습니다. 이는 당신이 가장 인기 있는 시대가 아니라, 전체 역사를 맛볼 수 있도록 보장합니다.

3. "인간 같은 심판" (LLM-as-Judge)

AI가 올바른 시기를 가져왔다 하더라도, 여전히 잘못된 종류의 기사를 가져올 수 있습니다. AI는 당신이 원했던 시민의 편지 대신 딱딱한 기술 매뉴얼을 가져올 수도 있습니다.

HistoRAG은 확인을 위한 두 번째 층을 추가합니다. AI가 기사를 가져온 후, 그것은 인간 역사가처럼 행동하는 "심판(Judge, 또 다른 AI)"을 통과합니다. 이 심판은 기사를 읽고 다음과 같이 묻습니다. "이것이 실제로 공포나 희망에 대해 이야기하고 있는가?" 심판은 기사에 점수를 매기고 그 이유를 작성합니다.

비유: 당신이 오디션 프로그램을 보고 있다고 상상해 보십시오. 첫 번째 AI는 노래할 수 있는 사람을 찾는 "캐스팅 디렉터"입니다. "심판"은 그들의 노래를 듣고 다음과 같이 결정하는 "음악 평론가"입니다. "좋아요, 노래는 할 줄 알지만, 우리가 찾고 있는 감성적인 발라드를 부르는 것은 아니군요." 심판은 단순히 음표를 세는 것이 아니라, 노래의 감정을 이해합니다.

결과: "Zwischentexte" (중간 텍스트)

마지막으로, 이 논문은 AI가 실제로 무엇을 쓰는지에 대해 이야기합니다. 일반적인 시스템에서 AI는 당신에게 최종 답변을 주려고 노력합니다. HistoRAG에서 AI는 저자들이 Zwischentexte(중간 텍스트)라고 부르는 것을 생성합니다.

비유: 이것들을 완성된 소설이 아니라 초안이나 스케치라고 생각하십시오. AI는 다음과 같이 말합니다. "여기에 1964년에 사람들이 어떻게 느꼈는지에 대한 가능한 해석이 있습니다. 제가 발견한 패턴은 이것입니다. 하지만 저는 도구일 뿐입니다. 당신, 즉 역사학자가 제 작업을 확인하고, 출처를 검증하며, 제 스케치가 정확한지 결정해야 합니다."

이것이 왜 중요한가

이 논문은 역사 및 기타 해석적 분야를 위해서, 우리가 단지 "가장 빠른" 답변을 원하는 것이 아니라고 주장합니다. 우리는 다음과 같은 시스템을 원합니다:

언어가 변했다고 해서 과거를 잊지 않는 시스템.
가장 인기 있는 시대가 조용한 시대를 덮어버리지 않도록 하는 시스템.
인간이 "나는 그 결론에 동의하지 않는다"라고 말할 수 있도록 그 추론 과정을 가시화하는 시스템.

HistoRAG은 AI가 전지전능한 신탁이 아니라 겸손한 연구 조수로서 기능하도록 만드는 청사진이며, 이를 통해 인간 역사가가 과거의 의미를 결정하는 주체가 되도록 보장합니다.

기술 요약: HistoRAG

문제 제기
검색 증강 생성(Retrieval-Augmented Generation, RAG)은 외부 증거에 기반하여 대규모 언어 모델(LLM)의 출력을 근거화하는 표준 아키텍처가 되었습니다. 그러나 지배적인 RAG 패러다임은 "관련성(relevance)"이 문서의 고정된 속성이며 유사성이 곧 효용성과 같다는 가정을 바탕으로 사실적 질의응답에 최적화되어 있습니다. 역사학 연구와 같은 해석적 학문 분야에서 이러한 가정은 학술적 관행과 충돌합니다. 표준 RAG 시스템은 출처 발견(source discovery)과 해석(interpretation)을 혼동하며, 유사도 메트릭에 의존함으로써 (어휘 변화 및 주제적 밀도로 인한) 시간적 편향을 초래하고, 출처 선택 과정을 불투명하고 자동화된 과정으로 취급합니다. 이는 연구자가 자신의 출처 선택과 해석적 프레임을 검토, 논박, 정당화할 수 있어야 하는 인식론적 주체성(epistemic agency)을 위협합니다.

방법론: HistoRAG 프레임워크
저자들은 비판적 기술 실천(Critical Technical Practice; Agre, 1998)과 연속성 가정(Kontinuitätsannahme) (Welskopp, 2008) 개념에 기초한 세 가지 구체적인 개입을 통해, 역사학적 방법론을 RAG 아키텍처에 내재화한 HistoRAG 프레임워크를 소개합니다. 이러한 개입은 Der Spiegel(1950~1979)의 기사 102,189개를 적용한 SPIEGELragged 시스템을 통해 구현되었습니다.

분리된 검색과 생성 (Heuristik vs. Analyse):
프레임워크는 출처 발견(Heuristik)과 해석(Analyse)을 형식적으로 분리합니다. 표준 RAG에서는 쿼리가 실행되면 답변으로 이어지는 매끄러운 파이프라인이 작동합니다. 반면 HistoRAG에서는 검색 단계에서 질문형 쿼리가 아닌 기술적 주제 쿼리를 바탕으로 선별된 청크(chunk) 코퍼스를 생성합니다. 인간 연구자는 본격적인 LLM 보조 분석이 시작되기 전에 이 출처들을 명시적으로 검토, 수락 또는 거부해야 합니다. 이는 출처를 찾는 것과 그 출처에 대해 질문하는 것 사이의 구분을 회복하며, 어떤 자료가 해석 단계에 진입할지를 결정하는 통제권을 역사학자에게 보장합니다.
시간적 윈도잉 (Temporal Windowing):
유사도 기반 검색에 내재된 "어휘 정렬 편향(vocabulary alignment bias)"과 "주제적 밀도 편향(thematic density bias)"에 대응하기 위해, HistoRAG는 연구 기간 전반에 걸쳐 균형 잡힌 출처 표현을 강제합니다. 단순히 전역적으로 가장 유사한 상위- $N$ 개의 청크를 검색하는 대신, 시스템은 코퍼스를 시간적 윈도우(예: 5년 단위 간격)로 나누고 각 윈도우에서 동일한 할당량을 검색합니다. 이를 통해 현대적 쿼리 구성에 의해 (예: 1950년대의 Elektronenhirn 대 1970년대의 Computer) 특정 시기의 어휘나 주제적 밀도가 낮아지더라도 해당 시기가 체계적으로 과소 대표되는 것을 방지합니다.
LLM-as-Judge 평가:
검색과 시간적 균형 조절을 거친 후, 시스템은 연구자가 정의한 명시적 기준(루브릭)에 따라 각 청크를 평가하기 위해 LLM을 활용합니다. 벡터 유사도 점수에 의존하는 표준 RAG와 달리, 이 계층은 관련성에 대한 수치 점수와 서술적 근거를 함께 생성합니다. 이는 선택 과정을 블랙박스 형태의 알고다운 필터링에서, 관련성의 근거를 논박할 수 있는 투명하고 논증적인 과정으로 변환합니다. 평가는 배치 순위 매기기(batch-ranking) 편향을 피하기 위해 독립적으로(비교적이지 않게) 수행됩니다.

주요 기여

인식론의 아키텍처적 번역: 본 논문은 특정 역사학적 약속(예: 균형 잡힌 시간적 샘플링의 필요성, 발견과 해석의 구분)이 어떻게 구체적인 소프트웨어 설계 결정으로 번역될 수 있는지를 보여줍니다.
Zwischentexte 개념: 저자들은 LLM 출력물에 대한 프레임워크로서 Zwischentexte(중간 텍스트)를 제안합니다. 생성된 텍스트를 최종적인 발견이나 답변으로 취급하는 대신, 이를 "해석적 제안" 또는 "스캐폴딩(scaffolding)"으로 위치시켜 역사학자의 검증이 필요한 도구로 정의합니다. 이는 LLM의 역할을 오라클(oracle)에서 문서화된 연구 과정 내의 가설 생성 및 패턴 인식 도구로 재정의합니다.
다층적 검색 아키텍처: 시스템은 키워드 검색(코퍼스 훈련된 어휘 확장 포함), 의미론적 검색, 그리고 LLM 기반의 해석적 필터링을 경쟁 관계가 아닌 상호 보완적인 계층으로 통합합니다.

결과 및 평가
SPIEGELragged 구현을 통해 저자들은 표준 RAG의 결함과 자신들의 개입 효과를 실증적으로 검증했습니다:

시간적 편향: 표준 유사도 검색은 심각한 시간적 왜곡을 보였습니다. 1970년대 용어를 사용한 쿼리는 1950년대의 청크를 제로(0) 개 검색한 반면, 1950년대 용어를 사용한 쿼리는 1950년대 결과의 48%를 검색하여 코퍼스 베이스라인의 두 배를 기록했습니다. 시간적 윈도잉은 포괄성을 확보하기 위해 총체적인 유사도 점수가 낮아지는 것을 감수하면서도 균형 잡힌 표현을 성공적으로 강제했습니다.
관련성 메트릭의 괴리: 벡터 유사도 점수와 LLM이 평가한 관련성 사이에는 낮은 상관관계(Spearman $\rho = 0.275$ )가 존재했습니다. 쿼리와 매우 유사한 단어(예: "Computer")를 사용하는 소스들은 종의 해석적 관련성 측면에서 LLM으로부터 낮은 평가를 받는 경우가 많았던 반면, 다른 어휘(예: "Rationalisierung")를 사용하더라도 핵심 연구 질문(자동화에 대한 공포)을 다루는 소스들은 높은 관련성 점수를 받았습니다.
이질적인 소스 풀: 키워드 기반 검색과 의미론적 검색은 서로 크게 다른 기사 집합을 드러냈습니다. Der Spiegel 테스트 케이스에서 두 방식 간의 중복은 12.9%에 불과했습니다. 의미론적 계층은 키워드 필터가 놓친 구어체 텍스트(독자 편지 등)를 성공적으로 찾아냈으나, 이 과정에서 유입된 노이즈를 LLM-as-judge 계층이 효과적으로 필터링해야 했습니다.
모델 견고성: 절대적인 점수 캘리브레이션은 서로 다른 LLM(예: Mistral vs. Claude) 간에 상당한 차이를 보였으나, 소스의 상대적 순위는 매우 일관되게 유지되었습니다( $r > 0.96$ ). 이는 절대적 임계값은 모델에 따라 달라질 수 있지만, 관련성의 상대적 순위는 이식 가능하다는 것을 시사합니다.

의의 및 주장
본 논문은 HistoRAG가 도메인 특화된 인식론적 약속이 AI 시스템에서 어떻게 운영될 수 있는지에 대한 모델을 제공한다고 주장합니다. 저자들은 해석적 학문 분야의 목표가 단순히 사실적 질문에 대한 "최선의" 구절을 찾는 것이 아니라, 해석을 위한 투명하고 논박 가능하며 시간적으로 균형 잡힌 코퍼스를 구축하는 것이라고 주장합니다.

저자들은 자신들의 연구를 최종적인 해결책이 아닌, AI와 역사 연구 사이의 대화를 여는 하나의 창구로 겸허히 위치시킵니다. 이들은 아키텍처가 인식론적 주체성을 보존하도록 설계되었음을 강조하며, 이를 통해 역사학자가 소스 선택과 논증의 책임 소재로서 중심을 유지하도록 합니다. 이 시스템은 역사학자를 대체하는 것이 아니라, 해석학적 학문에 필요한 비판적 거리를 유지하면서 대규모 코퍼스와 교감할 수 있는 능력을 증강합니다. 논문은 도구가 질문을 결정하는 것이 아니라, 질문(그리고 역사학자)이 도구를 결정해야 한다고 결론짓습니다.