Towards the AI Historian: Agentic Information Extraction from Primary Sources

논문 요약: AI 역사가 (AI Historian) 를 향한 여정: 원천 자료에서의 에이전트 기반 정보 추출

1. 문제 정의 (Problem)

• 역사 연구의 비선형적 특성: 역사 연구는 기존 학문 연구, 가설 설정, 자료 발굴 및 비판, 증거 해석을 반복하는 비선형적 순환 과정입니다. 기존의 'AI 과학자 (AI Scientist)' 모델들은 주로 실험 자동화와 과학적 방법론에 초점을 맞추고 있어, 역사 연구의 질적/양적 방법론과 증거 수집의 복잡성을 해결하지 못합니다.
• 기술적 장벽: 역사학자들은 방대한 양의 디지털화된 원천 자료 (Primary Sources) 를 컴퓨터 분석을 위해 구조화된 데이터로 변환하고 싶지만, 이를 위해 필요한 커스텀 파이프라인 구축이나 프로그래밍 기술이 부족합니다.
• 기존 접근법의 한계: 기존의 시각 - 언어 모델 (VLM) 기반 추출 방식은 고정된 파이프라인을 강요하거나 특정 문서 유형에만 국한되어 있어, 다양한 레이아웃과 표기법을 가진 이질적인 역사 자료에 적용하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 역사 연구를 가속화하기 위해 개발 중인 'Chronos (AI 역사가)' 시스템의 첫 번째 모듈을 소개합니다. 이 시스템은 자연어 상호작용을 통해 이미지 스캔된 원천 자료를 데이터로 변환하는 에이전트 기반 접근법을 채택합니다.

• 시스템 아키텍처 (Chronos & Pi Framework):

  • Pi 에이전트 프레임워크 기반: 범용 코딩 에이전트 프레임워크인 'Pi'를 기반으로 하며, 이를 역사 연구에 특화시킨 도메인별 확장 (Extension) 으로 구현되었습니다.
  • VS Code 통합: Visual Studio Code 내에 통합되어 작동하며, 왼쪽 사이드바 (작업 공간), 중앙 패널 (원천 자료 뷰어), 오른쪽 패널 (에이전트 대화 및 프롬프트 작성) 로 구성됩니다.
  • 모델 중립성: 20 개 이상의 LLM 제공업체를 지원하며, 오케스트레이션 (Claude Opus 4.6) 과 이미지 추출 (Gemini 3.1 Pro) 등 작업에 따라 다른 모델을 라우팅할 수 있습니다.

• 핵심 구성 요소:

  • 작업 공간 (Workspace): sources/(읽기 전용 원본), data/(추출 결과), memory/(지속적 기억), skills/(재사용 가능한 작업 지시) 등으로 엄격히 분리된 디렉토리 구조를 가집니다. 이는 원본 자료의 변조를 방지하고 출처 (Provenance) 를 명확히 합니다.
  • 스킬 (Skills): 코드가 아닌 자연어 (Markdown) 로 작성된 재사용 가능한 작업 지시서입니다. 역사학자가 연구 조교에게 설명하듯이 절차를 서술하면, 에이전트가 이를 단계별로 실행합니다. 스킬은 의존성 (requires) 을 통해 파이프라인을 구성하고, 다른 프로젝트로 이식 가능합니다.
  • 뷰어 (Viewer): 에이전트가 분석한 페이지 이미지를 실시간으로 확인하고 검증할 수 있는 통합 뷰어를 제공합니다.

• 작업 흐름 (Agentic Workflow):

  1. 관련 페이지 찾기 (Range-finder): 목차나 이진 탐색을 통해 관심 있는 페이지 범위를 자동으로 식별하고, 역사학자가 경계를 검증합니다.
  2. 추출 프롬프트 적응 (Prompt-construction): 문서의 레이아웃, 약어, 구조적 단서를 분석하여 문서별 맞춤형 추출 프롬프트를 생성하고, 샘플 페이지로 테스트하여 모호성을 해결합니다.
  3. 배치 추출 (Batch extraction): 승인된 프롬프트로 모든 페이지를 병렬 처리하여 TSV 형식으로 데이터를 추출합니다. (JSON 대비 토큰 비용 절감)
  4. 출처와 병합 (Merge with provenance): 페이지별 TSV 파일을 통합하고, 각 행이 어떤 원본 페이지에서 유래했는지 추적할 수 있도록 page_id 를 추가합니다.

3. 주요 기여 (Key Contributions)

• 첫 번째 AI 역사가 모듈: 역사 연구에 특화된 최초의 에이전트 기반 정보 추출 모듈을 공개했습니다.
• 유연한 워크플로우: 고정된 파이프라인을 강요하지 않고, 자연어 상호작용을 통해 연구자가 자료의 특성에 맞춰 워크플로우를 적응적으로 구축하고 수정할 수 있게 합니다.
• 코드 없는 접근성: 역사학자가 프로그래밍 지식이 없어도 복잡한 데이터 추출 파이프라인을 구축하고 실행할 수 있도록 합니다.
• 오픈 소스 및 재현성: 전체 시스템이 오픈 소스로 제공되며, skills 메커니즘을 통해 연구 절차가 문서화되고 재사용 가능하여 연구의 재현성을 높입니다.
• 인간 - AI 협업 강화: 에이전트가 오류를 식별하고 제안하며, 연구자가 이를 검증하고 컨텍스트를 추가하는 상호작용 과정을 통해 데이터 품질을 높입니다.

4. 결과 및 성능 (Results)

• 실제 적용 사례: 과거의 역사적 도시 연감 (City Directories) 과 특허 등록부 (Patent Registers) 에 대한 이전 연구를 바탕으로, 이 모듈이 다양한 문서 유형에서 성공적으로 작동함을 시연했습니다.
• 효율성: TSV 형식 사용으로 출력 토큰 수를 최대 50% 감소시켜 비용과 지연 시간을 절감했습니다.
• 검증 가능성: 에이전트가 추출한 데이터를 실시간으로 뷰어를 통해 확인하고 수정할 수 있어, 인간 오류를 줄이고 신뢰성을 확보했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:

  • 역사학이 디지털 인문학의 새로운 패러다임으로 전환되는 데 기여하며, 대규모 역사 자료의 컴퓨터 분석을 민주화합니다.
  • AI 가 단순히 도구가 아닌, 연구자의 사고 과정을 보완하고 확장하는 '협력자' 역할을 수행함을 보여줍니다.
  • 향후 AI 가 역사 연구의 전 과정을 자동화하는 'AI 역사가'로 발전할 수 있는 토대를 마련합니다.

• 한계 및 윤리적 고려사항:

  • 할루시네이션: 복잡한 역사 문서 (신문, 넓은 표 등) 나 저자원 언어에서 VLM 이 여전히 환각 (Hallucination) 을 일으킬 수 있어, 벤치마크와 인간 검증이 필수적입니다.
  • 주권과 비용: 고성능 모델 (Gemini, Claude 등) 에 대한 의존성은 데이터 주권 (타국 데이터센터 전송) 과 경제적 불평등 (고비용 모델 접근성) 문제를 야기합니다.
  • 정렬 (Alignment) 과 안전: AI 가 역사 해석의 기초를 형성함에 따라, AI 의 편향이나 의도하지 않은 목표 추구가 역사 인식에 미칠 수 있는 철학적, 윤리적 위험이 존재합니다.

결론적으로, 이 논문은 역사 연구의 디지털 전환을 가속화하기 위해 자연어 기반 에이전트 시스템을 도입한 선구적인 시도로, 기술적 접근성과 연구자의 통제권을 동시에 확보한 새로운 연구 환경을 제시합니다.