기술 요약: ReadingMachine

1. 문제 제기: 독해의 병목 현상

현대 기관들은 인간의 포괄적인 독해, 해석 및 종합 능력을 초과하는 규모로 서면 자료를 생성하고 있습니다. 정보에 대한 접근성이 더 이상 제한 요소가 아닌 시대이지만, 대규모 코퍼스(corpus)와 체계적으로 상호작용하는 능력은 여전히 한계에 부딪혀 있습니다. 기존의 계산적 접근 방식들은 이러한 구조적 불균형을 해결하지 못합니다:

• 검색 증강 생성 (RAG): 쿼리에 기반하여 코퍼스의 일부 하위 집합을 선택하여 작동합니다. 이는 "침묵의 누락(silent omission)"을 유발하며, 즉 검색되지 않은 자료는 분석되지 않으며 시스템은 무엇이 제외되었는지에 대한 가시성을 갖지 못합니다.
• 계층적 요약 (Hierarchical Summarization): 파이프라인의 초기 단계에서 정보를 압축합니다 (문서 $\to$ 요약 $\to$ 요약). 이는 초기 정보 손실, 이견의 평활화(smoothing of disagreements), 그리고 소수 의견이나 저빈도 주장의 폐기를 초래합니다.
• 에이전트 기반 연구 워크플로우 (Agentic Research Workflows): 반복적인 검색과 정교화에 의존하지만 경로 의존적입니다. 프롬프트나 궤적의 미세한 변화는 서로 다른 결과를 초래하며, 누락된 부분은 암시적이고 탐지하기 어렵게 남습니다.

그 결과, 가용 지식과 체계적으로 이해된 지식 사이에 간극이 발생하며, 이는 정책, 법률, 연구와 같은 고위험 영역에서 체계적인 리스크를 도입합니다. 현재의 거대언어모델(LLM) 애플리케이션은 선택적으로 접근된 자료로부터 답을 생성하는 데 최적화되어 있을 뿐, 전체 코퍼스의 구조를 체계적으로 읽고 조직하는 데는 최적화되어 있지 않습니다.

2. 방법론: 구조화된 코퍼스 독해

ReadingMachine은 LLM을 단순한 답변 생성기가 아니라, **제한된 독해 작업(bounded reading operations)**을 수행할 수 있는 시스템으로 재정의합니다. 핵심 설계 원칙은 독해와 해석의 분리입니다. 이 시스템은 대규모 코퍼스 분석을 일련의 제약되고 검사 가능한 변환 과정으로 분해하며, 판단과 종합은 후기 단계로 유예합니다.

파이프라인 아키텍처

워크플로우는 다음과 같이 진행됩니다:

1. 수집 및 청킹 (Ingestion & Chunking): 문서를 수집하고 문장/단락 경계를 우선시하는 탐욕적 전략(greedy strategy)을 사용하여 의미적 청크(~3500자)로 나눕니다.
2. 통찰 추출 (Insight Extraction):
   • 청크 수준: 모델은 사용자 정의 연구 질문과 관련된 원자적 주장, 논거 또는 발견을 추출합니다.
   • 문서 수준 (메타 통찰): 두 번째 패스(pass)는 여러 섹션에 걸친 고차원적 논거를 식별하기 위해 전체 문서를 처리하며, 이를 국소적인 청크 통찰과 구분합니다.
3. 클러스터링 (Scaffolding): 통찰을 벡터화하고, UMAP을 통해 차원을 축소한 뒤, HDBSCAN을 사용하여 클러스터링합니다. 결정적으로, 클러스터링은 최종 테마의 결정 요인이 아니라 통찰 공간을 조직하기 위한 **의미적 스캐폴딩(semantic scaffolding)**으로 사용됩니다.
4. 테마 생성:
   • 임베딩 공간에서의 최단 경로 거리에 따라 결정된 순서로 클러스터 요약을 생성합니다.
   • 언어 모델은 이러한 요약을 바탕으로 테마 스키마(Theme Schema) (레이블, 설명 및 할당 규칙)를 생성합니다.
   • 스키마에는 소수 통찰을 위한 기타(Other) 카테고리와 모델의 이견 평활화 경향에 대응하여 상충하는 주장을 명시적으로 보존하기 위한 갈등(Conflicts) 카테고리가 포함됩니다.
5. 테마 매핑 및 채우기: 통찰을 생성된 테마에 매핑합니다. 종합은 원시 문서가 아닌 구조화된 통찰 세트를 대상으로 테마 수준에서 이루어집니다.
6. 고아 처리 (Orphan Handling - 커버리지 강제 적용): 이는 자기 교정을 위한 핵심 메커니즘입니다. 시스템은 할당된 통찰과 생성된 테마 요약을 비교합니다. 테마에 매핑되었으나 요약에 실질적으로 표현되지 않은 통찰은 "고아(orphan)"로 플래그가 지정됩니다. 이들은 명시적으로 재삽입되며, 테마 요약은 다시 작성됩니다.
7. 반복적 정교화: 스키마가 안정화될 때까지 루프(스키마 $\to$ 매핑 $\to$ 고아 처리)를 반복합니다.
8. 중복 제거 및 렌더링: 선택적 패스를 통해 반복을 줄이고 가독성을 위한 스타일 재작성을 적용한 후, 최종 출력(PDF/Markdown/Word)을 생성합니다.

스케일링 조정

유한한 컨텍스트 창 내에서 작동하기 위해 시스템은 특정 적응 기법을 채택합니다:

• 밀도 기반 분할 (Density-Seeded Partitioning): 클러스터가 컨텍스트 제한을 초과하는 경우, HDBSCAN 시드를 사용하여 더 작고 의미적으로 일관된 파티션으로 세분화합니다.
• 샘플링 및 배치 처리: 테마가 너무 많은 통찰을 받는 경우, 이를 샘플링하거나 배치 단위로 처리합니다.
• 고아 배치 처리: 출력 절단을 방지하기 위해 고아 재삽입은 배치 단위로 수행됩니다.
• 진단적 실패 처리: 고아 재삽입이 출력 제한으로 인해 실패하는 경우, 시스템은 이를 단순한 절단이 아닌 개념적 이질성의 신호로 간주하여 스키마 분할을 트리거합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 식별합니다:

1. 방법론적 프레임워크: 빠른 답변 생성보다 커버리지, 추적 가능성, 이견 보존을 우선시하는 "구조화된 코퍼스 독해"를 별개의 지식 생산 모드로 도입합니다.
2. 오픈 소스 구현: 이 접근 방식을 실행 가능한 실험적 프레임워크(GitHub)로서 ReadingMachine을 공개합니다.
3. 대규모 시연: 산업 정책에 관한 152개의 문서로 구성된 이질적 코퍼스에 시스템을 적용하여, 17,500개 이상의 원자적 통찰과 구조화된 테마 지도를 생성했습니다.
4. 실패 모드 분석: "고아 지속성(orphan persistence)", "컨텍스트 압박 효과(context-pressure effects)", "후기 재팽창(late-stage reinflation, 압축된 자료의 재도입 필요성)"을 포함한 구체적인 스케일링 제약 조건을 식별하고 해결합니다.

4. 결과 및 관찰

시스템은 산업 정책 문헌을 포함한 단일 대규모 실행을 통해 평가되었습니다.

• 출력 특성: 출력은 기존 AI 요약보다 훨씬 길고 밀도가 높으며, 학술 문헌 검토(literature review)와 유사합니다. 고차원적인 일반화로 붕괴되지 않고 구체적인 주장, 특정 메커니즘 및 조건을 유지합니다.
• 커버리지 및 추적 가능성: 시스템은 코퍼스를 성공적으로 매핑하여 구체적인 주장을 보존하고 갈등을 명시적으로 표현했습니다. 내부 검토 결과 명백한 환각(hallucination)은 식별되지 않았습니다.
• 반복적 안정성: 테마 스키마는 5번의 반복 후에 안정화되었습니다. "실패하는 테마"(모든 할당된 통찰을 수용하지 못하는 테마)의 수는 실행 전반에 걸쳐 4개에서 0개로 감소했습니다.
• 비용 및 시간: 전체 파이프라인은 약 14시간이 소요되었으며 비용은 약 $300였습니다. 이는 유사한 규모의 코퍼스에 대해 인간 주도의 검토와 비교했을 때 1~2 자릿수(orders of magnitude)의 감소를 나타냅니다.
• 관찰된 실패 모드:
  • 높은 메타 통찰 볼륨: 메타 통찰 패스는 계산 비용이 많이 들고 상당한 중복을 생성했으며, 이는 프롬프트 튜닝이 필요함을 시사합니다.
  • 높은 고아 수: 고아 수가 높게 유지되었는데, 이는 종합 과정에서 주장이 추상화되어 요약에 "실질적으로 표현되지 않는" 정도로 압축됨을 나타내며, 이에 따른 재팽창(reinflation)이 필요함을 보여줍니다.
  • 인용 드리프트 (Citation Drift): 종합 과정에서 약 1/3의 인용이 누락되었습니다. 이를 완화하기 위해 "인용 복구(citation repair)" 메커니즘이 구현되었으나 여전히 과제로 남아 있습니다.

5. 의의 및 주장

본 논문은 ReadingMachine을 기존 AI 도구의 대체재가 아닌 보완적 접근 방식으로 위치시킵니다. 그 의의는 다음과 같습니다:

• 병목 현상의 전환: 지식 작업의 제약 조건을 정보 습득/독해에서 해석 및 의사결정으로 이동시킵니다.
• 외부 감사: 이 시스템은 반복적인 LLM 종합을 위한 외부 감사 아키텍처 역할을 합니다. 이는 무제한적인 LLM 종합이 자연스럽게 커버리지, 출처, 또는 구조적 충실도를 보존하지 못함을 입증하며, 이러한 속성들은 외부 메커니즘(고아 추적, 스키마 복구, 인용 검증)을 통해 강제되어야 함을 보여줍니다.
• 독해와 추론의 분리: 주장 추출/조직(독해)과 평가/결론(추론)을 분리함으로써 투명성을 높입니다. 이는 "무엇을 의미하는가"에 대한 단일한 합성된 논거가 아니라, "코퍼스가 무엇을 포함하고 있는가"에 대한 구조화된 표현을 생성합니다.
• 인식론적 객관성: 중간 표현물(통찰, 클러스터, 테마)은 검사, 비교, 도전이 가능한 명시적인 인식론적 객체 역할을 하여, 보다 의도적인 추론 적용을 가능하게 합니다.

저자들은 이러한 결과가 공식적인 성능 검증이라기보다 규모에 따른 시스템 동작의 시연임을 명시적으로 밝힙니다. RAG 또는 인간의 검토와의 공식적인 비교 평가는 향후 과제로 남아 있습니다. 본 시스템은 체계적인 질적 종합 및 다운스트림의 명시적으로 제약된 추론을 지원하기 위한 실험적 프레임워크로 제시됩니다.