기술 요약: Distribird

1. 문제 정의

프로세스 기반 모델(예: 농업, 수문학 또는 역학 분야)의 베이지안 보정(Bayesian calibration)을 위해서는 모든 모델 파라미터에 대한 사전 분포(prior distribution)를 지정해야 합니다. 과학 문헌에서 유도된 정보적 사전 분포(informative priors)는 정보가 없는 균등 사전 분포(uninformative uniform priors)보다 통계적으로 우수하지만, 실제로는 거의 사용되지 않습니다. 그 장벽은 지식의 부족이 아니라, 수십 년간의 문헌을 수집, 읽고 합성하여 이러한 사전 분포를 구축하는 데 드는 과도한 비용 때문입니다.

최근의 대규모 언어 모델(LLM)은 문헌 검색과 합성을 자동화함으로써 잠재적인 해결책을 제시합니다. 그러나 LLM에 직접 프롬프트를 입력하여 사전 분포를 생성하는 방식은 과학적 워크플로우에 치명적인 결함을 초도합니다:

• 추적 가능성 결여: LLM은 출처를 인용하지 않고 확신에 찬 사전 분포를 생성하는 경우가 많아 검증이 불가능합니다.
• 환각(Hallucination): 모델이 비경험적 파라미터(예: 소프트웨어 튜닝 상수)나 오타에 대해 가공의 사전 분포를 만들어낼 수 있습니다.
• 데이터 프라이버시: 클라우드 기반 LLM은 파라미터 설명과 미발표 모델링 세부 정보를 제3자에게 전송해야 합니다.

핵심 문제는 문헌 기반의 사전 분포 구축을 자동화하면서도 완전한 출처(provenance)를 유지하고 범위를 벗어난 요청을 거부할 수 있는, 확장 가능하고 신뢰할 수 있으며 완전히 로컬에서 작동하는 도구가 부재하다는 것입니다.

2. 방법론: Distribird 시스템

Distribird는 문헌 기반의 정보적 사전 분포 구축을 자동화하기 위해 설계된 에이전트형 웹 애플리케이션이자 Python 라이브러리입니다. 이 시스템은 오픈 웨이트 모델을 사용하여 연구자의 로컬 하드웨어에서 완전히 작동하므로 데이터가 기기를 벗어나지 않습니다.

2.1 핵심 아키텍처

시스템은 세 가지 피드백 루프와 조건부 라우팅을 갖춘 상태 저장 워크플로우(stateful workflow)를 조율하는 LangGraph 멀티 에이전트 파이프라인을 기반으로 구축되었습니다. 파이프라인은 ParameterInput(이름, 설명, 단위, 도메인 컨텍스트, 물리적 경계)을 다음 단계들을 통해 처리합니다:

1. 강화 및 유효성 검사 (Enrichment & Validity Check):

   • 시스템은 먼저 파라미터를 인식하려고 시도합니다. 만약 LLM이 이름을 인식하지 못하거나 해당 양이 비경험적(예: 잠재 변수)이라고 판단하면, 조기 건너뛰기(Early-Skip) 메커니즘을 트리거합니다.
   • 이는 비용이 많이 드는 검색 및 추출 단계를 우회하여(실행 시간의 80~95% 절감) 요청을 Likely_Invalid 또는 Suspicious로 분류함으로써 근거 없는 사전 분포 생성을 방지합니다.

2. 점진적 검색 전략 (Progressive Search Strategy):

   • 범위 계획 (Scope Planning): 노드가 요청의 구체성(높음, 중간, 낮음)을 분류하여 초기 검색 폭(엄격함, 혼합형, 광범ness)을 결정합니다.
   • 병렬 검색 (Parallel Search): 시스템은 오픈 액세스 논문을 찾기 위해 Semantic Scholar와 OpenAlex를 병렬로 쿼리합니다. 선택적 에이전트는 심층 웹 검색을 수행할 수 있으며, 결과는 환각된 인용을 방지하기 위해 교차 검증됩니다.
   • 도메인 확장 (Loop B): 초기 엄격한 검색이 충분한 관련 값을 제공하지 못할 경우, 시스템은 자동으로 검색 범위를 넓히고(예: "중부 유럽의 옥수수"에서 "전 세계의 옥수수"로) 검색을 재실행하여 기존 결과를 버리는 대신 증거를 축적합니다.

3. 전문 검색 및 추출 (Full-Text Retrieval & Extraction):

   • 계층적 페칭 (Tiered Fetching): 시스템은 URL 리졸버, 오픈 액세스 미러, DOI 컨버터를 통한 일련의 소스를 통해 전문(full text)을 가져오려고 시도하며, 그 후 선택적으로 무거운 스텔스 브라우저(Camoufox)를 사용하여 유료 콘텐츠에 접근합니다.
   • 구조 보존 (Structure Preservation): PDF를 마크다운(Markdown)으로 변환하여 표 구조를 보존함으로써, 수치 값이 관련 단위 및 행/열 레이블과 함께 온전히 추출되도록 합니다.
   • 추출 (Extraction): LLM은 전문에서 수치 값을 추출합니다.

4. 관련성 인지 합성 (Relevance-Aware Synthesis):

   • 관련성 판단 (Relevance Judging): 추출된 각 값은 도메인 관련성(높음, 중간, 낮음)에 따라 LLM에 의해 점수가 매겨집니다.
   • 품질 게이트 (Quality Gate): 파이프라인은 추출된 값의 양과 질을 평가합니다. 증거가 부족한 경우, 더 나은 데이터를 찾기 위해 검색 정교화(Loop A) 또는 **추 추출 정교화(Loop C)**를 트리거합니다.
   • 분포 적합 (Distribution Fitting):
     • 값 $\ge$ 5개: 다섯 가지 후보 분포(정규 분포, 절단 정규 분포, 감마 분포, 로그 정규 분포, 베타 분포)를 적합시키고 **AIC(Akaike Information Criterion)**를 통해 최적의 분포를 선택합니다.
     • 값 2~4개: 과적합을 방지하기 위해 표준 편차를 넓힌 모멘트 매칭(moment matching)을 사용합니다.
     • 값 1개: 출처로부터 얻은 불확실성을 바탕으로 해당 값에 중심을 둔 절단 정규 분포를 생성합니다.
     • 값 0개: 넓은 비정보적 절단 정규 분포로 폴백(fallback)합니다.
   • 가중치 부여 (Weighting): 값들은 표본 크기와 관련성 점수(높음=1.0, 중간=0.6, 낮음=0.25)에 따라 가중치가 부여됩니다.

5. 출력 및 출처 (Output & Provenance):

   • 시스템은 적합된 분포, 신뢰 수준, 그리고 완전한 출처 체인(검색 쿼리, 검색된 논문, 추출된 값, 적합 근거)을 포함하는 PipelineResult를 출력합니다.
   • 형식은 JSON, 실행 가능한 Python(SciPy), R 스크립트를 포함합니다.

2.2 기술적 제약 사항

• 로컬 실행: 모든 LLM 호출은 로컬 GPU 실행(예: NVIDIA H100)을 위해 양자화된 오픈 웨이트 모델(Qwen3.6 27B, Gemma 4 31B, Mistral Small 4 119B)을 사용합니다.
• 예산 제어: IterationBudget은 총 LLM 호출 횟수를 제한(기본값 30회)하여 종료를 보장합니다.
• 재현성: 고정된 시드(seed)와 작업별 온도(temperature) 설정을 통해 동일한 입력에 대해 결정론적인 출력을 보장합니다.

3. 주요 기여

1. 자동화된 문헌 기반 사전 분포: Distribird는 파라미터 설명부터 적합된 확률 분포에 이르기까지의 파이프라인을 완전히 자동화하는 시스템으로, 특히 프로세스 기반 모델을 타겟팅합니다.
2. 유효성 가드레일: 일반적인 LLM과 달리, Distribird는 조기 건피 메커니즘과 최종 유효성 분류기를 통해 범위를 벗어난 요청(오타, 비경험적 파라미터)을 명시적으로 탐지하고 거부하여 "확신에 찼지만 근거 없는" 사전 분포 생성을 방지합니다.
3. 전체 출처 제공: 모든 사전 분포는 특정 논문 및 추출된 값과 연결됩니다. 시스템은 LLM의 "블랙박스" 특성을 해결하기 위해 완전한 감사 추적(audit trail)을 내보냅니다.
4. 로컬, 프라이버시 보존 운영: 전체 워크플로우는 오픈 웨이트 모델을 사용하여 로컬 하드웨어에서 실행되므로, 미발표 모델의 세부 정보가 제3자 제공업체로 전송되지 않습니다.
5. 점진적 검색 로직: 시스템은 초기 증거에 따라 검색 폭을 동적으로 조정하여, 특이성과 충분한 데이터 확보 사이의 균형을 맞춥니다.

4. 평가 결과

저자들은 세 가지 로컬 오픈 웨이트 모델을 사용하여 10개 과학 도메인의 24개 파라미터에 대해 Distribird를 평가하였으며, 이를 단일 프롬프트 LLM 베이스라인(문헌 검색 없이 직접 사전 분포를 요청하는 방식)과 비교하였습니다.

• 사전 품질 (정확도): 전체 파이프라인은 점 추정(point-estimate) 정확도 측면에서 단일 프롬프트 베이스라인과 동일한 수준을 보였으나 이를 능가하지는 못했습니다. 저자들은 두 방법 모두 궁극적으로 동일한 지식 기반(LLM의 학습 데이터 vs. 검색된 문헌)에 의존하기 때문에 이는 예상된 결과라고 언급했습니다.
• 환각에 대한 견고성: 전체 파이프라인은 다섯 가지의 범위 외 테스트 파라미터(조작되었거나 비경험적인 파라미터)에 대해 사전 분포 생성을 성공적으로 거부했습니다. 반면, 단일 프롬프트 베이스라인은 이러한 파라미터에 대해 30개의 모델-파라미터 케이스 중 11개에서 확신에 찬 근거 없는 사전 분포를 생성했습니다.
• 추적 가능성: Distribird가 생성한 모든 사전 분포는 특정 출처와 연결된 반면, 베이스라인은 추적 가능한 근거 없이 사전 분포를 반환했습니다.
• 로컬 운영: 시스템은 민감한 데이터를 전송하지 않고 로컬 하드웨어에서 완전히 실행되는 데 성공했습니다.

5. 의의 및 주장

본 논문은 과학적 워크플로우에서 점 추정 정확도의 미세한 향상보다 출처(provenance), 조작에 대한 견고성, 그리고 데이터 프라이버시가 더 중요하다고 주장합니다.

Distribird는 잘 유도된 LLM보다 더 "똑똑한" 추정기라고 주장하지 않습니다. 대신, 이 시스템은 신뢰할 수 있는 도구임을 주장합니다. 이 시스템의 의의는 문헌 기반의 사전 분포 구축을 다음과 같이 만드는 데 있습니다:

• 확장 가능함: 이전에 수일간의 수동 독서가 필요했던 과정을 자동화합니다.
• 감사 가능함: 모든 사전 분포에 대해 방어 가능한 증거 체인을 제공합니다.
• 안전함: 경험적 지지가 부족한 파라미터의 사용을 방지합니다.
• 프라이빗함: 외부 AI 제공업체에 노출하지 않고도 독점적이거나 미발표된 모델 세부 정보를 사용할 수 있게 합니다.

저자들은 이러한 속성들이 de Distribird를 진지한 과학적 연구에 적합하게 만들며, 사전 분포를 검증하고 방어할 수 있는 능력이 사용의 전제 조건이라고 결론짓습니다.