기술 요약: AstroRAG - 천문학 질문 응답을 위한 페이지랭크 기반 검색 증강 생성 파이프라인

1. 문제 제기

대형 언어 모델 (LLM) 은 강력한 자연어 처리 능력을 보이지만, 매개변수 지식에만 의존할 때 사실적 오류를 빈번하게 생성합니다. 검색 증강 생성 (RAG) 은 외부 증거에 기반한 응답을 제공함으로써 이를 완화하지만, 기존의 "검색 후 투하 (retrieve-and-dump)" 파이프라인은 종종 관련 없는 문맥을 도입합니다. 이는 밀집된 전문 용어, 수학적 형식주의, 그리고 정밀한 문맥적 기반이 요구되는 천문학과 같은 전문 분야에서는 특히 해롭습니다.

또한, 최근 연구들은 긴 문맥 모델에서 "U 자형 위치 효과"를 강조하는데, 이는 핵심 증거가 프롬프트의 시작이나 끝이 아닌 중간에 배치될 때 정확도가 크게 떨어지는 현상을 의미합니다. 기존 도메인 특화 솔루션은 방정식이 풍부한 콘텐츠를 처리하고, 일반 어휘와 전문 어휘 간의 간극을 해소하며, 과학적 추론에서의 추적 가능성과 프라이버시를 보장하는 데 어려움을 겪는 경우가 많습니다.

2. 방법론: AstroRAG 파이프라인

AstroRAG 는 천문학 질문 응답을 위해 특별히 설계된 경량, 완전 로컬, 그리고 학습이 불필요한 RAG 프레임워크입니다. 이는 프라이버시를 보장하고 작업 간 누출을 방지하기 위해 인스턴스 단위로 작동합니다. 파이프라인은 다음 단계로 구성됩니다:

A. 인스턴스 단위 격리 및 전처리

• 임시 인덱싱: 각 쿼리에 대해 시스템은 관련 배경 문서 (.txt, .pdf, .md) 만을 수신하여 처리한 후, 일회용 Elasticsearch 인덱스에 저장합니다. 이 인덱스는 답변이 생성된 직후 삭제되어 데이터 오염을 방지합니다.
• 토큰 인식 청킹: 문서는 정규화되고 tiktoken 기반의 p50k 인코딩을 사용한 재귀적 토큰 인식 텍스트 분할기에 의해 분할됩니다.
  • 최대 청크 크기 ($L$): 300 토큰.
  • 오버랩 ($\Delta$): 30 토큰.
  • 출처를 위해 메타데이터 (파일명, 페이지, 청크 ID) 가 모든 청크에 첨부됩니다.

B. 임베딩 및 벡터 인덱싱

• 청크는 문장 임베딩 모델 (예: Sentence-BERT) 을 사용하여 임베딩됩니다.
• 선택적 HyDE (가상 문서 임베딩): 로컬 LLM 이 쿼리에 대한 가상 단락을 생성할 수 있으며, 이는 희소한 쿼리에서의 검색 성능을 향상시키기 위해 임베딩됩니다.
• 임베딩은 일회용 Elasticsearch 인덱스에 저장됩니다.

C. 2 단계 검색

시스템은 엄격한 토큰 예산 하에 간결하고 상호 보완적인 문맥을 선택하기 위해 2 단계 검색 프로세스를 사용합니다:

1. 1 단계: 최대 변이 관련성 (MMR):

   • 벡터 저장소에서 작고 다양한 후보 집합 (기본값 $k=3$) 을 검색합니다.
   • 중복을 피하기 위해 쿼리와의 관련성과 후보 간의 다양성을 모두 최적화합니다.
   • 공식: $d^* = \arg\max_{d \in D \setminus S} [\lambda s(d, q) - (1-\lambda) \max_{d' \in S} s(d, d')]$.

2. 2 단계: 리더 기반 페이지랭크 (PR) 재순위화:

   • 노드가 검색된 $k$개의 청크이고, 엣지가 임계값 ($\tau = 0.01$) 이상의 코사인 유사도를 나타내는 유사성 그래프를 구성합니다.
   • 쿼리 - 청크 유사도 점수에서 파생된 개인화 벡터를 사용하여 페이지랭크 알고리즘을 적용합니다.
   • 목표: 쿼리뿐만 아니라 상호 강화 (높은 단편 간 지원) 도 되는 간결한 청크 집합을 식별합니다.
   • 페이지랭크 점수를 기반으로 상위 $pr$개의 청크 (기본값 = 3) 가 선택됩니다.

D. 답변 생성

• 선택된 청크는 연결되어 고정된 토큰 예산 (기본값 $T=1800$) 으로 잘라내어 LLM 문맥 창에 맞춥니다.
• 로컬 LLM (예: Mistral-7B, LLaMA 2, AstroSage) 이 단일 패스로 최종 답변을 생성하며, 정확한 출처 인용과 함께 응답을 제공합니다.
• 시스템은 OpenAI 호환 API 또는 HuggingFace TGI 를 통해 여러 백엔드를 지원합니다.

3. 주요 기여

1. 인스턴스 단위 격리 및 추적 가능성: 시스템은 관련 파일만 수신하고 인스턴스당 일회용 인덱스를 구성하며, 답변과 지원 단편을 기록한 후 생성이 완료되면 인덱스를 삭제합니다. 이는 프라이버시를 보장하고 인스턴스 간 오염을 방지합니다.
2. 리더 기반 페이지랭크를 통한 2 단계 검색: 초기 다양성을 위한 MMR 과 리더 기반 페이지랭크 재순위화 단계의 독창적인 결합은 작고 일관된 단편 집합을 선택합니다. 이는 쿼리 관련성과 단편 간 지원을 균형 있게 조절하여 LLM 의 "위치 효과"를 최적화합니다.
3. 완전 로컬 및 모듈식 파이프라인: 전체 워크플로우 (임베딩, 검색, 생성) 는 로컬 하드웨어에서 실행되어 외부 클라우드 API 에 의존하지 않고 오프라인 작동 및 프라이버시 민감 사용 사례를 지원합니다.

4. 실험 결과

파이프라인은 AstroQA 벤치마크 (쉬움, 중간, 어려움 난이도의 3,082 개 질문) 와 커스텀 AstroRef-QA 데이터셋에서 평가되었습니다.

• AstroQA 성능:
  • Mistral-7B + AstroRAG 변형은 전체 데이터셋에서 79.49% 정확도와 79.49% F1 점수를 달성했습니다.
  • 이는 RAG 가 없는 Mistral-7B 기준 (21.74% 정확도) 대비 거의 두 배의 성능 향상입니다.
  • 성능 향상은 난이도 수준 전반에 걸쳐 일관되었습니다: 쉬움 (77.50%), 중간 (80.28%), 어려움 (83.59%).
  • AstroRAG 는 DrQA 및 Map-Reduce 전략과 같은 다른 RAG 기준 모델들을 능가했습니다.
• AstroRef-QA 성능:
  • ROUGE-L 및 ROUGE-N 지표를 사용하여 Mistral-7B + AstroRAG 모델은 최고 점수 (ROUGE-L 30.17%, ROUGE-N 42.12%) 를 달성하여 향상된 어휘 중첩과 콘텐츠 관련성을 입증했습니다.
• 절대 실험 (Ablation Studies):
  • 토큰 예산: 64 개의 출력 토큰 제한이 지연 시간과 정확도 간의 최적 균형을 제공했습니다.
  • 하이퍼파라미터: 페이지랭크 상위-$K$가 3 이고 청크 오버랩이 30 토큰일 때 가장 좋은 성능이 관찰되었습니다.

5. 중요성 및 주장

이 논문은 AstroRAG 가 규율 있는 검색과 정제가 도메인 특화 추론을 강화하는 데 필수적임을 입증함으로써 다른 과학 분야로 RAG 를 확장하는 견고한 기반을 마련했다고 주장합니다.

• 재순위화의 효과성: 결과는 단순히 더 많은 단락을 검색하는 것보다 간결하고 상호 보완적인 문맥을 선택하기 위한 2 단계 프로세스 (MMR + 페이지랭크) 를 사용하는 것이 더 효과적임을 강조합니다.
• 프라이버시 및 재현성: 로컬에서 작동하고 일회용 인덱싱을 사용함으로써 시스템은 과학적 응용 분야에서 검증 가능성과 프라이버시에 대한 중요한 요구 사항을 해결합니다.
• 도메인 적응: 이 프레임워크는 일반 LLM 기능과 천문학적 추론의 엄격한 요구 사항 간의 간극을 성공적으로 메우며, 등급 - 밝기 추론, 천체 분류, 항성시 계산과 같은 복잡한 작업을 처리합니다.

저자들은 임베딩 모델 선택과 검색 하이퍼파라미터에 대한 민감성을 포함한 한계를 인정하며, 적응형 청킹, 멀티홉 집계, 다국어 입력 처리에 대한 향후 작업을 제안합니다.