MITRA: An AI Assistant for Knowledge Retrieval in Physics Collaborations

이 논문은 CERN 의 CMS 와 같은 대규모 과학 협업에서 민감한 데이터를 온프레미스로 보호하면서 내비게이션과 지식 공유를 개선하기 위해 Selenium 과 OCR 기반 자동 파이프라인, 2 단계 벡터 데이터베이스 아키텍처를 활용한 온프레미스 RAG 기반 AI 어시스턴트 'MITRA'를 제안합니다.

핵심

🏔️ 거대한 도서관과 잃어버린 보물

상상해 보세요. 수천 명의 과학자들이 매일 새로운 발견을 하고, 그 내용을 기록한 **수만 권의 두꺼운 책 (문서)**이 쌓여 있는 거대한 도서관이 있다고 합시다.

• 문제: 이 도서관은 너무 커서, 새로운 학생이 "어디에 이런 정보가 있을까?"라고 찾아다니다가 지쳐버리거나, 베테랑 연구원도 "어제 그 실험에서 배경 잡음 (noise) 이 뭐였지?"라고 기억을 더듬느라 시간을 낭비합니다.
• 기존 방법: 기존의 검색창은 마치 "정확히 이 단어를 입력해야만 책을 찾아준다"는 엄격한 사서와 같습니다. "pT 컷 (pT cut)"이라고 검색해야만 나오는데, 사용자가 "가로 운동량 제한"이라고 검색하면 아무것도 나오지 않습니다.

🤖 MITRA: 도서관의 똑똑한 안내원

이 문제를 해결하기 위해 만든 것이 MITRA입니다. MITRA 는 단순히 책을 찾아주는 게 아니라, 문맥을 이해하는 똑똑한 안내원입니다.

1. 책을 읽는 방식 (자동화 및 OCR)

MITRA 는 도서관의 책들을 자동으로 가져와서 읽습니다.

• 비유: 책이 복잡한 표지나 그림이 많아서 읽기 어렵다면, MITRA 는 고해상도 스캐너를 이용해 책의 내용을 정확하게 텍스트로 변환합니다. 단순히 글자만 복사하는 게 아니라, 그림 설명이나 표까지 정확히 구별해서 읽습니다.

2. 두 단계로 나누어 찾기 (2 단계 데이터베이스)

가장 중요한 MITRA 의 특징은 '먼저 큰 그림을 보고, 그다음 세부 사항을 찾는' 방식입니다.

• 1 단계 (초록 확인): 사용자가 "가장 중요한 배경 잡음은 뭐야?"라고 물으면, MITRA 는 먼저 모든 책의 **제목과 요약 (초록)**을 훑어봅니다. "아, 이 질문은 '힉스 입자' 실험에 대한 건가, 아니면 '암흑 물질' 실험에 대한 건가?"를 먼저 파악합니다.
  • 왜 중요할까요? 만약 힉스 입자 실험에 대한 답변을 암흑 물질 실험 문서에서 찾아주면 엉뚱한 답이 나오기 때문입니다. MITRA 는 사용자에게 "혹시 이 실험을 말씀하시는 건가요?"라고 확인을 받습니다.
• 2 단계 (본문 탐색): 실험이 확정되면, 이제 그 실험에 관련된 책 전체 내용만 집중해서 찾아줍니다. 이렇게 하면 다른 실험 내용과 섞여 엉뚱한 답을 하는 실수를 방지합니다.

3. 비밀스러운 금고 (온프레미스 및 개인정보 보호)

MITRA 는 외부 클라우드나 인터넷에 연결된 AI 서비스 (예: ChatGPT 등) 를 쓰지 않습니다.

• 비유: 외부 서비스는 "내 질문을 외부의 거대한 컴퓨터로 보내서 답을 받아오는 것"이라면, MITRA 는 **실험실 안에 있는 전용 금고 (로컬 서버)**에서 모든 일을 처리합니다.
• 이유: 과학 실험 데이터는 아직 공개되지 않은 '비밀'입니다. 외부로 나가는 순간 유출될 수 있기 때문에, MITRA 는 모든 데이터를 실험실 안의 컴퓨터 안에서만 처리하여 보안을 100% 보장합니다. 또한, 외부 서비스에 매번 돈을 내지 않아도 되어 장기적으로 훨씬 경제적입니다.

🏆 성능 테스트 결과: 왜 MITRA 가 더 좋은가?

연구팀은 MITRA 를 기존 검색 방식 (키워드 검색) 과 비교해 봤습니다.

• 상황 A (정확한 단어 사용): "pT 컷"이라고 검색하면 둘 다 잘 찾습니다.
• 상황 B (일상적인 표현 사용): "가로 운동량을 어떻게 제한했어?"라고 물으면?
  • 기존 검색: "pT 컷'이라는 단어가 없으니 "찾을 수 없습니다"라고 합니다. (성공률 13%)
  • MITRA: "아, 'pT 컷'을 말하는구나!"라고 문맥을 이해하고 정확한 답을 찾아냅니다. (성공률 75%)

이처럼 MITRA 는 단어의 일치 여부보다 '의미'를 이해하기 때문에, 연구원들이 전문 용어를 몰라도 자연스럽게 질문할 수 있습니다.

🔮 미래: 단순한 검색을 넘어선 '연구 파트너'

지금 MITRA 는 질문을 잘 답하는 '비서' 단계지만, 앞으로는 더 발전할 예정입니다.

• 비유: 단순히 "책에서 이 정보를 찾아줘"라고만 하던 비서가, **"요즘 어떤 새로운 분석이 나왔는지 요약해 줄까?", "두 가지 실험 방법을 비교해 볼까?", "데이터와 이론이 어긋나는 부분이 어디일까?"**라고 능동적으로 도와주는 연구 파트너가 되는 것입니다.

📝 한 줄 요약

MITRA는 거대한 과학 실험실의 방대한 문서들을 보안 유지하면서, 문맥을 이해하는 똑똑한 안내원처럼 연구원들이 원하는 정보를 빠르게 찾아주고, 새로운 과학적 발견을 더 빠르게 할 수 있게 돕는 AI 시스템입니다.

기술 요약

제시된 논문 "MITRA: An AI Assistant for Knowledge Retrieval in Physics Collaborations"에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 정의 (Problem)

대규모 과학 협력 프로젝트 (예: CERN 의 CMS 실험) 는 방대하고 지속적으로 증가하는 내부 문서 (분석 노트, 위키, 절차 가이드 등) 를 생성합니다. 이러한 정보 환경은 다음과 같은 심각한 도전을 제기합니다.

• 지식 접근의 어려움: 새로운 연구원이나 기존 전문가 모두 특정 물리 분석에 대한 정밀한 정보를 찾는 데 많은 시간과 좌절을 겪습니다.
• 기존 검색 도구의 한계: 전통적인 키워드 기반 검색은 문맥적 의미 (semantic context) 를 이해하지 못하며, 질문과 문서의 정확한 단어 일치에 의존합니다. 이로 인해 전문 용어가 다르게 표현된 경우나 복잡한 문맥을 가진 질문에는 실패합니다.
• 데이터 프라이버시 및 비용: 기존에 유사한 솔루션을 시도한 다른 협력 (예: ATLAS) 은 외부 API 기반 서비스 (GPT-4o 등) 를 사용했으나, 이는 장기적인 운영 비용이 크고 민감한 연구 데이터가 외부로 유출될 위험이 있습니다.

2. 방법론 (Methodology)

MITRA 는 검색 증강 생성 (RAG, Retrieval-Augmented Generation) 아키텍처를 기반으로 하며, 모든 구성 요소가 온프레미스 (On-Premise) 환경에서 실행되도록 설계되었습니다.

A. 자동화된 문서 수집 및 추출 파이프라인

• 수집: Selenium 을 사용하여 웹 인터페이스가 있는 내부 데이터베이스에 로그인하고 분석 노트 (주로 PDF) 를 자동으로 다운로드합니다.
• 추출: 일반적인 PDF 텍스트 변환 라이브러리 대신 Surya 및 Tesseract와 같은 고급 OCR 엔진을 활용합니다. 이를 통해 레이아웃을 정밀하게 파싱하여 본문, 그림 캡션, 표, 페이지 번호 등을 구분하여 고품질의 텍스트를 추출합니다.

B. 임베딩, 검색 및 재순위화 (Retrieval & Reranking)

• 분할 (Chunking): 추출된 텍스트를 논리적 단락 (paragraph) 단위로 분할합니다.
• 임베딩: facebook/dpr-question_encoder-multiset-base 모델을 사용하여 768 차원 벡터 공간으로 인코딩하고, Chroma DB 와 같은 경량 벡터 데이터베이스에 저장합니다.
• 2 단계 검색 전략:
  1. 초기 검색: 쿼리와 문서 간의 코사인 유사도를 기반으로 Top-k 개의 후보를 추출합니다.
  2. 재순위화 (Reranking): cross-encoder/ms-marco-MiniLM-L-6-v2 모델을 사용하여 쿼리와 후보 문서 쌍의 관련성을 더 정밀하게 점수화합니다. 이는 초기 검색의 정확도를 높이고 할루시네이션을 줄이는 데 필수적입니다.

C. 온프레미스 LLM 및 프라이버시 보장

• 로컬 호스팅: 임베딩 모델과 LLM 을 모두 협력 기관의 로컬 GPU 서버 (NVIDIA Tesla T4 등) 에서 실행합니다.
• 모델: 4 비트 양자화된 Mistral-7B 모델을 Ollama 를 통해 로컬에서 서빙하며, LangChain 프레임워크로 통합됩니다.
• 효과: 외부 API 호출 없이 모든 데이터가 로컬 네트워크 내에서 처리되므로, 미공개 결과나 민감한 분석 데이터의 유출을 완전히 차단하고 장기적인 비용을 절감합니다.

3. 핵심 기여 (Key Contributions)

1. 모듈형 자동화 파이프라인: 내부 분석 문서를 수집하고 처리하는 자동화된 시스템을 구축하여, 문서 업데이트 시 전체 모델을 재학습하지 않고도 임베딩만 갱신하면 되는 확장성을 제공합니다.
2. 2 단계 데이터베이스 아키텍처:
   • 1 단계 (Abstracts DB): 사용자의 질문을 모든 분석의 초록 (abstract) 에 대해 검색하여 가장 관련성 높은 '단일 분석'을 식별하고 사용자의 확인을 받습니다.
   • 2 단계 (Full-Text DB): 선택된 특정 분석의 전체 텍스트로만 구성된 전용 데이터베이스에 '잠금 (lock-on)'하여 이후 모든 대화 세션이 해당 컨텍스트 내에서만 진행되도록 합니다. 이는 서로 다른 분석 간의 정보 혼동을 방지합니다.
3. 완전 온프레미스 배포 모델: 민감한 과학 데이터를 외부로 전송하지 않으면서도 대규모 협력에 적합한 비용 효율적인 프라이버시 중심 아키텍처를 제시합니다.

4. 성능 평가 결과 (Results)

연구진은 물리 전문가가 설계한 두 가지 데이터셋 (Set 1: 정확한 키워드 일치, Set 2: 실제적인 동의어/개념 재표현) 을 사용하여 Okapi BM25 (전통적 키워드 검색) 와 MITRA 를 비교했습니다.

• 검색 정확도 (Precision/Recall):
  • Set 1 (정확한 키워드) 에서는 BM25 와 MITRA 모두 높은 성능을 보였습니다.
  • Set 2 (실제적인 재표현) 에서 MITRA 는 압도적인 우위를 보였습니다. Precision@1 은 BM25(0.13) 대비 MITRA(0.75) 로 크게 향상되었으며, 의미적 유사성을 이해하여 정확한 문서를 찾아냈습니다.
• 순위 품질 (Ranking Metrics):
  • MRR (Mean Reciprocal Rank): Set 2 에서 BM25(0.35) 대비 MITRA(0.81) 로, 정답이 상위권에 위치할 확률이 훨씬 높음을 보여줍니다.
  • NDCG: MITRA 는 전체 검색 결과 목록의 품질이 훨씬 높음을 입증했습니다.
• 할루시네이션 방지: 컨텍스트와 무관한 질문 (예: 암흑물질 분석에 대해 힉스 입자 발견 수를 묻는 경우) 에 대해 모델이 할루시네이션을 하지 않고, 검색된 문맥을 바탕으로 "해당 분석은 힉스 입자와 무관함"이라고 정확히 응답하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

• 과학적 발견 가속화: 새로운 연구원의 온보딩 시간을 단축하고, 기존 연구자들이 방대한 문서에서 필요한 지식을 빠르게 추출하여 연구 효율성을 극대화합니다.
• 데이터 주권 및 보안: 민감한 물리 실험 데이터를 외부 클라우드나 API 에 의존하지 않고 온프레미스 환경에서 안전하게 처리할 수 있는 모델을 제시했습니다.
• 미래 비전: 단순한 질문 응답 시스템을 넘어, 분석 요약, 방법론 비교, 데이터와 시뮬레이션 간 불일치 식별 등 능동적인 연구 에이전트 (Research Agent) 로 발전할 수 있는 기반을 마련했습니다.

이 논문은 대규모 과학 협력 프로젝트의 지식 관리 문제를 해결하기 위해 RAG 기술, 정밀한 문서 처리, 그리고 강력한 프라이버시 보장을 결합한 실용적이고 혁신적인 프레임워크를 성공적으로 입증했습니다.