Large Language Model Integration for Knowledge Retrieval and Interaction for the DUNE Experiment

이 논문은 대규모 언어 모델과 검색 증강 생성을 활용하여 심층 지하 중성미자 실험(DUNE)의 방대한 문서 및 기술 자원에 대한 안전하고 자연어적인 질의를 가능하게 함으로써 협업 생산성과 온보딩을 향상시키는 프로토타입 프레임워크인 DUNE-GPT를 소개한다.

핵심

DUNE 실험을 우주의 가장 미묘한 입자(중성미자)를 이해하기 위해 헌신하는 거대하고 북적이는 도서관이라고 상상해 보십시오. 이 도서관은 너무나 거대해서 수백만 권의 책, 노트, 설계도, 회의록이 디지털 형식과 물리적 바인더 등 다양한 선반에 흩어져 있습니다. 따라서 새로운 사서(또는 과학자)가 검출기가 어떻게 작동하는지에 대한 특정 세부 사항을 찾으려고 한다면, 이 미로를 검색하는 데 몇 시간 또는 며칠이 걸릴 수 있습니다.

이 논문은 이 문제를 해결하기 위해 설계된 새로운 "슈퍼 사서"인 DUNE-GPT를 소개합니다. 이 시스템이 어떻게 작동하는지 간단한 개념으로 나누어 설명하면 다음과 같습니다.

1. 문제점: 검색하기에는 너무 큰 도서관

DUNE 협력단은 (DocDB 및 Indico와 같이) 서로 다른 곳에 저장된 방대한 양의 정보를 가지고 있어, 특정 기술적 답변을 찾는 것이 어렵습니다. 이는 마치 책들이 정리되어 있지 않고 카탈로그가 고장 난 도서관에서 단 하나의 문장을 찾으려는 것과 같습니다.

2. 해결책: 스마트한 내부 조수

팀은 지식 가이드 역할을 하는 프로토타입 도구인 DUNE-GPT를 구축했습니다. 여러분이 폴더를 일일이 뒤지는 대신, "재구성 알고리즘이 노이즈를 어떻게 처리하나요?" 또는 "지난 화요일 회의록은 어디에 있나요?"와 같이 평이한 영어로 질문만 하면 됩니다.

3. 작동 방식: "3단계 탐정"

이 시스템은 단순히 추측하는 것이 아니라, 정확성을 보장하기 위해 엄격한 3단계 과정을 따릅니다:

• 1단계: 읽기 및 인덱싱 (사서의 두뇌):
  먼저, 시스템은 허용된 모든 문서(기술 보고서, 회의록 등)를 읽습니다. 시스템은 이 문서들을 아주 작은 조각으로 나누고, 각 조각이 무엇에 관한 것인지에 대한 "정신적 지도"(임베딩이라고 불림)를 만듭니다. 이것은 사서가 모든 책을 읽고 모든 페이지에 대해 요약 카드를 작성하는 것과 같습니다.

  • 참고: 시스템은 모두가 안전하게 볼 수 있는 문서만 읽도록 매우 주의를 기울이며, 비밀이나 제한된 파일은 제외합니다.

• 2단계: 빠른 검색 (벡터 데이터베이스):
  질문을 던졌을 때, 시스템은 도서관 전체를 다시 읽지 않습니다. 대신, 고속 검색 엔진(FAISS)을 사용하여 질문과 일치하는 특정 페이지를 "정신적 지도"에서 즉시 찾아냅니다. 이는 사서가 여러분의 질의에 따라 관련 있는 책 세 권을 선반에서 즉시 꺼내는 것과 같습니다.

• 3단계: 답변 (AI 작가):
  시스템은 찾아낸 특정 페이지들을 가져와서 대규모 언어 모델("AI 작가")에게 전달합니다. AI는 오직 그 페이지들만을 읽고 여러분을 위한 답변을 작성합니다.

  • 핵아 핵심적인 안전 기능: AI에게 "반드시 이 페이지들에 기반해서만 답변하라"고 지시합니다. 이는 AI가 무언가를 지어내는 문제(환각 현상이라고 불림)를 방지하고, 답변이 실제 DUNE의 사실에 근거하도록 보장합니다.

4. 안전 및 개인정보 보호: "담장 안의 정원"

AI에 대한 가장 큰 우려 중หนึ่ง는 개인 데이터가 공용 인터넷으로 유출되는 것입니다. 이를 해결하기 위해 DUNE 팀은 이 시스템을 페르미랩(Fermilab)과 아노드(Argonne)에 있는 자체 보안 컴퓨터 네트워크 내에 완전히 구축했습니다.

• 이는 도서관을 보안 요새 안에 짓는 것과 같습니다.
• 열쇠(인증된 DUNE 협력자)를 가진 사람만이 들어올 수 있습니다.
• 어떤 데이터도 공용 AI 기업으로 외부로 나가지 않습니다.

5. 현재까지 발견한 점

팀은 이 프로토타입을 테스트했으며, 결과적으로 이 도구가 제 역할을 매우 잘 수행한다는 것을 발견했습니다.

• 정확도: 초기 테스트에서, 검출기 세부 사항이나 물리 워크플로우에 관한 까다로운 질문에 대해서도 약 70%의 확률로 올바른 문서를 찾아냈습니다.
• 인터페이스: 과학자들이 질문을 입력하면 답변과 함께 원문 문서로 연결되는 링크를 받을 수 있는 간단한 웹사이트를 구축했습니다. 이를 통해 출처를 확인할 수 있습니다.

6. 향 next (향후 계획)

이 도구는 아직 프로토타입(베타 버전)입니다. 팀은 다음과 같은 계획을 가지고 있습니다:

• 코드나 검출기 로그와 같은 더 많은 유형의 파일을 읽을 수 있도록 학습시키기.
• 복잡한 차트와 그래프(이미지)를 이해할 수 있게 하기.
• 이를 전체 협력단에 배포하여 누구나 사용할 수 있도록 하기.

요약하자면: DUNE-GPT는 과학자들이 데이터 프라이버시를 위험에 빠뜨리거나 자체 보안 네트워크를 벗어나지 않고도, 방대한 문서 도서관에서 빠르고 정확하게 답을 찾을 수 있도록 돕는 보안된 내부 검색 엔진입니다.

기술 요약

기술 요약: DUNE-GPT – 지식 검색 및 상호작용을 위한 대규모 언어 모델 통합

문제 정의
Deep Underground Neutrino Experiment (DUNE)는 전례 없는 데이터의 양과 이질성으로 인해 지식 관리에 있어 상당한 어려움에 직면해 있습니다. 정보는 DocDB, Indico, 내부 위키 등 다양한 플랫폼에 분산되어 있으며, 여기에는 문서, 기술 노트, 실험 데이터, 재구성 파이프라인 등이 포함됩니다. 협업 규모가 커짐에 따라 재구성(reconstruction), 시뮬레이션, 검출기 운영에 관한 특정 기술 세부 사항에 접근하기 위해 이 분산된 환경을 탐색하는 과정은 특히 신규 협업자들에게 점점 더 많은 시간을 소모하게 만듭니다. 또한, 상용 또는 오픈 대규모 언어 모델(LLM)을 고에너지 물리학(HEP) 협업에 직접 배포하는 것은 데이터 프라이버시, 재현성 및 네트워크 접근성에 대한 중대한 우려를 낳으므로, 보안이 확보된 내부 솔루션이 필요합니다.

방법론
이러한 과제를 해결하기 위해 저자들은 Fermilab의 컴퓨팅 환경 내에서 작동하는 프로토타입 프레임워크인 DUNE-GPT를 개발했습니다. 이 시스템은 세 가지 주요 구성 요소로 이루어진 검색 증강 생성(Retrieval-Augmented Generation, RAG) 아키텍처를 활용합니다:

1. 문서 처리 및 임베딩 생성: 시스템은 DocDB와 Indico로부터 접근 가능한 공개 및 내부 DUNE 문서(예: 기술 설계 보고서, 회의록, 워킹 그룹 자료)를 수집합니다. 텍스트 전처리는 다양한 형식(PDF, DOCX, TXT, PNG)을 파싱하고, 메타데이터를 추출하며, 토큰 단위 세분화를 수행하는 과정을 포함합니다. 협업 정책을 준-수하기 위해 민감하거나 제한된 콘텐츠는 제외됩니다. 처리된 문서는 과학적 텍스트에 최적화된 트랜스포머 기반 인코더(특히 multi-qa-mpnet-base-dot-v1)를 사용하여 임베딩됩니다.
2. 벡터 데이터베이스 및 검색 엔진: 생성된 임베딩은 Facebook AI Similarity Search(FAISS)를 사용하는 벡터 데이터베이스에 저장됩니다. 사용자 질의를 받으면, 시스템은 코사인 유사도(cosine similarity)를 사용하여 가장 관련성이 높은 텍스트 세그먼트를 검색합니다.
3. 응답 생성을 위한 LLM 인터페이스: 검색된 컨텍스트 스니펫은 Argonne(Argo) 및 Fermilab(Ollama) 머신에 호스팅된 기존 LLM으로 전달됩니다. LLM은 검증된 소스 스니펫을 바탕으로 조건화되어 응답을 생성합니다. 이 방식은 출력이 DUNE 특화 소스에 근거하도록 보장하여 "환각(hallucination)"의 위험을 최소화하는 동시에, 모든 운영을 내부 컴퓨팅 환경 내에서 유지함으로써 데이터 프라이버시를 보호합니다.

주요 기여 및 구현

• 보안이 확보된 내부 아키텍처: 외부 AI 도구와 달리, DUNE-GPT는 Fermilab와 Argonne의 컴퓨팅 자원 내에서 완전히 작동하도록 설계되었습니다. 이를 통해 인증된 DUNE 협업자만이 도구에 접근할 수 있도록 보장하며, 민감한 데이터가 내부 네트워크를 벗어나지 않도록 합니다.
• 인용 기능이 포함된 인터페이스: 시스템은 사용자가 자연어 질의를 제출할 수 있는 경량 웹 인터페이스를 제공합니다. 생성된 응답은 DUNE 내부 데이터베이스에서 검색된 특정 문서를 참조하는 인용구를 포함하도록 포맷팅되어 추적 가능성을 높입니다.
• 프로토타입 배포: 프로토타입은 처음에 Argonne Leadership Computing Facility(ALCF)의 Aurora 슈퍼컴퓨터에서 오픈 소스 라이브러리를 통합한 Python 백엔드를 사용하여 개발되었습니다. 장기적인 계획은 이 인프라를 Fermilab로 이전하여 협업 전체에 걸친 호스팅을 구현하는 것입니다.

예비 결과
초기 벤치마크에 따르면, RAG 기반 시스템은 검출기 사양, 재구성 알고리즘, 물리 분석 워크플로를 포함한 다양한 질의 유형에 대해 약 **70%**의 관련 문서 검색 정확도를 달성했습니다. 현재 프런트엔드는 샘질문, 생성된 응서, 그리고 생성 과정에 사용된 상위 3개의 검색 참조 문헌을 표시할 수 있는 능력을 보여줍니다.

의의 및 향후 전망
본 논문은 DUNE-GPT를 복잡한 기술 자원에 대한 자연어 질의를 가능하게 함으로써 협업 전체의 생산성과 온보딩 효율성을 개선하기 위한 중요한 단계로 규정합니다. 저자들은 이 도구가 현재 활발히 개발 중임을 언급하며 범위를 겸손하게 설정했습니다. 향후 작업은 다음과 같습니다:

• 검출기 운영 로그 및 코드 문서까지 포함하도록 임베딩 코퍼스 확장.
• HEP 언어 이해를 위해 특별히 설계된 도메인 적응형 LLM 개발.
• 멀티모달 콘텐츠(예: 플롯 및 도표) 통합.
• 보안이 확보된 협업 전체 접근을 촉진하기 위한 Fermilab에서의 웹 호스팅 구축.
• 검색 품질 및 인터페이스 사용성을 개선하기 위한 사용자 피드백 반영.

이 연구는 검증되지 않은 외부 모델의 배포보다 데이터 보안과 소스 검증을 우선시하며, AI를 HEP 워크플로에 통합하는 통제되고 설명 가능한 접근 방식을 나타냅니다.