ESOFinder: an LLM-powered tool to help users navigate ESO documentation
이 논문은 ESO 사용자들에게 천문대의 복잡한 문서 생태계를 탐색하기 위한 신뢰할 수 있고 문맥을 고려한 답변을 제공하기 위해, 3,500개 이상의 링크와 100개의 매뉴얼을 합성하는 거대 언어 모델 및 검색 증강 생성(RAG) 기반의 프라이버시 중심 사내 챗봇인 ESOFinder를 소개한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
유럽 남방 천문대(ESO)를 거대하고 오래된 도서관이라고 상상해 보십시오. 이 도서관은 단순히 일반적인 도서관이 아닙니다. 620만 단어가 넘는 지침, 매뉴얼, 가이드로 가득 차 있으며, 이는 킹 제임스 성경의 약 8배에 달하는 분량입니다. 이 책들은 별을 관측하기 위한 제안서를 작성하는 방법부터 망원경이 사진을 찍은 후 데이터를 정리하는 방법까지 모든 것을 다룹니다.
문제는 무엇일까요? 이 도서관에서 특정 답변을 찾는 것은 눈을 가린 채 3,500권의 서로 다른 책 더미 속에서 단 하나의 특정 문장을 찾는 것과 같습니다. 천문학자들과 직원들은 과학 연구를 하는 대신 검색하는 데 너무 많은 시간을 허비하고 있습니다.
이를 해결하기 위해 ESO 팀은 인공지능(AI)으로 구동되는 스마트한 디지털 사서인 ESOFinder를 구축했습니다. 작동 원리는 다음과 같습니다.
1. 두뇌와 기억 (LLM + RAG)
일반적인 AI 챗봇(일반적인 질문에 사용하는 것과 같은)을 예전에는 공부를 많이 했지만 수년 동안 학교에 가지 않은 천재 학생이라고 생각해 보십시오. 그들은 답을 추측할 수는 있지만, 종종 사실이 아닌 것을 지어내거나(환각 현상), 새로운 규칙을 알지 못해 시대에 뒤떨어진 조언을 할 수 있습니다.
ESOFinder는 다릅니다. 이 시스템은 RAG(검색 증강 생성, Retrieval-Augmented Generation)라는 기술을 사용합니다.
- 기억: ESOFinder는 질문에 답하기 전에 ESO의 현재 문서 라이브러리 전체를 읽고 암기합니다. 이 방대한 PDF와 웹사이트들을 관리 가능한 작은 "덩어리(chunks)"로 나누고, 매우 체계적인 인덱스 카드 시스템처럼 정리합니다.
- 두뇌: 질문을 받으면 ESOFinder는 단순히 추측하지 않습니다. 먼저 자신의 기억 속에서 관련 있는 "인덱스 카드"를 찾아냅니다. 그런 다음 그 특정 페이지들을 AI 두뇌에 건네며 이렇게 말합니다. "이 페이지들을 읽고, 오직 여기에 보이는 내용만을 바탕으로 질문에 답하세요."
2. 탐정 작업 (하이브리드 검색)
질문을 던지면 ESOFinder는 두 가지 서로 다른 도구를 동시에 사용하는 탐정처럼 행동합니다.
- "의미" 탐정: 이 도구는 질문 뒤에 숨겨진 의도를 이해합니다. 만약 당신이 "망원경을 향하게 하는 법"에 대해 묻는다면, 이 탐정은 당신이 정확한 단어를 사용하지 않더라도 그것이 "망원경 지향(telescope pointing)"을 의미한다는 것을 압니다.
- "키워드" 탐식: 이 도구는 정확한 일치를 찾습니다. 만약 당신이 "VISIR"이라는 이름의 특정 기기나 기술 코드를 묻는다면, 이 탐정은 "의미" 탐정이 놓칠 수 있는 특정 전문 용어를 찾아내어 실수 없이 잡아냅니다.
이 시스템은 두 탐정의 결과를 결합하고, 최적의 결과를 찾기 위해 순위를 매긴 뒤, 관련 없는 노이즈를 제거합니다.
3. 자기 교정 루프 ("더블 체크")
AI의 가장 큰 위험 중 하나는 자신 있게 틀린 말을 할 수 있다는 것입니다. ESOFinder에는 내장된 "안전망"이 있습니다.
- AI가 답변을 생성한 후, 두 번째 AI "채점자"가 이를 검토합니다.
- 체크 1: "우리가 제공한 문서에서 실제로 답을 찾아냈는가?"
- 체크 2: "이 답변이 실제로 사용자의 문제를 해결하는가?"
- 만약 답변이 두 체크 중 하나라도 통과하지 못하면, 시스템은 단순히 포기하지 않습니다. 질문을 다시 작성하고, 다시 검색하며, 더 나은 답변을 생성하려고 시도합니다. 시스템은 제대로 된 답을 찾거나, "우리 책에서 답을 찾을 수 없습니다"라고 인정할 때까지 이 과정을 반복합니다.
4. 개인정보 보호 및 제어
이 도구는 ESO의 자체 로컬 서버에서 실행되는 오픈 소스 AI 모델을 기반으로 구축되었기 때문에 모든 데이터를 비공개로 유지합니다. 천문학자들은 자신의 정보가 외부 세계와 공유될 걱정 없이 민감하거나 기밀인 프로젝트에 대해 질문할 수 있습니다.
결과는 어떠했습니까?
팀은 실제 천문학자 및 직원들을 대상으로 세 차례의 테스트를 진행했습니다.
- 1라운드: 도구가 다소 혼란스러워했으며, 너무 길고 장황한 답변을 내놓았습니다. 별점은 5점 만점에 3.0점을 받았습니다.
- 2라운드: 검색과 "두뇌"를 개선했습니다. 조금 나아졌지만(3.1점), 여전히 복잡한 질문에는 어려움을 겪었습니다.
- 3라운드 (현재 버전): 검색 전략을 수정하고 더 많은 문서를 추가한 후, 도구는 훨씬 더 정교해졌습니다. 최근 테스트에서 평균 평점은 5점 만점에 3.84점으로 뛰어올랐으며, 중앙값(중간 점수)은 5점을 기록했습니다. 대부분의 사용자는 이제 답변이 "완벽하다" 또는 "정확하다"고 평가합니다.
향요는 무엇인가요?
팀은 이 도구가 아직 완벽하지 않다는 점을 인정합니다. 텍스트 대신 거대한 표나 그림이 포함된 문서를 처리할 때 때때로 어려움을 겪기도 합니다. 또한, 그들은 더 구체적인 데이터(예: ALMA 망원경의 데이터)를 추가하고, 도서관 자체의 오류를 찾는 데 이 도구를 활용할 계획입니다.
궁극적으로 ESOFinder는 복잡한 문서의 미로를 헤매는 모든 이들을 위한 최고의 "안내 데스크"가 되어, 혼란스러운 문서의 미로를 간단한 대화로 바꾸는 것을 목표로 합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.