Dingent: An Easily Deployable Database Retrieval and Integration Agent framework

본 논문은 다양한 데이터 소스를 지원하고 자연어 기반의 효율적인 검색을 위한 웹 인터페이스를 제공하는 범용 에이전트 프레임워크 'Dingent'을 제안하며, 이를 통해 데이터 검색 및 통합의 간소화와 다양한 분야로의 확장 가능성을 입증합니다.

핵심

딩전 (Dingent): 생물학 데이터의 '만능 비서'를 만드는 레고 블록

이 논문은 **"딩전 (Dingent)"**이라는 새로운 도구를 소개합니다. 쉽게 말해, 딩전은 생물학 데이터를 찾는 일을 **자연스러운 대화 (말)**로 할 수 있게 해주는 **'스마트 비서 제작 키트'**입니다.

복잡한 컴퓨터 코딩을 몰라도, 레고 블록을 조립하듯 이 킷트를 사용하면 연구자들이 원하는 데이터를 쉽게 찾아낼 수 있습니다.

---

1. 왜 딩전이 필요할까요? (기존의 문제점)

지금까지 생물학 연구자들은 방대한 데이터베이스 (유전체, 단백질 정보 등) 를 검색할 때 두 가지 큰 고민이 있었습니다.

• 코딩이 너무 어렵습니다: 기존에 좋은 도구들이 있었지만, 이를 쓰려면 컴퓨터 프로그래밍을 잘해야 했습니다. 마치 자동차를 수리하려면 엔진 공학 지식이 있어야 하는 것처럼, 일반 연구자들은 데이터만 찾고 싶을 뿐, 복잡한 기계 조립은 원하지 않습니다.
• 하나의 도구로 모든 것을 못 합니다: 어떤 도구는 특정 데이터만 찾고, 또 다른 도구는 또 다른 데이터만 찾습니다. 마치 서로 다른 언어를 쓰는 통역사들처럼, 데이터를 하나로 합쳐서 의미 있는 결론을 내기 어려웠습니다.

딩전은 이 문제를 해결합니다. "코딩 없이, 말로만 물어보면 알아서 찾아주고 정리해준다"는 원스톱 (One-stop) 솔루션입니다.

---

2. 딩전은 어떻게 작동할까요? (핵심 기능 4 가지)

딩전은 마치 스마트한 주방과 같습니다.

① 레고 블록처럼 조립 가능한 '레시피' (원스톱 구성)

연구자는 복잡한 코딩 대신, 웹 화면에서 드래그 앤 드롭으로 설정을 합니다.

• 비유: 요리를 할 때 레시피 책자를 보며 재료를 고르는 것처럼, 연구자는 '어떤 데이터베이스 (재료)'를 쓰고, '어떤 AI 모델 (주방장)'을 쓸지, '어떤 순서로 검색할지 (요리 순서)'를 설정하면 됩니다. 이 설정 파일만 있으면, 누구나 나만의 데이터 검색 비서를 만들 수 있습니다.

② 빠른 속도로 일하는 '슈퍼 주방장' (고성능 엔진)

딩전의 엔진은 LangGraph라는 기술을 기반으로 합니다.

• 비유: 한 명의 주방장이 모든 요리를 하는 게 아니라, 여러 명의 주방장이 동시에 일을 나누어 합니다. 동시에 여러 질문이 들어와도 서로 방해하지 않고, 이미 해본 요리 (검색) 는 다시 만들지 않고 기억해 두었다가 바로 꺼내 씁니다 (캐싱). 그래서 매우 빠르고 효율적입니다.

③ 상황에 맞춰 변신하는 '도구 상자' (플러그인 시스템)

딩전에는 다양한 '플러그인'이 있습니다.

• 비유: 스마트폰에 앱을 설치하듯, 필요한 기능을 추가할 수 있습니다.
  • Text2SQL: 말로 "강아지 유전자를 찾아줘"라고 하면, 이를 데이터베이스가 이해하는 언어 (SQL) 로 바꿔서 검색합니다.
  • RAG: 책 (데이터) 을 읽고 요약해 주는 기능입니다.
  • MCP: 외부 서비스와 연결해 주는 다리 역할을 합니다.
  • 연구자는 이 도구들을 필요에 따라 조합해 강아지 질병 전문가, 유전자 분석가 등 다양한 역할을 가진 비서를 만들 수 있습니다.

④ 언제 어디서나 설치 가능한 '휴대용 키트' (배포의 용이성)

딩전은 윈도우, 맥, 리눅스 등 모든 컴퓨터에서 한 번의 클릭으로 설치됩니다.

• 비유: 복잡한 서버 구축 없이, 스마트폰 앱처럼 연구실 컴퓨터에 바로 깔아서 쓸 수 있습니다. 버전 관리도 자동으로 되어, 업데이트가 필요하면 자동으로 최신 버전으로 바뀝니다.

---

3. 딩전이 실제로 한 일 (세 가지 사례)

논문에서는 딩전이 실제로 어떻게 쓰였는지 세 가지 예를 들었습니다.

사례 1: 단일 데이터베이스 검색 (GenBase)

• 상황: 핵산 (DNA/RNA) 데이터만 있는 거대한 도서관이 있습니다.
• 딩전의 역할: 연구자가 "세인트마리우스라는 생물의 DNA 서열을 찾아줘"라고 말하면, 딩전은 자동으로 해당 도서관을 검색해 결과를 보여줍니다.
• 결과: 복잡한 명령어 없이 자연어로 검색이 완료되었습니다.

사례 2: 여러 도서관을 오가는 지능형 루틴 (BioKA, iDog, GenBase)

• 상황: 강아지 질병 데이터, 생체 표지자 데이터, 유전체 데이터가 서로 다른 세 개의 도서관에 있습니다.
• 딩전의 역할: 연구자가 "강아지 중 매일 손질이 필요한 견종은?"이라고 물으면 iDog 도서관으로, "TP53 이라는 생체 표지자를 찾아줘"라고 물으면 BioKA 도서관으로 자동으로 이동합니다.
• 결과: 사용자는 여러 도서관을 오갈 필요 없이, 하나의 창구에서 모든 정보를 얻을 수 있습니다.

사례 3: 서로 연결된 정보 찾기 (강아지 퇴행성 척수염)

• 상황: 강아지의 '퇴행성 척수염 (DM)'이라는 질병의 원인을 찾고, 그 원인이 되는 유전자가 치료 표적이 될 수 있는지 확인하고 싶었습니다.
• 딩전의 역할:
  1. 먼저 iDog에서 질병의 원인 유전자 (SOD1 등) 를 찾습니다.
  2. 찾은 유전자 이름 (SOD1) 을 가지고 BioKA로 이동해, 이 유전자가 '생체 표지자 (치료제 개발에 쓸 수 있는 지표)'인지 확인합니다.
  3. 두 단계를 이어 "SOD1 은 이 질병의 진단 표지자입니다"라고 결론을 내립니다.
• 결과: 서로 다른 두 데이터베이스를 **연결 (Associated Query)**하여 새로운 통찰을 얻었습니다.

---

4. 결론: 앞으로의 전망

딩전은 생물학 연구자들에게 "데이터 검색의 민주화"를 가져다줍니다.

• 장점: 코딩을 몰라도 되며, 다양한 데이터를 하나로 묶어 의미 있는 답을 줍니다.
• 한계: 아직은 여러 AI 에이전트가 서로 대화하며 복잡한 문제를 해결하는 기능이나, 사용자 권한 관리 기능은 부족합니다.
• 미래: 앞으로는 더 많은 플러그인을 추가하고, AI 가 스스로 깊게 생각하며 데이터를 분석하는 기능을 강화할 예정입니다.

한 줄 요약:

딩전 (Dingent) 은 복잡한 생물학 데이터베이스를 '자연어 대화'로 쉽게 검색하고 연결해 주는, 연구자 누구나 쉽게 쓸 수 있는 '스마트 데이터 비서 제작 키트'입니다.

기술 요약

논문 요약: Dingent (데이터 검색 및 통합 에이전트 프레임워크)

1. 연구 배경 및 문제 제기 (Problem)

생물학적 데이터베이스를 위한 AI 기반 검색 및 통합은 중요한 연구 분야로 부상하고 있습니다. 그러나 현재 존재하는 솔루션들은 다음과 같은 한계를 가지고 있어, 생명과학 연구자들이 쉽게 접근하고 활용할 수 있는 '원스톱 (One-stop)' 프레임워크가 부족합니다.

• 기존 오픈소스 프레임워크 (LangChain, LlamaIndex 등): 다양한 데이터 소스를 지원하지만, 개발에 프로그래밍 전문 지식이 필수적이어서 비전공자 연구자들의 접근성이 낮습니다.
• 특정 도메인 애플리케이션 (AI-HOPE, MRAgent 등): 데이터 검색과 통합에 유망한 결과를 보여주지만, 유연성과 일반화 능력이 부족하여 변화하는 연구 요구사항에 적응하기 어렵습니다.
• 멀티 에이전트 협업 프레임워크 (AutoGen, CrewAI 등): 복잡한 추론 작업에 강점이 있지만, UI 기반의 엔드 - 투 - 엔드 (End-to-End) 데이터 검색 애플리케이션을 구축하는 데는 적합하지 않습니다.

핵심 문제: 다양한 데이터 저장 엔진을 지원하고, 자연어 기반의 웹 인터페이스를 제공하며, 프로그래밍 지식 없이도 구성 가능한 사용자 친화적인 에이전트 프레임워크의 부재.

2. 방법론 (Methodology)

Dingent은 위 문제를 해결하기 위해 제안된 구성 가능 (Configurable) 한 에이전트 프레임워크입니다. 주요 기술적 아키텍처와 기능은 다음과 같습니다.

• 아키텍처 개요:

  • FastAPI 기반 백엔드: 요청 처리 및 서비스 오케스트레이션을 담당합니다.
  • LangGraph 기반 ReAct 실행 엔진: 비동기 스케줄링과 캐싱을 활용하여 높은 처리량 (Throughput) 과 낮은 지연 시간 (Latency) 을 보장합니다.
  • React 기반 프론트엔드: 관리 페이지 (설정) 와 사용자 채팅 인터페이스 (검색) 를 제공합니다.

• 핵심 구성 요소:

  1. 플러그인 (Plugins): 최소 실행 단위입니다. Text2SQL, RAG 검색, 벡터 DB 쿼리, 커스텀 함수 호출 (예: GO enrichment), 원격 서비스 호출 (MCP, REST API) 등을 수행합니다. 각 플러그인은 입력 파라미터, 실행 로직, 프롬프트 템플릿을 독립적으로 정의합니다.
  2. 어시스턴트 (Assistants): 플러그인들을 조합하여 완전한 기능 단위를 형성합니다. (예: 개의 표현형 질문 답변 + GO 분석 수행)
  3. 워크플로우 (Workflows): 그래프 구조를 기반으로 어시스턴트들을 조립합니다. 분기 (Branching), 조건부 로직, 다중 어시스턴트 라우팅, 의존성 관리 등을 지원합니다.

• 주요 기술적 특징:

  • 코드 없는 구성 (No-code Configuration): 관리자가 LLM, 데이터 소스 (MySQL, SQLite, ChromaDB, Elastic Search 등), 플러그인, 워크플로우를 시각적 인터페이스를 통해 설정하면, 구조화된 파일로 저장되어 런타임에 동적으로 로드됩니다.
  • 고성능 실행 엔진:
    • 비동기 그래프 빌딩: 사용자 요청 시 워크플로우 실행 그래프를 동적으로 구성하여 다른 요청을 블로킹하지 않고 병렬 실행합니다.
    • 이중 확인 캐싱 (Double-checked Caching): 워크플로우 구축 및 초기화 오버헤드를 줄이기 위해 캐싱을 적용합니다.
    • 반응형 노드 실행: 각 어시스턴트가 독립적인 노드로 작동하여 컨텍스트에 따라 플러그인을 동적으로 선택하고 실행 계획을 수립합니다.
  • 확장성 및 배포:
    • 플러그인 생명주기 관리: fastmcp 를 통해 의존성 격리를 보장하고, 플러그인 자동 발견 및 등록을 지원합니다.
    • 원클릭 배포: Windows, Linux, macOS 를 지원하는 설치 패키지로 제공되며, 버전 관리 및 마이그레이션 메커니즘을 포함합니다.

3. 주요 기여 및 적용 사례 (Key Contributions & Results)

Dingent 의 유효성을 입증하기 위해 세 가지 다른 시나리오에서 애플리케이션을 구축하고 검증했습니다.

1. 단일 데이터베이스 검색 (MCP 활용):

   • 대상: GenBase (NGDC 의 핵산 및 단백질 데이터베이스).
   • 구현: Elasticsearch 기반 데이터를 검색하기 위해 SpringBoot MCP 프레임워크를 활용한 커스텀 플러그인을 개발하고 Dingent 에 통합했습니다.
   • 결과: 사용자가 "Ciona savignyi 의 핵산 서열을 가져와라"와 같은 자연어 질문을 입력하면, 에이전트가 자동으로 MCP 서비스를 호출하여 결과를 표와 요약 형태로 제공합니다.

2. 다중 데이터베이스 간 지능형 라우팅:

   • 대상: BioKA (생물 표지자), GenBase, iDog (개 유전체) 등 3 개의 리소스.
   • 구현: 워크플로우의 분기 (Branching) 기능을 활용하여 질문의 의도에 따라 적절한 데이터베이스로 라우팅되도록 설정했습니다. (예: "TP53 바이오마커 검색" → BioKA, "개 품종 관리 질문" → iDog)
   • 결과: 다양한 질문 유형에 대해 정확한 데이터 소스로 자동 라우팅이 이루어졌으며, 시스템의 신뢰성을 입증했습니다.

3. 연관된 데이터 소스 간 교차 쿼리 (Cross-database Query):

   • 대상: 개의 퇴행성 척수병 (DM) 과 관련된 유전자 (iDog) 및 바이오마커 (BioKA).
   • 구현: iDog 에서 DM 의 원인 유전자 (SOD1, SP110) 를 찾은 후, 해당 유전자를 키워드로 BioKA 에서 바이오마커 정보를 검색하는 연쇄 워크플로우를 구성했습니다.
   • 결과: "퇴행성 척수병의 원인 유전자와 해당 바이오마커를 알려줘"라는 질문에 대해, iDog 에서 유전자를 추출하고 이를 BioKA 에 전달하여 "SOD1 이 진단 바이오마커임"을 정확히 도출했습니다. 이는 기존 문헌과 일치하는 결과였습니다.

4. 의의 및 한계 (Significance & Limitations)

• 의의:

  • 접근성 향상: 프로그래밍이나 AI 전문 지식이 없는 생명과학 연구자도 복잡한 데이터베이스를 통합하고 자연어로 검색할 수 있는 환경을 제공합니다.
  • 유연성과 확장성: 모듈형 아키텍처와 플러그인 시스템을 통해 새로운 데이터 소스나 분석 도구를 쉽게 추가할 수 있습니다.
  • 범용성: 생명과학뿐만 아니라 지구과학, 생태학 등 다른 분야로의 확장이 용이합니다.
  • 오픈소스: GitHub 및 NGDC 웹사이트를 통해 코드와 설치 가이드를 공개하여 재현성을 보장합니다.

• 한계 및 향후 과제:

  • 에이전트 간 협업 부족: 현재는 개별 어시스턴트가 독립적으로 작동하며, 복잡한 다단계 작업을 위한 에이전트 간 통신 및 협업 메커니즘은 부재합니다.
  • 사용자 관리 기능 부재: 보안 인증 및 역할 기반 접근 제어 (RBAC) 기능이 없어, 다중 사용자 환경에서의 배포에 제한이 있습니다.
  • 데이터 분석 기능의 제한: 현재는 데이터 검색 (Retrieval) 에 집중되어 있으며, 심층적인 데이터 분석 기능은 상대적으로 미흡합니다.
  • 향후 계획: 플러그인 관리 패널 강화, 사용자 세션 관리 및 다국어 지원 추가, AI 기반 심층 검색 (Deep Search) 및 지능적 계획 기능 도입을 계획 중입니다.

결론적으로, Dingent 는 복잡한 생물학적 데이터 인프라를 연구자들이 직관적으로 활용할 수 있도록 연결하는 강력한 '브릿지' 역할을 하며, 데이터 중심 과학 연구의 민주화를 촉진하는 도구로 평가됩니다.