Descriptron-GBIF Annotator: A browser-based platform for crowdsourced morphological annotation of biodiversity images to help accelerate morphology based biodiversity data

이 논문은 GBIF 의 생물 다양성 이미지를 대상으로 SAM2 기반의 AI 분할, 표준화된 해부학 템플릿, 그리고 지식 그래프 내보내기를 지원하는 브라우저 기반 크라우드소싱 도구인 'Descriptron-GBIF Annotator'를 소개하며, 이를 통해 시민 과학 참여를 유도하고 전문가 검증 모델과 피드백 루프를 형성하여 형태 기반 생물 다양성 데이터 생성을 가속화하는 것을 목표로 합니다.

핵심

🌍 문제: "보이는 것은 많지만, 읽을 수 없는 책들"

지금 전 세계에는 **GBIF(글로벌 생물다양성 정보 시설)**라는 거대한 도서관이 있습니다. 여기에는 수억 개의 생물 표본 사진이 쌓여 있죠. 하지만 이 사진들은 마치 글자가 쓰이지 않은 그림책과 같습니다. "어디서, 언제 찍혔는지"는 알 수 있지만, "이 곤충의 날개 무늬가 어떻게 생겼는지"나 "다리의 구조는 어떤지" 같은 **구체적인 특징 (형태)**에 대한 정보는 거의 없습니다.

전문 분류학자 (생물을 연구하는 박사님들) 가 이 모든 사진을 하나하나 분석하려니 시간이 부족합니다. 마치 한 명의 요리사에게 전 세계의 재료를 모두 손질하라고 시킨 것과 같아서, 80% 이상의 생물 종은 아직 이름도 없이 방치되어 있습니다.

🛠️ 해결책: "Descriptron-GBIF Annotator" (생물 그림책 번역기)

이 문제를 해결하기 위해 연구팀은 누구나 웹브라우저 하나만 있으면 사용할 수 있는 무료 도구를 만들었습니다. 이 도구를 **'생물 그림책 번역기'**라고 상상해 보세요.

1. 설치 불필요 (제로 설치):

   • 이 도구는 복잡한 프로그램을 설치할 필요가 없습니다. 마치 웹사이트에 접속하면 바로 게임이 시작되는 것처럼, 브라우저만 열면 바로 사용할 수 있습니다. 파일 하나면 모든 기능이 들어있어 이메일로 보내도 됩니다.

2. AI 의 도움 (SAM2):

   • 사용자가 마우스로 생물의 부위 (예: 곤충의 더듬이) 를 가리키면, AI 가 "아, 이 부분을 잘라내야겠구나!"라고 알아서 도와줍니다. 마치 그림을 그릴 때 연필로 대략적인 윤곽을 그리면 컴퓨터가 자동으로 깔끔하게 잘라주는 기능과 비슷합니다.

3. 정해진 템플릿 (레시피):

   • 이 도구는 25 가지 주요 생물 그룹 (곤충, 새, 식물 등) 에 맞춰 **정해진 '그림책 페이지'**를 제공합니다. 예를 들어, '딱정벌레'를 선택하면 "옆면, 등쪽, 배쪽, 머리" 등 반드시 그려야 할 4 가지 기본 각도가 자동으로 나옵니다.
   • 사용자가 이 영역에 "색깔은 검정색, 질감은 거칠다"라고 적으면, 이 정보는 **전문 용어 (온톨로지)**로 자동으로 변환되어 저장됩니다.

🔄 두 단계 시스템: "시민과 전문가의 손잡기"

이 도구는 혼자 작동하는 것이 아니라, 두 단계로 이루어진 거대한 협업 시스템의 일부입니다.

• 1 단계 (시민 참여): 일반인, 학생, 취미생물학자가 이 웹 도구를 통해 사진을 보고 부위를 표시하고 특징을 적습니다. (이것이 ** crowdsourcing, 즉 '대중의 힘'**)
• 2 단계 (전문가 작업): 이 시민들이 모은 데이터는 **전문가용 고급 작업실 (Descriptron Portal)**로 넘어갑니다. 여기서는 슈퍼컴퓨터 (GPU) 를 이용해 AI 모델을 더 정교하게 훈련시키고, 자동화된 종 설명을 만들어냅니다.

비유하자면:

시민들이 **재료를 다듬고 손질 (데이터 수집)**하면, **전문 요리사 (AI 및 분류학자)**가 그 재료를 이용해 **고급 요리를 완성 (종 설명 및 AI 학습)**합니다. 그리고 완성된 요리 레시피가 다시 시민들에게 돌아와 더 쉽게 재료를 다듬을 수 있게 돕는 선순환이 만들어집니다.

📦 결과: "데이터의 보물창고"

이 도구로 만든 데이터는 다음과 같은 형태로 저장되어 전 세계와 공유됩니다.

• 표준화된 데이터: 컴퓨터가 바로 읽을 수 있는 형식 (JSON, CSV 등) 으로 저장됩니다.
• 인용 가능한 데이터: 마치 학술 논문을 출판하듯, **DOI(디지털 객체 식별자)**가 부여되어 citable(인용 가능) 한 자료가 됩니다.
• 지식 그래프: "이 사진의 이 부분은 '턱'이고, '턱'은 '곤충'의 일부이며, '곤충'은 '동물'이다"처럼 서로 연결된 지식의 그물망을 만듭니다.

💡 요약

이 논문은 **"수억 개의 생물 사진이 있지만, 그 안에 숨겨진 특징을 읽을 사람이 없다"**는 문제를 해결하기 위해, AI 를 도와 누구나 쉽게 참여할 수 있는 웹 도구를 만들었다고 말합니다.

이는 **시민 과학 (Citizen Science)**의 새로운 형태입니다. 마치 iNaturalist가 생물의 이름을 알려주는 데 집중했다면, 이 도구는 생물의 몸무게, 색깔, 구조 같은 '신체 특징'까지 함께 기록하여, AI 가 생물을 더 잘 이해하고 분류학자들이 더 빠르게 새로운 종을 발견할 수 있도록 돕는 미래의 생물 데이터 인프라를 구축하는 것입니다.

한 줄 요약:

"누구나 웹브라우저로 생물의 몸무게와 특징을 AI 와 함께 기록하면, 그 데이터가 모여 전 세계 생물 분류를 혁신하는 거대한 지식의 보물이 됩니다."

기술 요약

논문 제목: Descriptron-GBIF Annotator: 생물다양성 이미지의 군중 기반 형태학적 주석을 위한 브라우저 기반 플랫폼

1. 문제 제기 (Problem)

• 분류학의 위기: 지구상의 종 중 약 80% 가 아직 기술되지 않았으며, 특히 '다양한 곤충 (Dark taxa)'과 같은 군집은 전문가 부족으로 인해 기술이 지연되고 있습니다.
• 데이터의 불균형: GBIF(글로벌 생물다양성 정보 시설) 를 통해 27 억 개 이상의 표본 기록이 mobilized 되었으나, 대부분의 데이터는 위치, 날짜, 분류학적 이름에 그치고 구조화된 형태학적 정보 (morphological information) 는 부재합니다.
• 시민 과학의 한계: iNaturalist 나 Notes from Nature 와 같은 기존 플랫폼은 관찰 기록이나 라벨 전사에 집중할 뿐, 이미지 내의 구체적인 해부학적 구조를 체계적으로 주석 (annotation) 하고 구조화하는 도구는 부족했습니다.
• 기술적 장벽: 고해상도 표본 이미지를 분석하고 구조화된 데이터를 생성하는 작업은 전문 소프트웨어와 높은 수준의 분류학 지식을 요구하여 일반인이 접근하기 어려웠습니다.

2. 방법론 (Methodology)

가. 시스템 아키텍처 및 배포

• 제로 설치 (Zero-installation): 전체 애플리케이션은 약 270KB 크기의 단일 HTML 파일로 구현되어 있어, 설치나 서버 측 처리 없이 브라우저에서 즉시 실행 가능합니다.
• 클라이언트 측 AI 실행: SAM2(Segment Anything Model 2) 의 인코더는 서버 (FastAPI) 에서 실행되어 임베딩을 생성하고, 디코더는 브라우저 내 onnx-runtime-web 을 통해 실행되어 실시간 마스크 예측을 수행합니다.
• 데이터 소스 통합:
  • GBIF: GBIF Occurrence API 를 통해 표본 이미지를 검색 및 로드합니다.
  • Zenodo BioSysLit: 분류학 논문 (ZooKeys, Zootaxa 등) 에서 추출된 30 만 개 이상의 이미지 리포지토리를 통합하여 출판된 도면 및 SEM 이미지를 주석할 수 있게 합니다.

나. 형태학적 템플릿 및 온톨로지 연동

• 표준화된 템플릿: 25 개의 주요 분류군 (곤충, 척추동물, 식물, 균류 등) 을 대상으로 124 개의 표준화된 뷰 (Habitus, Head 등) 를 제공합니다.
• 온톨로지 기반 주석: UBERON(일반 해부학), HAO(곤충 해부학), PO(식물) 등의 온톨로지를 기반으로 335 개의 CURIE(Compact URI Expressions) 와 745 개의 온톨로지 인스턴스를 연결합니다.
• 속성 제어 어휘: 질감, 색상, 날개 정맥, 털 밀도 등 38 가지의 범주와 7~15 개의 표준화된 값을 가진 제어 어휘를 제공합니다.

다. AI 보조 도구 및 인터페이스

• 주석 도구: 점 (Point), 바운딩 박스, 브러시, 지우개, 키포인트, 선 (Line), 스케일 바 보정 도구 등을 제공합니다.
• SAM2 통합: 사용자가 입력한 점이나 바운딩 박스에 따라 실시간으로 마스크를 생성하고 수정할 수 있습니다.
• 모바일 최적화: 태블릿 및 모바일 환경에서 캔버스 바로 옆에 도구를 배치하여 효율적인 주석을 지원합니다.

라. 데이터 내보내기 및 상호 운용성

• 다양한 포맷 지원:
  • Darwin Core (DwC) JSON: 측정 및 사실 (MeasurementOrFact) 확장 포함.
  • COCO JSON: 컴퓨터 비전 모델 학습용 마스크 및 키포인트 데이터.
  • Traits CSV: 통계 분석용 평면 테이블 데이터.
  • JSON-LD 지식 그래프: UBERON 및 도메인 특화 온톨로지를 연결한 시맨틱 웹 형식.
• Zenodo 통합: 주석 데이터를 DOI 가 부여된 인용 가능한 데이터셋으로 직접 출판할 수 있는 파이프라인을 내장했습니다.

3. 주요 기여 (Key Contributions)

1. 2 단계 아키텍처 (Two-tier Architecture) 도입:

   • Tier 1 (공공용): Descriptron-GBIF Annotator. 일반인, 학생, 애호가가 GBIF 이미지를 통해 구조화된 형태학적 데이터를 생성하는 시민 과학 플랫폼.
   • Tier 2 (전문가용): Descriptron Portal. GPU 가속을 활용한 전문가용 워크벤치 (SAM2-PAL 미세 조정, 기하학적 형태 측정, 자동 종 기술 생성 등).
   • 피드백 루프: Tier 1 에서 생성된 군중 주석 데이터가 Tier 2 의 AI 모델 학습에 사용되고, Tier 2 에서 검증된 고품질 데이터가 다시 Tier 1 의 정확도를 높이는 선순환 구조를 구축했습니다.

2. AI 와 온톨로지의 융합:

   • SAM2 와 같은 최신 컴퓨터 비전 모델을 브라우저 환경에 통합하여 비전문가도 정밀한 해부학적 분할 (Segmentation) 이 가능하게 했습니다.
   • 단순한 이미지 주석을 넘어, 온톨로지 (UBERON, HAO 등) 와 연결된 구조화된 지식 그래프 (Knowledge Graph) 를 생성하여 FAIR(검색 가능, 접근 가능, 상호 운용 가능, 재사용 가능) 데이터 원칙을 충족시켰습니다.

3. 생물다양성 정보학의 새로운 패러다임:

   • 기존에 정적 이미지로만 존재하던 GBIF 의 수백만 개 표본 이미지를 기계가 읽을 수 있는 (machine-readable) 풍부한 형태학적 자원으로 변환하는 첫 번째 대규모 도구입니다.

4. 결과 (Results)

• 기능적 완성도: 25 개의 분류군과 124 개의 뷰를 지원하는 템플릿 라이브러리가 구축되었으며, SAM2 를 통한 실시간 마스크 생성이 브라우저에서 100ms 미만으로 작동합니다.
• 데이터 생성: Darwin Core, COCO, JSON-LD 등 다양한 표준 포맷으로 데이터를 내보낼 수 있으며, Zenodo 를 통해 DOI 가 부여된 데이터셋으로 즉시 출판이 가능합니다.
• 사용자 경험: 모바일 대응 및 직관적인 인터페이스를 통해 초보자도 분류학 용어를 학습하며 구조화된 데이터를 생성할 수 있음을 시연했습니다.
• 지식 그래프: JSON-LD 형식을 통해 표본, 분류군, 해부학적 영역, 형태적 특성 간의 관계를 명확히 연결하는 지식 그래프를 생성할 수 있음을 확인했습니다.

5. 의의 및 향후 전망 (Significance & Future Directions)

• 분류학 위기 해결: 전문가 부족 문제를 해결하기 위해 시민 과학을 체계적인 형태학적 데이터 수집에 활용하는 확장 가능한 모델을 제시했습니다.
• AI 모델 고도화: 공공 데이터 (Tier 1) 를 통해 수집된 대규모 학습 데이터는 전문가용 AI 모델 (Tier 2) 의 성능을 지속적으로 향상시키는 핵심 동력이 됩니다.
• 미래 발전 방향:
  • 대규모 언어 모델 (LLM) 을 활용한 분류학 문헌에서 특성 상태 행렬 자동 추출.
  • 소외된 분류군을 위한 SAM2 LoRA 어댑터 모델 뭉치 (Model Zoo) 개발.
  • iNaturalist API 연동을 통한 현장 관찰 이미지 주석 확장.
  • WebGPU 를 활용한 브라우저 내 더 강력한 모델 (SAM3 등) 실행.

이 도구는 생물다양성 정보학 분야에서 이미지 기반의 정적 데이터가 구조화된 지식으로 전환되는 중요한 전환점이 될 것으로 기대됩니다.