Multimodal fusion of visual and morphometric features for avian bone classification

기술 요약: 조류 골격 분류를 위한 시각적 및 형태 측정적 특징의 다중 모달 융합

문제 정의
동물고고학에서 조류 골격 유해를 식별하는 작업은 높은 형태적 가변성, 파편화, 그리고 전문가 중심의 수동 분석에 대한 높은 의존도로 인해 복잡한 과업이다. 인공지능(AI)이 다양한 고고학 분야에서 널리 채택되어 왔음에도 불구하고, 동물고고학에 대한 적용은 여전히 제한적이다. 기존의 접근 방식들은 데이터를 독립적으로(시각 데이터 또는 표 형식의 데이터 중 하나로만) 처리하며, 이로 인해 이미지 데이터와 정량적 골계 측정치(osteometric measurements) 사이의 상호 보완적인 특성을 활용하지 못한다. 본 연구는 이러한 이종 데이터 모달리티를 통합하여 조류 뼈의 분류 성능을 향ло 높일 수 있는 확장 가능한 AI 보조 프레임워크의 필요성을 다룬다. 특히 골격 요소 식별과 과(family) 수준의 분류라는 두 가지 작업을 목표로 한다.

연구 방법론
본 연구는 합성 신경망(CNN) 이미지 분석과 표준화된 골계 측정 데이터를 융합하는 개념 증명(proof-of-concept) 단계의 다중 모달 딥러닝 프레임워크를 제안한다.

• 데이터셋: 본 연구는 세 곳의 디지털 컬렉션(코펜하겐 대학교, 트링 자연사 박물관, 토리노 대학교, 흐로닝언 대학교)에서 수집한 10,000장 이상의 이미지를 활용한다. 데이터에는 다양한 종과 과에 속하는 조류 골격 요소의 사진과 함께, 약 7,290개 표본에 대한 표준화된 골계 측정치(예: 선형 치수, 골간 폭)가 포함되어 있다.
• 전처리 및 세그멘테이션(Segmentation): 배경 및 자(ruler)로부터 골격 표본을 분리하기 위해 엄격한 2단계 세그멘테이션 파이프라인을 구현하였다.
  1. BiRefNet: 초기 전경 객체 식별을 위해 사용되었다.
  2. SAM2 (Segment Anything Model 2): 자동으로 생성된 양성 및 음성 프롬프트를 사용하여 정밀화를 위해 적용되었다.
  • 품질 관리: 파이프라인에는 형태학적 필터링, 형상 및 색상에 기반한 휴리스틱 점수 산출(뼈와 점토를 구분하기 위해 CIELAB 색 공간 활용), 그리고 신뢰할 수 없는 세그멘테이션을 거부하기 위한 특정 기준이 포함된다. 자동화된 비율이 불충분했던 나머지 약 200개의 뼈에 대해서는 수동 세그멘테이션을 수행하였다.
  • 데이터 증강: 훈련 중 "측정치 드롭아웃(measurement-dropout)" 전략을 채택하여, 수치 데이터가 없는 경우에도 모델의 강건성을 확보할 수 있도록 골계 벡터를 무작위로 누락시켰다.
• 모델 아키텍처: 본 분류 프레임워크는 특징 수준 융합(feature-level fusion) 전략을 사용한다.
  • 시각적 브랜치(Visual Branch): 사전 학습된 EfficientNet_V2_S 백본(ImageNet 가중치)을 사용하여 분할된 이미지로부터 2048차원의 전역 풀링 임베딩을 추출한다.
  • 형태 측정 브랜치(Morphometric Branch): 표준화된 골계 벡터를 병렬적인 구조적 특징 집합으로 처리한다.
  • 융합(Fusion): 정규화된 골계 벡터를 이미지 임베딩과 결합하여 공동의 다중 모달 잠재 표현(joint multimodal latent representation)을 생성한다.
  • 분류 헤드(Classification Head): 융합된 벡터는 배치 정규화, LeakyReLU 활성화 함수, 드롭아웃($p=0.3$)을 포함하는 완전 연결 계층(512 유닛 $\to$ 256 유닛)을 통과하여 대상 클래스에 대한 로짓(logits) 값으로 매핑된다.
• 훈련 전략: 상대적으로 작은 데이터셋에 대한 과적합을 방지하기 위해 2단계 훈련 접근 방식을 사용하였다. 첫째, 백본을 고정한 상태에서 분류 헤드를 훈련시킨다. 둘째, 감소된 학습률을 사용하여 마지막 합성곱 블록을 언프리징(unfreezing)하여 공동 미세 조정(fine-tuning)을 수행한다. 최적화에는 차등 학습률을 적용한 확률적 경사 하강법(SGD)과 Optuna를 통한 베이지안 하이퍼파라미터 최적화를 사용하였다.

주요 결과
모델은 전체 정확도, 정밀도(precision), 재현율(recall), F1 점수를 기준으로 층화된 15%의 홀드아웃 테스트 세트에서 평가되었다.

• 골격 요소 분류: 모델은 테스트 세트에서 86%의 정확도를 달성하며 높은 신뢰성을 입증하였다. 이는 프레임워크가 거시적인 해부학적 형태(예: 대퇴골, 상완골, 두개골)를 효과적으로 인식할 수 있음을 나타낸다.
• 과(Family) 수준 분류: 이 작업은 미세한 형태적 차이와 데이터 불균형으로 인해 더 까다로운 것으로 나타났다. 모델은 51%의 Top-1 정확도를 기록했으나, 75%의 Top-3 정확도를 달성하였다. 이는 모델이 단일 최상위 예측으로 정확한 과를 선택하지 못할 때도, 정답 텍슨(taxon)이 상위 3개 후보 안에 빈번하게 포함됨을 시사한다.
• 비교: 증가된 분류학적 다양성에도 불구하고, 다중 모달 접근 방식의 성능은 이전의 이미지 전용 연구(예: Paperini et al., 2026)와 유사한 수준을 보여 다중 모달 베이스라인의 강건성을 입증하였다.

의의 및 기여
본 논문은 복잡한 고고학적 집합체를 위한 즉시 사용 가능한 시스템이라기보다 방법론적 베이스라인으로서의 위치를 설정한다. 주요 기여는 다음과 같다:

1. 다중 모달 융합의 타당성: 통합된 딥러닝 파이프라인 내에서 시각적 형태와 정량적 골계 데이터를 통합하는 것이 조류 분류에 있어 실현 가능하고 효과적임을 입증하였다.
2. 방법론적 베이스라인: 완전한 현대 참조 표본을 사용하여 통제된 프레임워크를 구축함으로써, 본 연구는 향후 연구를 위한 토대를 제공한다. 연구는 뼈 유형 인식은 견고하지만, 과 수준의 식별은 더 크고 균형 잡힌 데이터셋을 필요로 하며 AI에게도 여전히 어려운 과제임을 강조한다.
3. 전문가를 위한 실용적 유용성: 과 분류에서의 높은 Top-3 정확도는 본 시스템이 분류학적 식별 범위를 좁혀줌으로써 동물고고학자의 전문 지식을 대체하기보다는 "전문가 참여형(expert-in-the-loop)" 워크플로우를 지원하는 도구로서 기능할 수 있음을 시사한다.
4. 향후 방향: 저자들은 파편화되거나 침식되거나 탄화된 고고학적 유해에 대한 학습 부족, 그리고 표본 수준의 데이터 누수(data leakage) 가능성 등 현재의 한계를 인정한다. 향후 연구는 고고학적 표본을 포함하도록 데이터셋을 확장하고, 클래스 불균형을 개선하며, 도메인 적응(domain adaptation) 및 합성 손상 증강(synthetic damage augmentation)을 탐구하는 방향으로 진행될 것이다.

본 연구는 설명 가능성, 불확실성 추정, 그리고 실제 고고학적 보존 상태의 통합을 우선순위로 둔다면, 다중 모달 AI가 식별 과정을 구조화하고 비교 데이터를 더욱 접근 가능하게 만드는 데 상당한 잠재력을 가지고 있다고 결론짓는다.