기술 요약: GestaltMML

문제 정의

희귀 유전 질환이 의심되는 개인들은 진단을 받기 전까지 여러 차례의 임상 평가, 영상 검사, 유전자 검사를 거치며 길고 지루한 "진단 여정(diagnostic odyssey)"을 겪는 경우가 많습니다. 많은 희귀 질환이 진단에 도움이 될 수 있는 독특한 안면 특징(안면 게슈탈트, facial gestalt)을 나타내지만, 수백 가지로 알려진 증후군을 고려할 때 임상의의 경험에만 의존하는 것은 불충분합니다. DeepGestalt 및 GestaltMatcher와 같은 기존 인공지능 접근 방식은 정면 안면 이미지만으로 학습된 합성곱 신경망(CNN)을 활용하며, 이러한 이미지 전용 모델은 세 가지 주요 한계점을 가집니다:

1. 비안면적 특성 포착 불가: 저신장, 수면 장애 또는 지적 장애와 같은 중요한 표현형 정보는 안면 사진으로부터 추론할 수 없습니다.
2. 인구통계학적 편향: 데이터 가용성 및 수집의 체계적 편향으로 인해, 소수 인종 및 미표집 계층에 대한 진단 정확도의 격차가 발생합니다.
3. 후기 결합(Late-fusion)의 비효율성: 이미지와 텍스트를 결합하려는 이전의 시도들(예: PEDIA, PhenoScore)은 모달리티를 별도로 처리한 후 수작업으로 만든 규칙을 통해 결합하는 "후기 결합" 전략을 사용하는 경우가 많으며, 이는 훈련 과정에서 심층적인 교차 모달 상호작용을 학습하는 데 실패합니다.

방법론

저자들은 전체가 트랜스포머 아키텍처, 특히 ViLT(Vision-and-Language Transformer) 모델을 활용한 다중 모달 기계 학습 프레임워크인 GestaltMML을 소개합니다. CNN 기반의 기존 방식과 달리, GestaltMML은 **조기 결합(early fusion)**을 수행하여 여러 데이터 스트림을 하나의 통합된 시퀀스로 결합하여 공동 처리를 수행합니다.

데이터 소스 및 전처리

• 데이터셋: 주요 데이터셋은 528개의 희귀 유전 질환에 걸친 7,349명의 환자로부터 얻은 9,764개의 정면 안면 이미지를 포함하는 GestaltMatcher Database (GMDB) v1.0.9입니다. 누락된 텍스트 데이터를 해결하기 위해, 저자들은 대규모 언어 모델(LLM)을 통해 요약된 OMIM(Online Mendelian Inheritance in Man) 데이터베이스의 임상 특징을 사용하여 데이터셋을 증강했습니다.
• 이미지 전처리: 이미지는 112 × 112 픽셀로 크롭됩니다. 결정적으로, 저자들은 안면 이형성증(facial dysmorphisms)이 종종 비대칭적이거나 측면 특이적일 수 있으며, 이러한 증강이 진단적 단서를 지울 수 있기 때문에 수평 뒤집기나 그레이스케일 변환을 피했습니다.
• 텍스트 전처리: 텍스트 입력은 환자의 인구통계학적 정보(성별, 연령, 인종)를 HPO(Human Phenotype Ontology) 용어(메타데이터에서 파생됨) 또는 요약된 OMIM 임상 특징과 결합하여 구성됩니다.

모델 아키텍처

GestaltMML은 무거운 시각적 임베딩 층 대신 공유 트랜스포머 인코더를 사용하는 ViLT를 기반으로 구축되었습니다:

1. 이미지 임베딩: 안면 이미지는 겹치지 않는 패치(patch)로 나뉘고, 평탄화(flattened)된 후 단일 선형 투영을 통해 토큰으로 매핑됩니다(컨볼루션 없음).
2. 텍스트 임베딩: 결합된 인구통계 및 표현형 텍스트는 단어 임베딩으로 토큰화됩니다.
3. 결합(Fusion): 이미지 토큰과 텍스트 토큰은 단일 시퀀스로 결합됩니다. 각 토큰은 콘텐츠, 위치 및 모달 유형 임베딩을 받습니다. 멀티 헤드 셀프 어텐션(multi-head self-attention)을 갖춘 트랜스포머 인코더 블록 스택이 이 시퀀스를 처리하여, 모든 이미지 패치가 네트워크 전체에서 모든 표현형 토큰과 상호작용할 수 있도록 합니다.
4. 예측: 분류 토큰의 최종 표현은 다층 퍼셉트론(MLP)과 소프트맥스(softmax) 층을 통과하여 후보 질환의 순위 목록을 출력합니다.

훈련 및 평가

모델은 교차 엔트로피 손실(cross-entropy loss)을 사용하여 GMDB에서 미세 조정됩니다. 견고한 평가를 보장하기 위해, 저자들은 테스트 대상 질환이 비null(non-null) 특징과 함께 훈련 세트에 등장하도록 하는 "최적" 훈련-테스트 분할을 구성하여, 누락된 데이터로 인한 불이익을 방지했습니다. 성능은 Top-N 정확도(N=1, 10, 50, 100)를 사용하여 측정됩니다.

주요 기여 및 결과

1. 이미지 전용 베이스라인 대비 우수한 성능

GMDB-frequent 서브셋(질환 수가 6명 초과인 경우)에서 GestaltMML은 **50.14%**의 Top-1 정확도를 달성하여, **43.02%**를 기록한 최첨단 이미지 전용 앙상블 모델(iResNet 및 ArcFace 기반)을 능가했습니다. GestaltMML은 또한 Top-10 정확도를 베이스라인의 **72.44%**에서 **75.50%**로 향상시켰습니다.

2. 모달리티 분석 및 텍스트의 지배력

모달리티 마스킹 실험을 통해 저자들은 각 입력 유형의 기여도를 정량화했습니다:

• 텍스트가 지배적인 신호임: 텍스트 전용 변형 모델(GestaltLT)은 희귀 서브셋에서 **24.16%**의 Top-1 정확도를 달성하여, 전체 모델(24.14%)과 거의 대등했으며, 이미지 전용 베이스라인(19.77%)을 크게 앞질렀습니다.
• 이미지의 한계: 이미지 전용 변형 모델(GestaltViT)은 희귀 질환에 대해 낮은 성능(Top-1 6.97%)을 보였는데, 이는 선형 패치 임베딩이 전용 CNN과 달리 밑바닥부터 facial structure를 학습하기 위해 대규모 데이터셋을 필요로 하기 때문입니다.
• 결론: 현재의 데이터 환경에서는 임상 표현형 텍스트가 일차적인 예측력을 제공하며, 안면 이미지는 부차적이지만 측정 가능한 이득을 제공합니다.

3. 진단 격차 완화

본 연구는 소수 인종에 대한 형평성을 다룹니다.

• 인구통계학적 맥락: 텍스트 입력에 연령, 성별, 인종을 추가하는 것은 소수 집단에 대한 정확도를 일관되게 높였습니다.
• 다중 모달의 이점: 전체 다중 모달 추론(이미지 + 인구통계 + 임상 텍스트)은 정확도 격차를 크게 좁혔습니다. 예를 들어, 중동/서아시아 환자에 대한 Top-1 정확도는 이미지 전용 모델의 **0.00%**에서 전체 다중 모달 모델의 **65.11%**로 상승했습니다.
• 훈련 데이터 다양성: 유럽 중심이 아닌 다양한 인종 데이터를 사용하여 훈련하는 것이 소수 집단에 대한 성능을 더욱 개선하였으며, 이는 데이터 다양화가 공정한 AI를 위해 필수적임을 입증합니다.

4. 실무 배포를 위한 가이드라인

저자들은 임상 적용을 위한 실용적인 규칙을 제안합니다:

• 임상 노트나 HPO 용어가 사용 가능한 경우 다중 모달 결합이 유익하며, 이는 정확도와 형평성을 획기적으로 개선합니다.
• 텍스트 데이터가 완전히 없는 경우, 특히 이미지가 더 많이 기여하는 빈번한 질환의 경우 이미지 전용 추론이 선호되거나 충분할 수 있지만, 전반적으로 텍스트 신호가 가장 강력한 예측자라는 점은 여전히 유효합니다.

의의 및 주장

본 논문은 GestaltMML이 컨볼루션 기반의 이미지 전용 페노타이핑에서 컨볼루션이 없는 조기 결합 트랜스포머 방식으로의 전환을 나타낸다고 주장합니다. 그 의의는 다음과 같습니다:

1. 진단 여정의 단축: 후보 질환의 우선순위를 개선함으로써, 게놈/엑좀 시퀀싱 데이터의 재해석을 촉진할 수 있습니다.
2. 형평성 확보: 인구통계 및 임상 텍스트를 통합하는 것이 소수 인종 환자에 대한 진단 정확도 격차를 줄인다는 것을 명시적으로 보여주었으며, 이는 의료 분야의 형평성 있는 AI를 향한 중요한 단계입니다.
3. 아키텍처 혁신: 충분한 텍스트 데이터가 확보된다면, 경량화된 컨볼루션 프리 트랜스포머가 시각적 모달리티와 텍스트 모달리티 간의 상호작용을 활용하여 희귀 질환 분류를 효과적으로 수행할 수 있음을 입증했습니다.

저자들은 528개의 질환이 알려진 희귀 질환의 극히 일부라는 점과 안면 데이터베이스가 내재적인 선정 편향(ascertainment bias)을 가질 수 있다는 점을 인정하며 겸허한 태도를 유지하고 있습니다. 기계적으로 인식 가능한 안면 특징이 없는 질환의 경우 이미지 브랜치가 거의 기여하지 못하지만, 다중 모달 프레임워크는 여전히 텍스트를 통해 진단 우선순위를 정하는 데 도움을 준다고 언급했습니다.