LMOD+: A Comprehensive Multimodal Dataset and Benchmark for Developing and Evaluating Multimodal Large Language Models in Ophthalmology

이 논문은 안과 질환의 조기 진단과 편향 평가를 지원하기 위해 12 가지 질환과 5 가지 영상 모달리티를 아우르는 대규모 멀티모달 데이터셋 LMOD+ 와 24 개의 최신 멀티모달 대규모 언어 모델에 대한 체계적인 벤치마크 평가를 제시합니다.

핵심

눈과 AI 의 새로운 만남: 'LMOD+' 프로젝트 설명

이 논문은 **인공지능 **(AI)을 소개합니다. 이 프로젝트는 AI 가 안과 의사가 되어 눈 질환을 진단하고 설명할 수 있도록 돕기 위해 만들어진 거대한 '학습 교재'이자 '시험지'입니다.

이 내용을 일반인이 쉽게 이해할 수 있도록 비유와 일상적인 언어로 설명해 드리겠습니다.

---

1. 왜 이 프로젝트가 필요했을까요? (문제 상황)

지금까지 안과 AI 는 **'특정 문제만 푸는 기계'**였습니다.

• 과거의 AI: "이 사진에 녹내장이 있나요?"라고 물으면 "네/아니오"라고만 대답했습니다. 마치 암기만 잘하는 고등학생처럼, 정해진 문제만 풀고 설명은 못 했습니다.
• **새로운 AI **(대규모 언어 모델) 최근 AI 는 사람처럼 대화하고 설명할 수 있게 되었습니다. 하지만 이 AI 들을 안과에 적용하려면 적당한 시험지가 없었습니다. 기존 시험지는 너무 단순하거나, 눈 사진이 없는 글자 문제만 있어서 실제 진료 상황과 맞지 않았습니다.

비유: 마치 외국어 회화를 가르치려는 선생님이, 학생들에게는 '회화'를 가르치고 싶지만, 시험지는 오직 '단어 뜻 맞추기'만 있는 상황을 상상해 보세요. 학생이 실제 대화 능력을 키울 수 없습니다. 바로 이 **시험지 **(데이터)가 부족했던 것입니다.

2. LMOD+ 란 무엇인가요? (해결책)

저희는 **LMOD+**라는 새로운 거대한 학습 교재를 만들었습니다.

• 규모: 약 3 만 2 천 개의 눈 사진과 관련 정보로 이루어진 방대한 자료입니다.
• 다양성: 단순히 '눈' 사진만 있는 게 아닙니다.
  • 다양한 렌즈: 안과에서 쓰는 5 가지 다른 종류의 카메라 사진 (망막 촬영, 단층 촬영, 수술 장면 등) 을 모두 포함했습니다.
  • 다양한 질문: "이 병이 뭐야?", "병의 단계는 몇 단계야?", "환자의 나이나 성별은 어때?" 등 다양한 질문을 던질 수 있습니다.
  • 정답과 설명: 단순히 정답만 있는 게 아니라, 의사처럼 이유를 설명하는 정답도 함께 담았습니다.

비유: LMOD+ 는 **안과 의사가 되기 위한 '만능 훈련 교실'**입니다. 여기서는 다양한 눈 질환 사진 (교과서) 을 보고, 의사가 환자에게 설명하듯 (대화) 진단하고, 병의严重程度 (단계) 를 판단하는 훈련을 할 수 있습니다.

3. 우리는 무엇을 했나요? (실험 과정)

이 새로운 교재 (LMOD+) 를 이용해 최고급 AI 24 개를 시험에 보냈습니다.

• 참가자: 구글, 알리바바, 딥시크 등 세계적으로 유명한 최신 AI 모델들입니다.
• 시험 내용:
  1. 해부학 퀴즈: "이 사진의 빨간 박스 안은 뭐야?" (눈의 구조물 찾기)
  2. 질병 진단: "이 환자는 당뇨망막병증이 있나요?" (병 찾기)
  3. 단계 판별: "병이 얼마나 심한가요?" (1 단계~4 단계 구분)
  4. 편향성 테스트: "이 눈 사진으로 환자의 성별을 맞출 수 있나요?" (AI 가 성별을 잘못 판단하면 안 되니까요)

4. 결과는 어땠나요? (결과 분석)

결과는 "기대감"과 "현실"이 공존했습니다.

• **기대감 **(잘한 점)

  • 일부 AI 는 **눈 질환을 스크리닝 **(선별)하는 데서 꽤 잘했습니다. 특히 'Qwen'과 'InternVL' 모델은 별도의 학습 없이도 (Zero-shot) 58% 정도의 정확도를 보여, 초보 의사가 될 잠재력이 있음을 보였습니다.
  • 눈의 구조물을 찾는 데도 일부 모델이 좋은 성적을 냈습니다.

• **현실 **(아쉬운 점)

  • **병의 단계 **(심각도)는 매우 어려웠습니다. AI 들은 대부분 무작위 추측과 비슷한 수준이었습니다.
  • 의사처럼 설명하는 능력도 부족했습니다. AI 가 "녹내장입니다"라고 말하면서, 정작 설명에는 "당뇨망막병증의 증상"을 서술하는 혼란을 보이기도 했습니다.
  • 가장 큰 문제: AI 가 눈 사진을 제대로 '이해'하지 못했습니다. 50% 의 오류는 사진을 잘못 해석해서 발생했습니다. 마치 눈이 멀어서 그림을 보고도 내용을 잘못 이해하는 상황과 비슷합니다.

비유: 이 AI 들은 눈이 좋은 초보 의대생 같습니다.

• "이게 녹내장이에요?"라고 물으면 "네"라고 맞출 수는 있지만,
• "왜 녹내장인가요?"라고 물으면 다른 병의 증상을 설명하거나,
• "병이 얼마나 심한가요?"라고 물으면 아무것도 모른 채 막연히 대답합니다.

5. 왜 이런 결과가 나왔을까요? (원인 분석)

연구진은 AI 가 겪는 오류를 5 가지로 분류했습니다.

1. 텍스트 생성 붕괴: 말을 반복하거나 ("설명: 설명: 설명...") 엉뚱한 말을 합니다.
2. 의학적 지식 부족: 병의 이름이나 증상을 헷갈립니다.
3. 논리 모순: "녹내장입니다"라고 결론을 내리면서, 정작 설명에는 "정상입니다"라고 말합니다.
4. **시각적 오해 **(가장 흔함) 사진을 보고도 병의 징후를 놓치거나, 정상인 부분을 병으로 오인합니다.
5. 시각 무시: 사진을 보지 않고 "이미지가 불명확합니다"라고 변명하거나, 일반적인 의학 지식을 대충 읊습니다.

핵심: AI 는 **글 **(지식)은 잘하지만, **눈 **(이미지)을 연결하는 능력이 아직 부족합니다.

6. 이 프로젝트의 의의와 미래

이 연구는 단순히 AI 가 못한다는 것을 보여주는 것이 아니라, 어디가 문제인지 정확히 짚어주어 더 나은 AI 를 만들 길을 열었습니다.

• 공개: 이 모든 데이터와 시험지는 전 세계 연구자들에게 무료로 공개되었습니다. 누구나 이 '교재'를 이용해 더 좋은 AI 를 개발할 수 있습니다.
• 비전: 앞으로 이 AI 들이 의사들의 든든한 조수가 되어, 눈이 나빠질 위험이 있는 환자를 미리 찾아내고, 치료 시기를 놓치지 않도록 돕는 것이 목표입니다.

마무리 비유:
LMOD+ 는 **AI 가 안과 의사가 되기 위한 '첫걸음'**입니다. 아직 AI 는 유아기 단계라, 의사의 말 (지식) 은 잘 따라하지만 눈 (이미지) 을 제대로 보지는 못합니다. 하지만 이 '시험지'를 통해 어디가 부족하고 어떻게 가르쳐야 할지 알게 되었으니, 앞으로는 더 똑똑한 AI 의대생을 키울 수 있을 것입니다.

이 프로젝트는 AI 기술이 단순히 "멋진 기술"을 넘어, 실제로 전 세계의 실명 위기를 줄이는 데 기여하기를 바라는 따뜻한 마음에서 시작되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 글로벌 건강 위기: 시력을 위협하는 안과 질환의 유병률 증가로 인해 진단 지연, 전문 의료 인력 부족, 접근성 제한 등의 문제가 발생하고 있습니다.
• AI 의 잠재력과 한계: 다중 모달 대형 언어 모델 (MLLMs) 은 의료 이미지 해석과 자동화된 임상 문서 작성에서 유망한 성과를 보이고 있으나, 안과 분야에 적용하기에는 통합적이고 포괄적인 벤치마크 데이터셋의 부재가 주요 장애물입니다.
• 기존 벤치마크의 결함:
  • 기존 데이터셋은 주로 CNN(합성곱 신경망) 과 같은 초기 모델을 위해 설계되어 특정 질병 라벨만 제공하거나, 좁은 작업 범위에 국한되었습니다.
  • 최신 생성형 MLLM 의 자유 텍스트 응답 (free-text response) 및 추론 능력을 평가하기에는 부적합합니다.
  • 텍스트 기반 벤치마크는 안과 진단에 필수적인 시각적 정보 (이미지) 를 포함하지 않아 실제 임상 환경을 반영하지 못합니다.

2. 방법론 (Methodology)

A. LMOD+ 데이터셋 구축

저자들은 기존에 제안한 LMOD 벤치마크를 확장하여 **LMOD+**를 개발했습니다.

• 규모: 32,633 개의 인스턴스로 확장 (기존 21,933 개 대비 약 50% 증가).
• 모달리티 (5 가지):
  1. 색안저사진 (CFP, 43.2%): 가장 접근성이 좋은 모달리티로 다양한 병리 상태 포함.
  2. 주사 레이저 안저촬영 (SLO, 30.6%).
  3. 광간섭 단층촬영 (OCT, 11.8%).
  4. 렌즈 사진 (LP, 7.5%).
  5. 수술 장면 (SS, 6.9%).
• 주요 구성 요소: 12 가지 일반적인 안과 질환, 해부학적 구조, 인구통계학적 정보 (성별, 나이), 자유 텍스트 주석을 통합.

B. 데이터 큐레이션 파이프라인

이질적인 기존 데이터셋을 MLLM 평가에 적합하도록 변환하는 통일된 파이프라인을 제안했습니다.

• 작업 정의:
  1. 해부학적 구조 인식: 이미지 내 주요 구조물 (예: 시신경, 망막 등) 식별 및 위치 파악.
  2. 질병 진단: 이진 분류 (질병 유무) 및 다중 클래스 분류 (질병 식별).
  3. 질병 중증도 평가 (Staging): 당뇨망막병증 (ICDR, SDRG 기준) 및 황반구멍 (Macular Hole) 의 단계 분류.
  4. 인구통계학적 예측: 이미지만으로 성별과 나이를 추론하여 모델의 편향성 (Bias) 평가.
• 프롬프트 엔지니어링: 기존 라벨 데이터를 구조화된 질문 - 응답 쌍 (Question-Answer Pairs) 으로 변환하여 MLLM 이 설명과 함께 답변하도록 유도.

C. 체계적 평가

• 평가 대상: 24 개의 최신 SOTA(최첨단) MLLM 평가 (GPT-4o, InternVL, Qwen, DeepSeek, LLaVA 시리즈, Med-Flamingo 등 포함).
• 평가 설정: 주로 Zero-shot(제로 샷) 설정에서 평가하여 모델의 미세 조정 (Fine-tuning) 없이도 다양한 작업 수행 능력을 검증.
• 평가 지표: 정확도 (Accuracy), 정밀도 (Precision), 재현율 (Recall), F1 점수, 그리고 생성형 모델 특유의 할루시네이션 저항성 (Hallucination Resistance, HR) 지표 도입.

3. 주요 기여 (Key Contributions)

1. LMOD+ 데이터셋 공개: 5 가지 모달리티, 12 가지 질환, 다중 작업 (해부학, 진단, 병기, 인구통계) 을 포괄하는 대규모 멀티모달 안과 데이터셋 및 리더보드를 공개.
2. 통합 데이터 큐레이션 파이프라인: 기존 데이터셋을 MLLM 평가용으로 재사용할 수 있는 체계적인 방법론 제시.
3. 포괄적 벤치마킹: 24 개의 다양한 MLLM 을 안과 전문 작업에 대해 체계적으로 평가하여 현재 기술 수준과 한계를 규명.

4. 실험 결과 (Results)

A. 전반적 성능

• 부족한 성능: 대부분의 MLLM 이 안과 전문 작업에서 무작위 베이스라인 (Random Baseline) 에 근접하거나 그보다 낮은 성능을 보였습니다.
  • 해부학적 인식 평균 F1 점수: 0.2113
  • 질병 진단 (이진) 평균 정확도: 51.86%
  • 질병 중증도 평가 평균 정확도: 21.05%
• 모델별 차이:
  • GPT-4o: 모든 작업에서 가장 일관된 높은 성능을 보였으나 (F1 0.5761), 여전히 완벽한 성능은 아님.
  • InternVL 시리즈: 오픈 웨이트 모델 중 가장 경쟁력 있는 성능을 보였으며, 특히 해부학적 인식과 할루시네이션 저항성이 뛰어났음.
  • 의료 특화 모델 (LLaVA-Med, Med-Flamingo): 일반 목적 모델보다 오히려 성능이 낮거나 무작위 수준에 머무름. 이는 의료 데이터 학습이 전문적인 시각적 특징 인식에 충분하지 않았음을 시사.

B. 작업별 세부 결과

• 해부학적 인식: OCT(광간섭 단층촬영) 해석은 특히 어려웠으나, InternVL 1.5-4B 가 GPT-4o 에 버금가는 성능을 보임.
• 질병 진단: 당뇨망막병증, 황반변성 등 12 가지 질환 중 일부 (예: AMD) 는 80% 이상의 정확도를 보인 모델도 있었으나, 전반적으로는 CFP(안저사진) 를 이용한 진단이 구조 인식보다 훨씬 어려웠음.
• 질병 중증도 평가: 질병의 단계 (Severity) 를 구분하는 작업은 단순 진단보다 훨씬 어려웠으며, 대부분의 모델이 무작위 추측 수준에 머물렀음.
• 인구통계학적 편향: 성별 및 나이 예측 작업에서 모든 모델이 무작위 수준 (성별 50%, 나이 25%) 의 성능을 보여, 현재 MLLM 이 이미지만으로 인구통계학적 정보를 추출하여 편향을 일으킬 가능성은 낮음을 시사 (기존 CNN 연구 결과와 대조적).

C. 오류 분석 (Error Analysis)

100 개의 실패 사례를 분석한 결과, 주요 오류 유형은 다음과 같았습니다:

1. 시각적 특징 오해석 (Misinterpreted Visual Features): 전체 오류의 **50%**를 차지. 모델이 이미지를 보지만 임상적 의미를 잘못 해석함.
2. 일관성 없는 추론 (Inconsistent Reasoning): 21%. 진단 결과와 설명이 모순됨.
3. 시각적 처리 부재 (Absent Visual Processing): 15%. 이미지를 분석하지 않고 일반적인 의학 지식을 나열하거나 "이미지가 불명확함"이라고 회피함.
4. 텍스트 생성 실패: 반복적 토큰 생성 등 시스템 오류.
5. 의료 지식 오류: 기본 의학적 사실이나 용어 오용.

5. 의의 및 결론 (Significance)

• 현실적 한계 규명: 현재 오픈 소스 및 상용 MLLM 은 미세 조정 (Fine-tuning) 없이 제로 샷 설정에서 안과 진단에 적용하기에는 현저한 성능 격차가 있음을 입증했습니다. 이는 도메인 특화 학습의 필요성을 강력히 시사합니다.
• 의료 특화 모델의 한계: 단순히 의학 텍스트로 학습된 모델 (Med-LLMs) 이 반드시 안과 이미지 해석에 유리하지는 않음을 보였습니다.
• 향후 방향성:
  • 도메인 특화 학습: MLLM 을 안과 데이터로 미세 조정하거나, 시각 - 언어 정렬을 개선한 모델 개발 필요.
  • 프롬프트 전략: CoT(Chain-of-Thought) 나 Few-shot 프롬프트가 일부 성능을 향상시킬 수 있으나, 출력 형식 준수 (Format Compliance) 문제와 할루시네이션 증가로 인해 임상 적용에는 신중이 필요함.
  • 커뮤니티 기여: 공개된 데이터셋과 파이프라인을 통해 연구 커뮤니티가 지속적으로 MLLM 을 개발하고 평가하여, 궁극적으로 시력 위협 질환의 글로벌 부담을 줄이는 AI 솔루션을 만드는 데 기여할 것으로 기대됨.

이 논문은 안과 분야에 MLLM 을 도입하기 위한 중요한 첫걸음으로, 현재 기술의 성숙도를 객관적으로 평가하고 향후 연구 방향을 제시했다는 점에서 의의가 큽니다.