Generating Findings for Jaw Cysts in Dental Panoramic Radiographs Using a GPT-Based VLM: A Preliminary Study on Building a Two-Stage Self-Correction Loop with Structured Output (SLSO) Framework

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 GPT-4o 와 같은 멀티모달 비전 - 언어 모델 (VLM) 이 의료 영상 해석에 적용되고 있으나, 치과 영역, 특히 악골 낭종 (Jaw Cysts) 과 같은 병변의 진단 보고서 생성에는 여전히 신뢰성 문제가 존재합니다.
• 주요 문제점:
  • 할루시네이션 (Hallucination): AI 가 존재하지 않는 병변이나 해부학적 구조를 생성하거나, 사실과 다른 정보를 포함하는 오류가 빈번합니다.
  • 공간적 일관성 부재: 치아 번호 식별, 병변의 범위, 인접 구조물과의 관계 등을 정확하게 파악하는 데 한계가 있습니다.
  • 표현의 불일치: 자유형 텍스트 생성 시 용어의 모호함 (예: "명확한", "선명한" 등의 동의어 혼용) 이 발생하여 검증이 어렵습니다.
  • 기존 방법의 한계: 단순한 체인 오브 씽킹 (Chain-of-Thought, CoT) 프롬프팅만으로는 이러한 오류를 충분히 억제하지 못합니다.

2. 제안된 방법론: SLSO 프레임워크 (Methodology)

이 연구는 구조화된 출력 (Structured Output) 을 통한 자기 수정 루프 (Self-correction Loop) 인 SLSO 프레임워크를 제안했습니다. 이는 모델 자체를 수정하는 것이 아니라, 외부 검증 메커니즘을 구축하여 GPT-4o 의 출력을 제어하는 방식입니다.

• 데이터셋: 아사히 대학교 치과병원에서 수집된 22 개의 악골 낭종 사례 (치과 파노라마 방사선 사진). 각 사례는 전문 치과 방사선과 전문의가 치아 경계, 치아 번호 (FDI 표기법), 병변 특성을 수동으로 주석 (Ground Truth) 했습니다.

• 입력 데이터: 낭종 부위의 관심 영역 (ROI) 이미지로, 치아 경계와 치아 번호가 주석된 이미지를 사용했습니다.

• 10 단계 처리 프로세스:

  1. 입력: 주석된 ROI 이미지 및 해석 지시사항 제공.
  2. 이미지 분석: GPT-4o 를 통한 멀티모달 분석 시작.
  3. 구조화된 데이터 생성: 사전 정의된 스키마 (JSON 형식) 에 따라 투명도, 내부 구조, 경계, 치아 이동, 치근 흡수 등 7 가지 항목을 생성.
  4. 치아 번호 추출: 이미지에서 직접 병변에 관여된 치아 번호를 추출.
  5. 일관성 검증 (Consistency Check): 생성된 구조화 데이터의 치아 번호와 이미지에서 추출된 치아 번호를 비교.
  6. 재생성 (Regeneration): 불일치가 감지되면 구조화 데이터와 치아 번호를 재생성.
  7. 보고서 생성: 검증된 구조화 데이터를 바탕으로 자연어 (일본어) 의 방사선 소견서 생성.
  8. 역변환 및 검증: 생성된 보고서에서 다시 구조화 데이터를 추출하여 원본 구조화 데이터와 비교.
  9. 최종 일관성 확인: 두 구조화 데이터 간의 일치 여부 확인.
  10. 최종 보고서 재생성: 불일치 시 보고서 재생성 후 최종 출력.

• 핵심 기술 요소:

  • Pydantic 스키마: JSON 형식의 엄격한 구조화된 출력을 강제하여 할루시네이션을 억제.
  • 반복적 자기 수정: 최대 5 회까지의 재생성 루프를 통해 오류를 수정.
  • 음성 소견 (Negative Findings) 강제: 각 항목에 대해 '유무'를 명시적으로 기록하도록 설계.

3. 주요 기여 및 결과 (Key Contributions & Results)

• 평가 방법: 제안된 SLSO 프레임워크와 기존 CoT (Chain-of-Thought) 방법을 22 개 사례에 대해 비교 평가. 7 가지 항목 (투명도, 내부 구조, 경계, 치근 흡수, 치아 이동, 인접 구조물 관계, 치아 번호) 에 대해 정답률 (0/1 점) 을 측정.
• 성능 향상 결과:
  • 치아 번호 식별: CoT 대비 66.9% 상대적 향상 (0.136 → 0.227). 가장 큰 개선 효과를 보임.
  • 치아 이동 및 치근 흡수: 각각 33.3%, 28.6% 향상.
  • 인접 구조물 관계: 9.0% 향상.
  • 고난이도 항목 (투명도, 내부 구조, 경계): 이미 두 방법 모두 높은 정확도를 보였으므로 큰 차이는 없었음.
  • 통계적 유의성: 샘플 크기 (22 건) 가 작아 통계적 유의성 (p<0.05) 은 확보되지 않았으나, 일관된 개선 추세를 보임.
• 성공 사례: 치아 번호 불일치를 5 번의 재생성 루프를 통해 수정하여 완벽한 점수 (1.00) 를 달성한 사례 확인.
• 한계 사례: 여러 치아에 걸친 광범위한 병변이나 미세한 해부학적 변화 (비강 바닥 상승 등) 가 있는 경우, 구조화된 스키마의 제약으로 인해 오히려 CoT 보다 성능이 저하된 사례도 존재함.

4. 연구의 의의 및 의의 (Significance)

• 모델 수정이 아닌 프레임워크 접근: VLM 모델 자체를 파인튜닝하거나 아키텍처를 변경하지 않고, 외부 검증 메커니즘 (Self-correction Loop) 을 통해 신뢰성을 높일 수 있음을 입증.
• 할루시네이션 억제: 구조화된 스키마와 음성 소견 강제 기록을 통해 AI 가 존재하지 않는 병변을 생성하는 오류를 효과적으로 줄임.
• 임상 적용 가능성:
  • AI 를 전문의의 대체가 아닌 보조 도구로 활용하는 단계적 접근 (Clear case 지원 → 전문가 검증 하의 초독 → 교육용) 을 제시.
  • 구조화된 중간 출력물을 통해 전문의가 AI 의 판단 근거를 투명하게 검증할 수 있는 기반 마련.
• 확장성: 치과 영역을 넘어 다른 의료 영상 분야 및 멀티모달 진단 작업에도 적용 가능한 모델-중립적 (Model-agnostic) 전략임을 강조.
• 미래 과제: 데이터셋 확대, 자동 병변 탐지 모델과의 통합, 클라우드 API 사용 시의 환자 프라이버시 및 데이터 보안 문제 (로컬 배포 필요성) 해결이 필요함.

결론

이 연구는 GPT-4o 기반 VLM 을 이용한 치과 방사선 소견 생성의 신뢰성을 높이기 위해 구조화된 출력과 자기 수정 루프를 결합한 SLSO 프레임워크의 타당성을 입증한 예비 연구입니다. 특히 치아 번호 식별 및 부정확한 소견 생성 억제에 있어 유의미한 개선을 보였으며, 향후 더 큰 데이터셋과 다양한 병변을 대상으로 한 검증 연구를 위한 기술적 기반을 마련했습니다.