FixationFormer: Direct Utilization of Expert Gaze Trajectories for Chest X-Ray Classification

이 논문은 시퀀스 기반의 트랜스포머 아키텍처를 활용하여 전문가의 시선 궤적을 토큰 시퀀스로 직접 표현하고 이미지 특징과 결합함으로써, 기존 CNN 기반 방법론의 한계를 극복하고 흉부 X-ray 분류 성능을 최상위 수준으로 끌어올린 'FixationFormer' 모델을 제안합니다.

핵심

🏥 문제: 엑스레이는 너무 복잡해요!

엑스레이 사진은 우리 몸속 장기들이 겹쳐 있는 2 차원 그림입니다. 마치 수백 개의 투명 유리창을 한 장에 겹쳐 놓은 것처럼, 뼈, 심장, 폐 등이 뒤섞여 있어 병변을 찾기 매우 어렵습니다.
기존의 인공지능 (CNN) 은 이 사진을 보고 "어디가 아플까?"를 추측하지만, 때로는 중요한 부분을 놓치거나 헷갈려 하기도 합니다.

👁️ 해결책: 의사의 '눈'을 따라가세요

전문적인 방사선 전문의들은 엑스레이를 볼 때 무작정 보는 게 아니라, 어떤 순서로, 어디를 집중해서 봅니다.

• "여기부터 시작해서, 저기 심장을 보고, 다시 폐 쪽으로 이동했다."
  이 **눈의 움직임 궤적 (시선 데이터)**은 의사가 병을 찾는 '비밀 지도'와 같습니다.

하지만 기존에는 이 '비밀 지도'를 인공지능에게 가르칠 때, **모두 섞어서 한 장의 지도 (히트맵)**로 만들어서 보여주었습니다.

• 비유: 요리 레시피를 볼 때, 모든 재료를 믹서기에 갈아서 '갈아진 재료'만 주는 것과 같습니다. "먼저 양파를 다지고, 그다음에 고기를 볶아야 한다"는 순서와 타이밍 정보가 사라져버린 거죠.

🚀 FixationFormer 의 혁신: "순서대로 읽는 시선"

이 논문은 그 '갈아진 재료 (히트맵)' 대신, 의사의 눈이 움직인 '순서 그대로'를 인공지능에게 가르칩니다.

1. 시선을 '단어'로 바꾸기 (Tokenization)

인공지능은 텍스트를 읽을 때 단어를 하나씩 읽습니다. FixationFormer 는 의사의 눈이 멈춘 지점 (Fixation) 하나하나를 **단어 (Token)**로 변환합니다.

• 비유: 의사의 시선 궤적을 여행 일기처럼 만듭니다.
  • "1 분 30 초에 심장 부위를 2 초 동안 보았다." → [단어 1]
  • "그다음 2 초 뒤에 폐 쪽으로 이동했다." → [단어 2]
  • 이렇게 시간의 흐름이 담긴 일기를 인공지능이 읽게 하는 것입니다.

2. 눈과 사진의 대화 (Transformer & Attention)

이제 이 '시선 일기'와 엑스레이 '사진'을 동시에 학습시킵니다. 여기서 핵심은 **Transformer(트랜스포머)**라는 기술입니다.

• 비유: 엑스레이 사진과 시선 일기를 함께 공부하는 두 명의 학생이라고 상상해 보세요.
  • 기존 방식: 사진만 보고 공부한 학생이, 나중에 "아, 의사는 여기 봤구나"라고 지도를 보여주고 수정합니다. (수동적)
  • FixationFormer 방식: 사진 학생과 시선 학생이 서로 대화하며 공부합니다.
    • "이 사진의 이 부분은 의사가 집중했으니, 이 부분이 중요할 것 같아!"
    • "아, 의사가 그쪽으로 눈을 돌렸구나! 그럼 나도 그 부분을 더 자세히 봐야겠다!"
  • 이렇게 서로 주고받으며 (Cross-Attention) 중요한 부분을 함께 찾아냅니다.

📊 결과: 더 똑똑해진 인공지능

이 방법을 세 가지 다른 엑스레이 데이터셋으로 테스트한 결과, 가장 최신의 기술보다 더 좋은 점수를 받았습니다.

• 특히, 데이터가 부족하거나 모델이 약할 때 시선 정보를 추가하면 성능이 크게 향상되었습니다.
• 비유: 똑똑한 학생 (강력한 AI) 이라도 때로는 실수할 수 있지만, **현장 전문가의 눈길 (시선 데이터)**을 따라가면 실수를 훨씬 덜 하게 됩니다.

💡 요약

이 연구는 **"의사의 눈이 어디를, 어떤 순서로 보았는지"**를 단순한 그림이 아니라, **시간 순서가 있는 이야기 (시퀀스)**로 만들어 인공지능에게 가르쳤습니다.

그 결과, 인공지능은 이제 엑스레이를 볼 때 의사의 눈길을 따라가며 병변을 더 정확하게 찾아낼 수 있게 되었습니다. 마치 수련생이 스승의 눈동자 움직임을 그대로 따라 하며 실력을 키우는 것과 같은 원리입니다.

---

한 줄 요약:

"의사의 눈이 움직인 '순서'를 그대로 인공지능에게 가르쳐, 엑스레이 진단을 더 정확하게 만들었습니다."

기술 요약

1. 문제 정의 (Problem)

• 기존 접근법의 한계: 의료 영상 분석, 특히 흉부 X-ray 분류 분야에서 CNN 기반 모델이 주류를 이루고 있습니다. 전문가 (방사선사) 의 시선 (Gaze) 정보를 활용하여 모델 성능을 높이는 연구가 진행되어 왔으나, 기존 방법들은 시선 데이터를 2D 히트맵 (Heatmap) 으로 변환하여 이미지 기반 모델에 통합했습니다.
• 히트맵의 단점:
  • 시선 데이터의 시간적 동역학 (Temporal Dynamics) 을 손실시킵니다.
  • 계산 비용이 높을 수 있습니다.
  • CNN 은 시계열 데이터인 시선 궤적 (Trajectory) 의 본질적인 특성을 자연스럽게 처리하기 어렵습니다.
• 새로운 기회: 트랜스포머 (Transformer) 아키텍처는 'Attention' 메커니즘을 기반으로 하며, 시선 데이터도 본질적으로 시퀀스 형태이므로 두者的이 자연스럽게 결합될 수 있습니다. 그러나 기존 연구들은 시선을 단순한 프롬프트 (점 정보) 로만 사용하거나, CNN 과의 결합에 그쳤을 뿐, 시선 궤적 자체를 시퀀스 토큰으로 직접 활용하여 트랜스포머에 통합하는 연구는 부족했습니다.

2. 제안 방법론: FixationFormer (Methodology)

저자들은 전문가의 시선 궤적을 직접 토큰 시퀀스로 변환하여 Vision Transformer (ViT) 아키텍처에 통합하는 FixationFormer를 제안합니다.

A. 시선 표현 (Gaze Representation)

• 고정점 (Fixation) 추출: 원시 시선 데이터 (60Hz 이상) 에서 노이즈가 많은 미세 운동 (Saccade) 을 필터링하고, 눈이 특정 영역에 머무는 '고정점 (Fixation)' 시퀀스로 변환합니다.
• 토큰화 (Tokenization): 각 고정점을 하나의 토큰으로 변환합니다.
  • 공간 좌표 (Spatial Coordinates): 학습 가능한 선형 계층을 통해 임베딩.
  • 지속 시간 (Duration): 학습 가능한 선형 계층을 통해 임베딩.
  • 시작 시간 (Start Time): 트랜스포머의 위치 인코딩 (Positional Encoding) 을 사용하여 상대적 시간 정보를 인코딩.
  • 이 세 가지 요소를 합쳐 각 고정점에 대한 단일 토큰을 생성합니다.

B. 이미지 및 시선 통합 (Integration with Image Features)

이미지 백본 (ViT) 과 시선 토큰 시퀀스를 융합하기 위해 두 가지 어텐션 메커니즘을 제안합니다.

1. Image-to-Gaze Cross-Attention (단방향):
   • 이미지 특징만 업데이트됩니다.
   • 이미지 토큰이 시선 토큰을 참조하여 (Cross-Attention) 전문가의 시선 패턴을 이미지 표현에 주입합니다.
   • 각 레이어에서 공간적 위치 인코딩을 재도입하여 이미지와 시선 간의 공간적 상관관계를 유지합니다.
2. Two-Way Attention (양방향):
   • SAM (Segment Anything Model) 의 마스크 디코더 구조를 차용합니다.
   • 이미지 토큰이 시선 토큰을 참조하는 동시에, 시선 토큰도 이미지 토큰을 참조하여 업데이트됩니다.
   • 이미지와 시선 특징 간의 더 깊은 양방향 융합을 목표로 합니다.
   • 주의: NLP 의 미래 토큰 가림 (Masking) 은 적용하지 않으며, 모든 토큰이 전체 시퀀스에 접근할 수 있도록 합니다.

C. 아키텍처 구성

• 이미지 백본: 대규모 MIMIC-CXR 데이터셋으로 사전 훈련된 MGCA (Multi-Granularity Cross-modal Alignment) 프레임워크 기반의 ViT 를 사용합니다.
• 학습 전략: 분류 태스크 시 이미지 백본의 가중치는 고정하고, LoRA (Low-Rank Adaptation) 를 사용하여 태스크 특화 미세 조정을 수행합니다.
• 효율성: 시선 궤적 길이가 불규칙하므로, 패딩 없이 효율적으로 배치 처리할 수 있는 Nested Tensor를 활용합니다.

3. 주요 기여 (Key Contributions)

1. 직접적인 시선 통합: 히트맵 변환 없이, 시선 궤적을 시퀀스 토큰으로 직접 변환하여 트랜스포머 아키텍처에 통합하는 새로운 패러다임을 제시했습니다.
2. 시간적/공간적 구조 보존: 시선 데이터의 시간적 순서와 공간적 분포를 토큰 임베딩을 통해 보존함으로써, CNN 기반 히트맵 방식의 한계를 극복했습니다.
3. 효율적인 융합 메커니즘: 이미지와 시선 간의 상호작용을 위한 Cross-Attention 및 Two-Way Attention 메커니즘을 설계하여, 전문가의 진단 추론을 모델에 명시적으로 주입했습니다.
4. 광범위한 검증: 3 개의 공개된 흉부 X-ray 벤치마크 데이터셋 (CXR-Gaze, SIIM-ACR, Reflacx) 에서 성능을 검증했습니다.

4. 실험 결과 (Results)

세 가지 데이터셋 (CXR-Gaze, SIIM-ACR, Reflacx) 에서 기존 SOTA (State-of-the-Art) 모델들과 비교 평가되었습니다.

• CXR-Gaze 데이터셋:
  • 제안된 Cross-Attention 변형이 기존 SOTA 인 GazeGNN 을 능가하는 정확도 (84.11%) 를 기록했습니다.
  • Two-Way Attention 보다 Cross-Attention 이 더 일관된 성능을 보였습니다.
• SIIM-ACR 데이터셋:
  • Cross-Attention 은 EG-ViT 와 유사한 정확도를, Two-Way Attention 은 약간 더 높은 정확도 (86.40%) 를 기록했습니다.
  • AUC (Area Under Curve) 측면에서는 두 방법 모두 EG-ViT 를 크게 상회했습니다.
• Reflacx 데이터셋:
  • 클래스 불균형으로 인해 가장 어려운 태스크였으나, Cross-Attention 이 GazeGNN 보다 우수한 성능 (70.06% 정확도) 을 보였습니다.
  • Two-Way Attention 은 학습 불안정성이 관찰되었습니다.
• Ablation Study (분석):
  • 이미지만 사용 vs 시선만 사용: 시선만으로는 성능이 낮았으나, 무작위 추측보다는 유의미한 정보를 포착함을 확인했습니다.
  • 강력한 백본 (MGCA) vs 약한 백본 (ImageNet ViT): 강력한 백본을 사용할 때는 시선 추가가 미세한 향상을 보였으나, 약한 백본 (ImageNet) 을 사용할 때는 시선 통합이 성능을 크게 향상시켰습니다. 이는 FixationFormer 가 데이터와 모델 복잡도 간의 트레이드오프가 불리한 상황에서도 효과적임을 시사합니다.
  • 시각화: GradCAM 을 통해 모델의 어텐션 맵이 전문가의 시선 궤적과 해부학적으로 관련된 영역에 더 집중적으로 형성됨을 확인했습니다.

5. 의의 및 결론 (Significance)

• 의료 AI 의 새로운 방향: 의료 영상 분석에서 전문가의 시선 데이터를 단순한 보조 정보 (히트맵) 가 아닌, 모델의 핵심 입력 시퀀스로 활용함으로써 진단 추론 과정을 더 정교하게 모사할 수 있음을 입증했습니다.
• 트랜스포머의 잠재력: 시계열 데이터인 시선과 이미지 처리를 동시에 수행하는 트랜스포머의 구조적 적합성을 의료 분야에서 성공적으로 적용했습니다.
• 실용적 가치: 특히 데이터나 모델이 제한적인 환경 (약한 백본 사용 시) 에서 전문가의 시선 정보를 활용함으로써 성능 격차를 크게 줄일 수 있어, 실제 임상 환경에서의 적용 가능성을 높였습니다.
• 향후 연구: 현재 Nested Tensor 지원 문제로 인해 학습된 어텐션 가중치를 직접 분석하는 데 한계가 있으나, 향후 추가적인 영상 모달리티와 태스크로 확장할 계획입니다.

이 논문은 FixationFormer를 통해 시선 기반 의료 영상 분석의 새로운 표준을 제시하며, 트랜스포머 아키텍처와 전문가 지식의 융합 가능성을 크게 확장했습니다.