Interactive Mars Image Content-Based Search with Interpretable Machine Learning

기술 요약: 해석 가능한 머신러닝을 활용한 인터랙티브 화성 이미지 콘텐츠 기반 검색

문제 제기
NASA 행성 데이터 시스템 (PDS) 은 행성 임무에서 수집된 수백만 장의 이미지를 호스팅하고 있어, 특정 제품을 수동으로 검색하는 것은 불가능한 상황입니다. 이러한 검색을 자동화하기 위한 콘텐츠 기반 분류 시스템이 존재하지만, 표준 딥러닝 모델은 종종 "블랙박스"처럼 작동하여 의사결정에 사용된 시각적 증거에 대한 투명성이 부족합니다. 이러한 불투명성은 아틀라스 사용자 (과학자 및 일반 대중) 와 분류기 간의 정신적 모델 간 격차를 만들어 신뢰를 저해하고 사용자가 증거를 검증하는 것을 방해합니다. 또한, 기존 사후 설명 방법 (예: GradCAM) 은 암석이나 지형과 같이 행성 이미지에서 흔히 발견되는 반복적 패턴이 존재할 때 신뢰할 수 없으며, 어떤 영역이 주의를 기울여졌는지 '어디'에 대해서는 설명할 수 있지만 '왜' 주의를 기울였는지에 대해서는 설명하지 못합니다.

방법론
저자들은 PDS 이미지 아틀라스의 비해석적 콘텐츠 기반 분류기를 프로토타입 파트 네트워크 (ProtoPNet) 아키텍처 (Chen et al., 2019) 에 기반한 본질적으로 해석 가능한 시스템으로 대체할 것을 제안합니다.

• 아키텍처: 이 시스템은 특징 추출을 위한 표준 딥 네트워크 백본 (VGG19 또는 ResNet18) 을 사용한 후 프로토타입 레이어를 거칩니다. 이 레이어는 각 이미지 클래스를 대표하는 일련의 프로토타입 (예시) 을 학습합니다. 그 다음 완전 연결 레이어가 이러한 프로토타입에 가중치를 부여하여 최종 분류를 수행합니다.
• 해석 가능성 메커니즘: 테스트 이미지의 경우, 시스템은 학습된 프로토타입과 가장 유사한 영역을 식별합니다. 이러한 영역은 바운딩 박스 또는 히트맵으로 시각화되어 모델이 사용한 구체적인 증거를 보여줍니다. 분류 결정은 투명합니다. 즉, 테스트 이미지 패치와 프로토타입 간의 유사도 점수의 선형 결합입니다.
• 새로운 개선 (다양성 손실): 저자들은 표준 ProtoPNet 학습은 종종 프로토타입 간의 다양성 부족 (예: 여러 프로토타입이 동일하게 보이거나 동일한 학습 이미지에서 유래함) 으로 이어진다는 점을 발견했습니다. 이를 해결하기 위해 손실 함수에 다양성 강화 항 ($Div$) 을 도입했습니다. 이 항은 동일한 클래스 내의 서로 다른 프로토타입 간의 유사도를 최소화하여 모델이 더 넓은 범위의 시각적 증거를 학습하도록 보장합니다.
• 학습 전략: Proto-MSLNet이라고 명명된 모델은 MSL 표면 데이터셋 (큐리오시티 로버의 Mastcam 및 MAHLI 장비에서 촬영한 이미지) 으로 학습되었습니다. 학습 과정은 현실적인 일반화를 시뮬레이션하기 위해 시간적 분할 (과거 솔 (sol) 로 학습, 미래 솔로 검증/테스트) 을 적용합니다. 전체 손실 함수는 교차 엔트로피, 클러스터링 비용, 분리 비용, 그리고 새로운 다양성 비용을 결합합니다.

주요 기여

1. 해석 가능한 시스템의 배포: 이 논문은 과학적 발견과 사용자의 호기심을 지원하기 위해 기존 비해석적 분류기를 대체하고 PDS 이미지 아틀라스에 Proto-MSLNet 을 배포할 계획을 제시합니다.
2. 다양성 강화 학습: 저자들은 분류기가 활용하는 증거의 다양성을 크게 향상시키는 다양성 비용 항을 도입하고 평가했습니다. 이는 특히 초기 프로토타입 다양성이 낮았던 클래스 (예: "밤하늘") 에서 효과적이었습니다.
3. 증거의 정량적 및 정성적 평가: 이전 연구가 인간 주석과의 일치에 의존한 것과 달리, 본 연구는 학습된 프로토타입의 정확성과 다양성을 정량화합니다. 연구진은 시스템이 오류가 있는 증거 (예: 부정적 증거로 작용하는 배경 특징) 와 잘못 레이블링된 데이터를 식별할 수 있음을 입증했습니다.
4. 사용자 피드백 루프: 제안된 시스템에는 사용자가 잘못된 분류나 오류가 있는 증거를 보고할 수 있는 메커니즘을 포함하여 모델을 정제하기 위한 피드백 루프를 생성합니다.

결과

• 성능 트레이드오프: 해석 가능한 Proto-MSLNet 모델은 비해석적 대응 모델에 비해 테스트 정확도가 약간 하락 (약 2.5% 포인트) 하고 기권률 (모델이 분류하기에 충분히 신뢰할 수 없는 이미지 비율) 이 증가 (ResNet18 의 경우 약 15.5% 에서 약 24.5% 로 상승) 하는 경향을 보였습니다. 이는 프로토타입 레이어가 부과한 제약 때문입니다.
• 다양성 개선: 다양성 손실 항의 포함은 테스트 정확도를 2% 포인트 향상시켰으며, "밤하늘" 클래스의 프로토타입 다양성을 크게 증가시켰습니다 (약 4 개의 고유 프로토타입에서 더 높은 수로 증가). 반면, 이미 다양성이 풍부한 클래스 (예: "부유 암석") 는 변화가 없었습니다.
• 정성적 통찰:
  • 정확성: 시스템은 "밤하늘" 프로토타입이 공허함에 초점을 맞추고 있음을 성공적으로 식별하여, 태양이 두드러지지 않을 때 "태양" 이미지가 잘못 분류되는 원인을 파악했습니다. 반대로, 올바른 분류는 태양의 밝고 둥근 모양을 강조했습니다.
  • 부정적 증거: 모델은 보정 대상을 구분하기 위해 배경 특징을 부정적 증거 (예: 음의 가중치를 가진 바위 배경) 로 사용하는 법을 학습했습니다.
  • 클래스 중첩: "바퀴 관절"과 "바퀴"와 같은 클래스 간의 중첩이 카메라 위치 및 회전 각도로 인해 발생함을 분석을 통해 발견했으며, 데이터셋 내 잘못 레이블링된 인스턴스를 식별했습니다.

의의 및 주장
이 논문은 본질적으로 해석 가능한 시스템이 사용자 정신 모델과 행성 이미지 분류기 간의 격차를 해소하는 데 필수적이라고 주장합니다. 증거를 투명하게 만들어 사용자는 다음을 할 수 있습니다:

1. 분류기가 사용하는 시각적 단서를 검증합니다.
2. 사용자 심판을 통해 오류가 있는 증거나 데이터 품질 문제를 식별합니다.
3. 데이터에 능동적으로 참여하여 시간이 지남에 따라 분류기 성능을 향상시킬 수 있는 피드백 루프를 조성합니다.

저자들은 겸손하게도 사소한 성능 비용이 있더라도, 허위 증거를 디버깅할 수 있는 능력과 사용자 주도 피드백 메커니즘의 확립은 NASA 의 행성 임무 전반에 걸친 콘텐츠 분류의 장기적 개선에 필수적이라고 주장합니다. 향후 연구는 프로토타입 시각화 최적화와 사용자 피드백을 모델 정제 프로토콜에 통합하기 위한 사용자 연구에 초점을 맞출 것입니다.