Contextualizing CNN attribution maps using predefined image-derived descriptors in medicinal plant seed classification

당신이 탐정이라고 상상해 보세요. 미스터리를 풀기 위해 지문 대신 사진을 들여다보고 있습니다. 인공지능의 세계에서 컴퓨터는 사진을 보고 그것이 무엇인지 추측하는 데 매우 능숙해지고 있습니다. 이것을 "이미지 분류(image classification)"라고 부릅니다. 만약 당신이 컴퓨터에게 강아지 사진을 보여주면, 컴퓨터는 99%의 확신을 가지고 "이것은 강아지입니다!"라고 말할 수 있습니다. 하지만 여기 까다로운 부분이 있습니다. 컴퓨터는 우리처럼 실제로 "보는" 것이 아닙니다. 그것은 왜 그 답을 선택했는지 설명하지 않은 채 결과만 내놓는 일종의 마법 같은 블랙박스와 같습니다. 컴퓨터가 귀를 본 것일까요? 꼬리를 본 것일까요? 아니면 그저 배경을 본 것일까요?

이를 해결하기 위해 과학자들은 "어트리뷰션 맵(attribution maps)"이라는 도구를 사용합니다. 이것을 고성능 형광펜이라고 생각해 보세요. 컴퓨터가 추측을 할 때, 어트리뷰션 맵은 컴퓨터가 가장 중요하다고 생각한 이미지의 특정 부분을 밝게 비춥니다. 이는 마치 컴퓨터가 손가락으로 가리키며 "나는 이 지점을 보았고, 그것 때문에 나의 선택을 내렸다"라고 말하는 것과 같습니다. 하지만 함정이 있습니다. 이 형광펜은 흐릿하게 빛나는 덩어리를 보여줄 뿐입니다. 그것은 컴퓨터가 '어디를' 보았는지는 알려주지만, 그 지점에서 '무엇을' 보았는지는 알려주지 않습니다. 색상이었을까요? 질감이었을까요? 아니면 형태였을까요? 바로 이 지점에서 이번 연구가 시작됩니다. 이 흐릿한 빛을 우리가 실제로 이해할 수 있는 언어로 번역하려는 시도입니다.

---

약용 씨앗의 미스터리

이 연구에서 경희대학교의 연구진은 매우 구체적이고 까다로운 미스터리를 해결하기로 했습니다. 바로 서로 다른 종류의 약용 식물 씨앗을 구별하는 것입니다. 이 씨 씨앗들은 아주 작으며, 어떤 것들은 육안으로는 거의 똑같아 보입니다. 마치 같은 옷을 입은 쌍둥이처럼 말이죠. 만약 컴퓨터가 이를 잘못 판별한다면, 이 씨앗들에 의존하는 사람들에게 큰 문제가 될 수 있습니다.

연구진은 Armeniaca vulgaris, Armeniaca sibirica, Prunus japonica, Prunus davidiana, 그리고 Prunus persica라는 다섯 가지 종류의 씨앗 사진 1,124장을 수집했습니다. 그들은 이 사진들을 보고 씨앗을 분류하도록 똑똑한 컴퓨터 두뇌(합성곱 신경망, 즉 CNN이라 불리는 AI의 한 종류)를 학습시켰습니다. 컴퓨터는 거의 매번 정답을 맞히며 놀라울 정도로 뛰어난 성능을 보였습니다. 실제로 그들이 테스트한 세 가지 서로 다른 컴퓨터 두뇌는 저자들이 "근접 천장 성능(near-ceiling performance)"이라고 부르는 수준에 도달했는데, 이는 기본적으로 완벽하다는 것을 의미합니다.

하지만 연구진은 단순히 "컴퓨터가 똑똑하다"라고 말하는 데서 멈추지 않았습니다. 그들은 알고 싶었습니다. 컴퓨터는 실제로 무엇을 보고 있는가?

"형광펜" vs "시각 사전"

이 질문에 답하기 위해 연구진은 **통합 그래디언트(Integrated Gradients, IG)**라는 도구를 사용했습니다. 컴퓨터가 씨앗 사진을 보고 있는 탐정이라고 상상해 보세요. IG 도구는 탐정이 가장 집중해서 바라보는 곳에 붉게 빛나는 "히트 맵(heat map)"을 만듭니다. 하지만 앞서 언급했듯이, 붉은 빛은 탐정이 반짝이는 점을 보고 있는지, 거친 질감을 보고 있는지, 혹은 특정 색상을 보고 있는지를 알려주지 않습니다.

그래서 연구진은 그 빛을 해독할 영리한 방법을 고안했습니다. 그들은 "사전 정의된 이미지 유래 기술자 맵(predefined image-derived descriptor maps)"을 만들었습니다. 이것을 이미지의 시각 사전 또는 레시피 북이라고 생각하면 됩니다. 그들은 씨앗 사진을 측정 가능한 간단한 재료들로 나누었습니다:

• 색상 및 강도(Color and Intensity): 얼마나 밝은가? 얼마나 밝거나 어두운가? (예: "밝기"나 "명도"를 측정하는 것과 같음).
• 공간 주파수(Spatial Frequency): 패턴이 매끄럽고 흐릿한가, 아니면 울퉁불퉁하고 상세한가? (예: "거친" 것과 "미세한" 디테일을 측정하는 것과 같음).
• 질감(Texture): 울퉁불퉁한가 아니면 매끄러운가?
• 경계 및 형태(Edges and Shapes): 윤곽선은 어디에 있는가?

그런 다음 연구진은 컴퓨터의 "빛나는 형광펜"(어트리뷰션 맵)을 자신들의 "시각 사전"(기술자 맵)과 비교했습니다. 그들은 간단한 질문을 던졌습니다: 컴퓨터의 형광펜이 "밝기" 레시피가 강한 곳에서 똑같이 빛나는가? 아니면 "질감" 레시료가 강한 곳에서 빛나는가?

위대한 발견: 핵심은 빛과 저주파 디테일

숫자를 분석한 결과, 연구진은 매우 명확한 패턴을 발견했습니다. 컴퓨터는 복잡하고 들쭉날쭉한 경계선이나 아주 미세한 고주파 디테일을 보고 있지 않았습니다. 대신, 컴퓨터의 "형광펜"은 밝기(씨앗이 얼마나 밝은지)와 저주파 디테일(매끄럽고 넓은 형태)이 가장 강한 지점에서 가장 밝게 빛났습니다.

구체적으로, 연구는 컴퓨터의 주의력이 다음 요소들과 가장 강력하게 연결되어 있음을 발견했습니다:

1. LAB L (지각적 밝기의 척도).
2. 밝기(Brightness) (전반적인 빛의 강도).
3. FFT low-pass (이미지의 매끄럽고 거친 스케일 변화를 포착함).

단순히 말하자면, 컴퓨터는 씨-앗의 미세하고 노이즈 섞인 질감에 매몰되는 대신, 씨앗이 얼마나 밝거나 어두운지와 그 전반적인 매끄러운 형태를 주로 보고 있었던 것입니다. 연구진은 또한 특정 색상(채도)이나 복잡한 윤곽선(푸리에 기술자) 같은 다른 요소들이 중요한지도 확인했습니다. 그 결과, 컴퓨터는 그런 요소들에 별로 신경 쓰지 않는다는 것을 알게 되었습니다. 사실, 일부 특징의 경우 컴퓨터의 주의력은 오히려 부정적으로 연결되어 있었는데, 이는 컴퓨터가 해당 요소들을 무시했다는 것을 의미합니다.

"요약" 테스트

결과를 재확인하기 위해 연구진은 두 번째 실험을 수행했습니다. 그들은 앞서 언급한 모든 "시각 사전" 재료들(밝기, 질감, 경계 등)을 단순한 숫자 리스트(요약 통계량)로 변환했습니다. 그리고 이 리스트를 다른 종류의 더 단순한 컴퓨터 두뇌에 입력하여, 이 리스트만으로도 여전히 씨앗을 구분할 수 있는지 확인했습니다.

결과는 어떠했을까요? 그렇습니다. 딥러닝 모델 없이도, 이러한 시각적 재료들의 요약된 숫자만 사용하여 컴퓨터는 매우 높은 정확도(약 97.8%)로 씨앗을 분류할 수 있었습니다. 이는 컴퓨터가 사용한 시각 정보가 실제로 존재하며, 그 자체로 문제를 해결하기에 충분하다는 것을 증명했습니다.

이것이 중요한 이유

이 연구는 컴퓨터에게 목소리를 부여하는 것과 같습니다. 이전에는 단지 컴퓨터가 정답을 맞혔다는 것만 알 수 있었습니다. 이제 우리는 컴퓨터가 어떻게 맞혔는지 압니다. 컴퓨터가 밝기와 넓은 형태에 의존한다는 것을 보여줌으로써, 연구진은 AI가 올바르게 "생각"하고 있는지 확인할 수 있는 새로운 방법을 만들어냈습니다. 만약 컴퓨터가 엉뚱한 것(예: 배경이나 무작위 먼지)을 강조하기 시작한다면, 우리는 컴퓨터가 의도된 특징에 의존하지 않고 있다는 것을 알 수 있을 것입니다.

저자들은 이 방법, 즉 컴퓨터의 "빛"을 "시각 사전"과 비교하는 방식이 AI의 신뢰성을 확보하는 데 강력한 도구가 될 것이라고 제안합니다. 특히 정답을 맞히는 것이 매우 중요한 작은 약용 씨앗을 다룰 때 더욱 그렇습니다. 그들은 단순히 씨앗을 분류하는 방법을 찾은 것이 아니라, 컴퓨터의 뇌 내부를 들여다보고 그것이 실제로 무엇을 보고 있는지 확인하는 방법을 찾아낸 것입니다.